Вариант 1 - oobabooga или text-generation-webui

Хочу отметить, что есть удачный как минимум в функционале и дизайне веб-интерфейс - oobabooga/text-generation-webui. Он позволяет запускать как GGUF модели, запускаемые на CPU, GGML модели, запускаемые на GPU, так и неквантованные модели.

Вариант 2 - Ollama

Лично я использую Ollama для запуска LLM моделей. На его сайте также публикуются модели и достаточно одной команды, чтобы его загрузить к себе на компьютер и запустить. Можно их кастомизировать и также импортировать свои GGUF модели. Рекомендую попробовать.

Ollama – это инструмент с интерфейсом командной строки (CLI), который обеспечивает быструю работу с крупными языковыми моделями

Вариант 3 - Koboldcpp

Утилита Koboldcpp имеет графическую настройку и графическое окно чата с нейросеткой. Умеет открывать предтренерованные GGUF модели. Дает возможность запуска на CPU без использования видеоускорителей.

Вариант 4 - GPT4All

GPT4All – это программное обеспечение с открытым исходным кодом, которое обеспечивает простую загрузку и установку современных моделей с открытым исходным кодом.

Просто загрузите ПО GPT4All с официального сайта и установите его на своей системе. Затем выберите нужную модель на панели инструментов, и начните ее использовать. Если у вас установлен CUDA для видеокарты Nvidia GPU, GPT4All автоматически начнет использовать ваш графический процессор для генерации быстрых ответов со скоростью до 30 токенов в секунду.

Вариант5 - LLaMA.cpp

LLaMA.cpp представляет собой инновационный инструмент, предлагающий как командную строку (CLI), так и графический интерфейс пользователя (GUI). Эта особенность позволяет легко использовать любые крупные языковые модели (LLM) с открытым исходным кодом локально.