MyTetra Share
Делитесь знаниями!
Каким софтом можно запускать готовые натренированные модели нейросетей на компьютере?
Время создания: 11.06.2024 14:06
Текстовые метки: нейросеть, модель, запуск, софт, программное обеспечение, локально
Раздел: Компьютер - Программирование - Нейронные сети
Запись: xintrea/mytetra_syncro/master/base/1718104010tucf5nooc5/text.html на raw.github.com

Вариант 1 - oobabooga или text-generation-webui


Хочу отметить, что есть удачный как минимум в функционале и дизайне веб-интерфейс - oobabooga/text-generation-webui. Он позволяет запускать как GGUF модели, запускаемые на CPU, GGML модели, запускаемые на GPU, так и неквантованные модели.



Вариант 2 - Ollama


Лично я использую Ollama для запуска LLM моделей. На его сайте также публикуются модели и достаточно одной команды, чтобы его загрузить к себе на компьютер и запустить. Можно их кастомизировать и также импортировать свои GGUF модели. Рекомендую попробовать.


Ollama – это инструмент с интерфейсом командной строки (CLI), который обеспечивает быструю работу с крупными языковыми моделями



Вариант 3 - Koboldcpp


Утилита Koboldcpp имеет графическую настройку и графическое окно чата с нейросеткой. Умеет открывать предтренерованные GGUF модели. Дает возможность запуска на CPU без использования видеоускорителей.



Вариант 4 - GPT4All


GPT4All – это программное обеспечение с открытым исходным кодом, которое обеспечивает простую загрузку и установку современных моделей с открытым исходным кодом.


Просто загрузите ПО GPT4All с официального сайта и установите его на своей системе. Затем выберите нужную модель на панели инструментов, и начните ее использовать. Если у вас установлен CUDA для видеокарты Nvidia GPU, GPT4All автоматически начнет использовать ваш графический процессор для генерации быстрых ответов со скоростью до 30 токенов в секунду.



Вариант5 - LLaMA.cpp


LLaMA.cpp представляет собой инновационный инструмент, предлагающий как командную строку (CLI), так и графический интерфейс пользователя (GUI). Эта особенность позволяет легко использовать любые крупные языковые модели (LLM) с открытым исходным кодом локально.


Так же в этом разделе:
 
MyTetra Share v.0.60
Яндекс индекс цитирования