Оказывается, для ускорения нейросетей можно использовать не только ускорители NVidia, но и Radeon:

Я использую llama.cpp, а конкретно сборку с суффиксом hip-x64-gfx1101, т.к. это для моей Radeon RX 7800XT. Ещё на борту компьютера 128 Gb RAM DDR5. С некоторыми ухищрениями более-менее сносно работает DeepSeek v2.5 (IQ4_XS, 114Гб) в режиме диалога. Всё, что ещё жирнее, запускается, но работает уже неприлично медленно.

Похоже, что для адекватной работы, оперативной памяти должно быть чуть больше, чем размер самой нейросетки.

Но тогда все равно остается вопрос, где нейросетка крутится: на CPU и RAM или на GPU и видеопамяти?

Ответ: без дополнительных настроек, при использовании проекта ollama нейросеть будет крутиться на CPU и RAM, а если оперативной памяти не хватит, то будет нещадно молотиться своп на жестком диске. Однако, в новых версиях ollama есть автоопределитель оборудования, и если будет найдена поддерживаемая видеокарточка, она будет использовать GPU и видеопамять. Причем для работы нейросети в этом случае будет запущен не llama.cpp, а специализированный для данной модели GPU бекенд, наприамер ExLLama v2.