Оказывается, для ускорения нейросетей можно использовать не только ускорители NVidia, но и Radeon:

Я использую llama.cpp, а конкретно сборку с суффиксом hip-x64-gfx1101, т.к. это для моей Radeon RX 7800XT. Ещё на борту компьютера 128 Gb RAM DDR5. С некоторыми ухищрениями более-менее сносно работает DeepSeek v2.5 (IQ4_XS, 114Гб) в режиме диалога. Всё, что ещё жирнее, запускается, но работает уже неприлично медленно.

Похоже, что для адекватной работы, оперативной памяти должно быть чуть больше, чем размер самой нейросетки. Но тогда все равно остается вопрос, где нейросетка крутится: на CPU и RAM или на GPU и видеопамяти.