MyTetra Share
Делитесь знаниями!
Оборудование для локального запуска нейросетей среднего размера в 2026 году
Время создания: 10.09.2026 14:01
Текстовые метки: неро, сеть, нейросеть, запуск, инференс, оборудование, железо, Ryzen, AMD, Qwen, NVidia, RTX, видеокарточка
Раздел: Компьютер - Программирование - Нейронные сети
Запись: xintrea/mytetra_syncro/master/base/17890381144dib5q92or/text.html на raw.githubusercontent.com

... Из обсуждения, что можно взять для запуска инференса нейросетей среднего размера в 2026 году ...



Если хочешь Ryzen 395, то смотри на 64Gb памяти. Лучше минипк (дешевле). Например, Minisforum MS-S1 или N5 Max (в формате NAS). Выйдет чуть дороже, но зато точно по памяти хватит.

Меньше тебе не хватит (тот же Qwen 3.8 27B в q4_k_m съест 28-36Gb видеопамяти в зависимости от размера контекста, а если запускать в q8, то даже без обработки изображений съест 48Gb).

На 128Gb смотреть не советую - такие модели запускаются и работают, но настолько медленно, что смысл в этом начинает пропадать.

Я обкатывал на рязаньке Beelink GTR9 Pro, но советовать не буду - поддержка у ребят так себе. А вот устройств от Minisforum у меня в руках побывало уже 5 штук, даже если будут проблемы - единственный минус - это долгий возврат, зато работают норм.

Но я сугубо инференс трогал, не обучение (руки не доходят).

NVidia будет проще с т.з. запуска и т.п., но:


  1. Разоришься на 32Gb VRAM (либо Blackwell с NVFP4, либо будет медленно) - это одна видюха (дискретная) обойдётся тебе в 450-500;
  2. В формате ноутбука - забудь, хрен найдёшь, а если и найдёшь - то впустую потратишь деньги соц. контракта.


Кстати, по п.2 (в формате ноутбука - забудь): я на 100% уверен, что ты не захочешь таскать нейросетку с собой на ноутбуке на постоянку, если это не мак. Да даже если мак - будет горячо, медленно, а ещё батарею жрать.

Мой тебе совет: бери лёгкий ноутбук под свои глаза (хороший экран + 32Gb ram под запуск агента и/или IDE, без видюхи, ищи по совместимости с онтопиком) + МиниПК на Ryzen 395 64Gb (понятное дело, начинать покупку с минипк). Если будут лишние деньги - вместо минипк нормальный стационар с нормальной AI Pro R9700 / RTX PRO 4500 / RTX PRO 5000 и т.д.

Если остановишься на стационаре - сразу киловаттный БП и мать по типу ASRock X870E Taichi Lite (на 2 x PCIe5.0 x16), ибо гарантирую, что захочешь докупить ещё такую же видюху, видеопамяти всегда мало. И ещё: в том же DNS мониторь AI Pro R9700, этот радеончик там по очень вкусным ценам иногда появляется, 180-220.


Так же в этом разделе:
 
MyTetra Share v.0.67
Яндекс индекс цитирования