|
|||||||
|
Оборудование для локального запуска нейросетей среднего размера в 2026 году
Время создания: 10.09.2026 14:01
Текстовые метки: неро, сеть, нейросеть, запуск, инференс, оборудование, железо, Ryzen, AMD, Qwen, NVidia, RTX, видеокарточка
Раздел: Компьютер - Программирование - Нейронные сети
Запись: xintrea/mytetra_syncro/master/base/17890381144dib5q92or/text.html на raw.githubusercontent.com
|
|||||||
|
|
|||||||
|
... Из обсуждения, что можно взять для запуска инференса нейросетей среднего размера в 2026 году ... Если хочешь Ryzen 395, то смотри на 64Gb памяти. Лучше минипк (дешевле). Например, Minisforum MS-S1 или N5 Max (в формате NAS). Выйдет чуть дороже, но зато точно по памяти хватит. Меньше тебе не хватит (тот же Qwen 3.8 27B в q4_k_m съест 28-36Gb видеопамяти в зависимости от размера контекста, а если запускать в q8, то даже без обработки изображений съест 48Gb). На 128Gb смотреть не советую - такие модели запускаются и работают, но настолько медленно, что смысл в этом начинает пропадать. Я обкатывал на рязаньке Beelink GTR9 Pro, но советовать не буду - поддержка у ребят так себе. А вот устройств от Minisforum у меня в руках побывало уже 5 штук, даже если будут проблемы - единственный минус - это долгий возврат, зато работают норм. Но я сугубо инференс трогал, не обучение (руки не доходят). NVidia будет проще с т.з. запуска и т.п., но:
Кстати, по п.2 (в формате ноутбука - забудь): я на 100% уверен, что ты не захочешь таскать нейросетку с собой на ноутбуке на постоянку, если это не мак. Да даже если мак - будет горячо, медленно, а ещё батарею жрать. Мой тебе совет: бери лёгкий ноутбук под свои глаза (хороший экран + 32Gb ram под запуск агента и/или IDE, без видюхи, ищи по совместимости с онтопиком) + МиниПК на Ryzen 395 64Gb (понятное дело, начинать покупку с минипк). Если будут лишние деньги - вместо минипк нормальный стационар с нормальной AI Pro R9700 / RTX PRO 4500 / RTX PRO 5000 и т.д. Если остановишься на стационаре - сразу киловаттный БП и мать по типу ASRock X870E Taichi Lite (на 2 x PCIe5.0 x16), ибо гарантирую, что захочешь докупить ещё такую же видюху, видеопамяти всегда мало. И ещё: в том же DNS мониторь AI Pro R9700, этот радеончик там по очень вкусным ценам иногда появляется, 180-220. |
|||||||
|
Так же в этом разделе:
|
|||||||
|
|||||||
|
|||||||
|