МиниПК способный запускать локально большие ИИ языковые модели до 128 гб. AMD Ryzen AI Max+.

Обзор мини-ПК Peladn на AMD Ryzen AI Max+ 395 с 128 ГБ памяти для запуска больших языковых моделей локально: тесты NVMe, USB, CPU, нагрева и токенов в секунду.

Key Takeaways

Peladn Ryzen AI Max+ 395 с 128 ГБ памяти — один из самых доступных вариантов для локального запуска крупных LLM дома.
Производительность зависит от модели: небольшие модели работают быстро, крупные (122B) — медленно (около 10 токенов/с).
Устройство энергоэффективно в простое, но под нагрузкой потребляет около 127 Вт, что умеренно для такой мощности.
Для агентских задач с Home Assistant и инструментами текущие модели показали ограниченную надёжность.

What the video covers

Автор представляет мини-ПК Peladn на AMD Ryzen AI Max+ 395 с 128 ГБ распаянной LPDDR5X памяти как доступное решение для локального запуска больших языковых моделей.
Устройство сравнивается с видеокартами BC250 (16 ГБ) и Apple Mac mini M4/M5 (до 64 ГБ), которые автор считает менее подходящими по памяти, цене или энергопотреблению.
Описаны порты и конструкция: USB, Type-C (Thunderbolt), microSD, HDMI, DisplayPort, 2.5G Ethernet, отсек для двух NVMe-накопителей.
Рассмотрены характеристики: 16 ядер/32 потока, видеокарта Radeon 860S (40 вычислительных блоков RDNA 3.5), NPU на 50 TOPS.
Автор установил Ubuntu 26.04 вместо предустановленной Windows, чтобы тестировать языковые модели.
Тест NVMe показал около 4000 МБ/с, USB 3.0 флешка — около 96 МБ/с.
Sysbench на 32 ядрах выполнил 10 000 заданий за 0,3 секунды, что автор называет рекордом канала.
Температура под нагрузкой около 70°C; вертикальная стойка улучшает охлаждение.
Потребление в простое около 11,5 Вт, под полной нагрузкой примерно 127 Вт.
Тестировались локальные модели через llama.cpp: небольшие модели работали быстрее, а скорость крупной модели Qwen 122B составила около 10 токенов в секунду.

Chapters

Почему автор выбрал именно этот мини-ПК для локальных моделей?

По сравнению с BC250 (16 ГБ), видеокартами с 32 ГБ и Mac mini (до 64 ГБ) этот ПК предлагает 128 ГБ памяти по более доступной цене и с меньшим энергопотреблением. Это позволяет запускать более крупные модели.

Какая скорость генерации токенов была получена на крупной модели?

Для модели Qwen 122B автор получил около 10 токенов в секунду, что считается самым низким результатом среди протестированных моделей. Меньшая модель 9B работала заметно быстрее.

Насколько успешно устройство справилось с интеграцией Home Assistant?

Агент думал очень долго (около 9 минут) и не смог корректно ответить на все запросы: ответил по одному датчику, а по второму не нашёл данные. Также не удалось надёжно выполнить задачи с Samba и погодой, а модель не анализирует изображения.