Запустил нейронку на 235B на домашнем сервере. Без видеокарты

Запуск и тестирование нейросетей до 235 млрд параметров на домашнем сервере без видеокарты, анализ производительности и нюансов.

Key Takeaways

Большие модели нейросетей можно запускать на процессорах без видеокарт, но с ограничениями по скорости.
Mixture of Experts (MoE) модели позволяют эффективнее использовать оперативную память и ускоряют работу.
Скорость работы нейросети зависит больше от пропускной способности оперативной памяти, чем от мощности процессора.
Использование видеокарты не всегда оправдано, если модель не помещается в видеопамять и приходится обращаться к оперативной памяти.
Домашний сервер с большим объёмом ОЗУ и быстрым NVMe-диском может быть полезен для запуска нейросетей, но требует компромиссов.

What the video covers

Автор запускает крупные нейросети от 30 до 235 млрд параметров на домашнем сервере без использования видеокарты.
Используется сервер с двумя процессорами Intel Xeon 2680 V4, 28 ядер и 56 потоков, 128 ГБ оперативной памяти и NVMe-диск для ускорения загрузки моделей.
Обсуждается разница между старыми плотными моделями и новыми Mixture of Experts (MoE), которые позволяют эффективнее использовать оперативную память.
Поясняется, что основным ограничением производительности является скорость чтения данных из оперативной памяти, а не вычислительная мощность процессора.
Проводятся тесты на синтетических и реальных данных, сравнивается производительность моделей на процессоре и видеокарте.
Автор делится опытом использования серверного оборудования и рекомендует магазин Серверцентр для покупки комплектующих.
Объясняется концепция квантизации моделей и её влияние на производительность.
Отмечается, что запуск моделей на процессоре имеет свои компромиссы, и результаты не всегда однозначны.
Рассматривается вопрос окупаемости домашнего сервера для нейросетей по сравнению с подписками на облачные сервисы.
Видео полезно для тех, кто интересуется самостоятельным запуском больших нейросетей и оптимизацией домашнего серверного железа.

Chapters

Можно ли запускать большие нейросети без видеокарты?

Да, можно запускать большие модели на процессорах с большим количеством ядер и оперативной памяти, однако производительность будет ниже, чем на видеокартах.

Что такое Mixture of Experts (MoE) и почему это важно?

MoE — это тип модели, где для ответа задействуется лишь часть 'экспертов', что позволяет ускорить работу и эффективнее использовать оперативную память.

Насколько важна скорость оперативной памяти для работы нейросетей?

Скорость чтения данных из оперативной памяти является ключевым фактором производительности нейросетей на процессоре, так как процессор часто простаивает, ожидая данные.