Speaker A
О'кей, я полез в нейросети, совершенно в них не разбираясь.
Автор делится опытом сборки сервера для ИИ за 30 000 руб без видеокарты и анализирует производительность моделей.
Ask about this video. Answers come from its transcript only — with the timestamp, so you can check them.
Generated from the transcript and can be wrong — check the timestamp.
Key Takeaways
- Для запуска больших моделей важен объём памяти, а не только скорость.
- Сборка сервера без видеокарты возможна, но с ограничениями по скорости.
- Выбор между скоростью и объёмом памяти зависит от задач и бюджета.
- Tesla P100 и V100 рекомендуются для ускорения, но стоят дорого.
- Опыт автора показывает, что можно начать с минимальными знаниями и бюджетом.
What the video covers
- Автор впервые погружается в нейросети без предварительных знаний.
- Решил собрать компьютер самостоятельно, не имея опыта.
- Поступил на программиста, не умея программировать.
- Подводит итоги сборки сервера для ИИ стоимостью 30 000 рублей.
- Сервер оснащён двумя процессорами E5-2680 V4 и 64 ГБ оперативной памяти, без видеокарты.
- Обсуждает советы использовать видеокарты Tesla P100 и V100 с 16 ГБ памяти.
- Объясняет, что скорость работы модели зависит от пропускной способности памяти видеокарт.
- Объём памяти влияет на возможность запуска той или иной модели.
- Выбирает запуск моделей медленно, но с адекватным объёмом памяти.
- Приводит пример: модель Квен 3.6 с 35 млрд параметров работает со скоростью 11 токенов в секунду.
Chapters
- 00:00Введение в нейросети без опыта
- 00:16Сборка компьютера с нуля
- 00:38Поступление на программиста без навыков
- 00:51Итоги сборки сервера для ИИ
- 01:09Характеристики сервера и отсутствие видеокарты
- 01:21Советы по видеокартам Tesla
- 01:38Влияние пропускной способности памяти на скорость
- 02:06Выбор между скоростью и объёмом памяти
- 02:37Результаты тестирования модели Квен 3.6
Full Transcript — Download SRT & Markdown
Speaker A
Так же, как и в детстве, решил собрать себе компьютер, совершенно не умея этого делать.
Speaker A
Также, как поступил на программиста, совершенно не умея программировать.
Speaker A
Итак, давайте подведём итоги по моему серверу для EИ
Speaker A
за 30 000 руб. Два зона E52680 V4, 64 гига оперативки и никакой видеокарты.
Speaker A
Ох, сколько же мне советовали Tesla P100, Tesla V100, 000 за 16 ГБ памяти. Спасибо.
Speaker A
Смотрите, от пропускной способности памяти, которая очень высокая на видеокартах, зависит скорость работы модели.
Speaker A
Но то, какую
Speaker A
модель я смогу запустить, зависит не от скорости, а от объёма памяти.
Speaker A
И у меня был выбор: запускать, но быстро, или запускать более-менее адекватные модели, но медленно.
Speaker A
Я выбрал медленно.
Speaker A
И вот цифры. Квен 3,6 на 35 млрд параметров — 11 токенов в секунду.
Topics:сервер для ИИнейросетисборка компьютераTesla P100Tesla V100оперативная памятьмодели ИИпроизводительность ИИКвен 3.6объём памяти
