**ФИНАЛ сервера для ИИ — Transcript & Summary | SozAI**
Source: https://sozai.app/transcript/final-server-ai/

Автор делится опытом сборки сервера для ИИ за 30 000 руб без видеокарты и анализирует производительность моделей.

## Key Takeaways

- Для запуска больших моделей важен объём памяти, а не только скорость.
- Сборка сервера без видеокарты возможна, но с ограничениями по скорости.
- Выбор между скоростью и объёмом памяти зависит от задач и бюджета.
- Tesla P100 и V100 рекомендуются для ускорения, но стоят дорого.
- Опыт автора показывает, что можно начать с минимальными знаниями и бюджетом.

## What the video covers

- Автор впервые погружается в нейросети без предварительных знаний.
- Решил собрать компьютер самостоятельно, не имея опыта.
- Поступил на программиста, не умея программировать.
- Подводит итоги сборки сервера для ИИ стоимостью 30 000 рублей.
- Сервер оснащён двумя процессорами E5-2680 V4 и 64 ГБ оперативной памяти, без видеокарты.
- Обсуждает советы использовать видеокарты Tesla P100 и V100 с 16 ГБ памяти.
- Объясняет, что скорость работы модели зависит от пропускной способности памяти видеокарт.
- Объём памяти влияет на возможность запуска той или иной модели.
- Выбирает запуск моделей медленно, но с адекватным объёмом памяти.
- Приводит пример: модель Квен 3.6 с 35 млрд параметров работает со скоростью 11 токенов в секунду.

## Chapters

1. 00:00 Введение в нейросети без опыта
2. 00:16 Сборка компьютера с нуля
3. 00:38 Поступление на программиста без навыков
4. 00:51 Итоги сборки сервера для ИИ
5. 01:09 Характеристики сервера и отсутствие видеокарты
6. 01:21 Советы по видеокартам Tesla
7. 01:38 Влияние пропускной способности памяти на скорость
8. 02:06 Выбор между скоростью и объёмом памяти
9. 02:37 Результаты тестирования модели Квен 3.6

Answers

## Questions about this video

Почему автор не использовал видеокарту в сервере?

Автор выбрал сервер без видеокарты, чтобы сосредоточиться на объёме оперативной памяти, так как для запуска больших моделей важен именно объём памяти, а не скорость.

Какие видеокарты рекомендовали для сервера и почему?

Советовали использовать Tesla P100 и Tesla V100 с 16 ГБ памяти из-за высокой пропускной способности памяти, что влияет на скорость работы моделей.

Какой компромисс сделал автор при выборе конфигурации сервера?

Автор выбрал запуск моделей медленно, но с достаточным объёмом памяти, чтобы запускать более адекватные модели, вместо быстрой работы с ограниченным объёмом.

## Full Transcript — Download SRT & Markdown

00:00

Speaker A

О'кей, я полез в нейросети, совершенно в них не разбираясь.

00:16

Speaker A

Так же, как и в детстве, решил собрать себе компьютер, совершенно не умея этого делать.

00:38

Speaker A

Также, как поступил на программиста, совершенно не умея программировать.

00:51

Speaker A

Итак, давайте подведём итоги по моему серверу для EИ

01:09

Speaker A

за 30 000 руб. Два зона E52680 V4, 64 гига оперативки и никакой видеокарты.

01:21

Speaker A

Ох, сколько же мне советовали Tesla P100, Tesla V100, 000 за 16 ГБ памяти. Спасибо.

01:38

Speaker A

Смотрите, от пропускной способности памяти, которая очень высокая на видеокартах, зависит скорость работы модели.

01:51

Speaker A

Но то, какую

02:06

Speaker A

модель я смогу запустить, зависит не от скорости, а от объёма памяти.

02:12

Speaker A

И у меня был выбор: запускать, но быстро, или запускать более-менее адекватные модели, но медленно.

02:26

Speaker A

Я выбрал медленно.

02:37

Speaker A

И вот цифры. Квен 3,6 на 35 млрд параметров — 11 токенов в секунду.

Topics: сервер для ИИ нейросети сборка компьютера Tesla P100 Tesla V100 оперативная память модели ИИ производительность ИИ Квен 3.6 объём памяти

Учить по этому видео

- [Карточки по этому видео](https://sozai.app/ru/tools/ai-flashcard-generator/?from=transcript&id=43488)
- [Тест по этому видео](https://sozai.app/ru/tools/quiz-generator/?from=transcript&id=43488)

Бесплатно, составлено ИИ по этой расшифровке. Без регистрации.


---
This is the markdown twin of https://sozai.app/transcript/final-server-ai/ — the same content, without the markup.
Published by SozAI (https://sozai.app). Reuse and quotation are allowed with attribution and a link back.
Machine-readable index: https://sozai.app/llms.txt · data API: https://sozai.app/api/