Skip to content
Start free
Get App

Я СОБРАЛ ПК ИЗ 4 TESLA V100 — ЗАЧЕМ?! | NVLink | 64Gb vs 128Gb vs 2x3090 | Большой тест

Обзор сборки ПК из 4 видеокарт Tesla V100 с NVLink, тесты производительности и анализ стоимости.

Key Takeaways

  • Объединение нескольких Tesla V100 через NVLink даёт прирост производительности, но не пропорциональный количеству карт.
  • Tesla V100 остаётся востребованным и мощным железом, несмотря на возраст и мнение о его устаревании.
  • Стоимость сборки из 4 Tesla V100 с NVLink сопоставима с более дорогими современными решениями, но имеет свои преимущества.
  • Серверные платы для 4 видеокарт сложны в изготовлении и требуют мощного питания и охлаждения.
  • Для задач с большими объёмами данных и языковыми моделями Tesla V100 показывает высокую эффективность.

What the video covers

  • Автор собрал ПК из четырёх видеокарт Tesla V100 с поддержкой NVLink для максимального объёма видеопамяти и вычислительной мощности.
  • Проведено более 200 часов тестов в 68 конфигурациях с разным количеством видеокарт и режимами работы.
  • Обсуждается реальный прирост производительности при добавлении видеокарт — около 22%, а не линейный рост.
  • Показано сравнение с видеокартами RTX 3090 по стоимости и производительности.
  • Рассказано о сложности и стоимости материнских плат с поддержкой 4 видеокарт и особенностях их питания и охлаждения.
  • Автор объясняет, почему Tesla V100, несмотря на возраст и мнение о «хламе», остаётся актуальным и мощным железом.
  • Демонстрируется пример загрузки и обработки большого объёма текста (роман 'Война и мир') для тестирования языковых моделей.
  • Обсуждается разница между моделями Tesla V100 с 16 ГБ и 32 ГБ памяти и их ценовая доступность на вторичном рынке.
  • Показаны технические детали NVLink, PCI Express и особенности серверных решений для объединения видеокарт.
  • Видео содержит подробные инструкции по сборке, настройке и тестированию системы.

Chapters

  1. 00:00Введение и идея объединения видеокарт Tesla V100 через NVLink
  2. 05:57Особенности серверных плат и их сложность
  3. 10:45Приобретение и подготовка платы и компонентов для сборки
  4. 16:18Процесс установки модулей и сборка системы
  5. 21:28Тестирование производительности и анализ результатов
  6. 26:16Обработка больших текстов и тестирование языковых моделей
  7. 32:40Сравнение с RTX 3090 и обсуждение стоимости
  8. 42:23Заключение и рекомендации по покупке Tesla V100

Answers

Questions about this video

Зачем объединять несколько Tesla V100 через NVLink?

Объединение позволяет увеличить объём видеопамяти и вычислительную мощность, что важно для сложных задач с большими данными и языковыми моделями.

Какой прирост производительности даёт добавление видеокарт Tesla V100?

Прирост составляет около 22% при добавлении второй или последующих карт, что меньше ожидаемого линейного роста.

Почему Tesla V100 считается актуальным железом, несмотря на возраст?

Хотя архитектура Volta устарела, карты всё ещё выполняют задачи, за которые просят большие суммы, и обладают уникальными возможностями, недоступными в более новых моделях.

Full Transcript — Download SRT & Markdown

00:25
Speaker A
И сейчас представьте ещё на секунду. Она ведь поддерживает технологию NV. Представьте, если объединить такие две видеокарточки либо четыре штуки, это просто будет запредельно, просто неадекватный объём видеопамяти, ещё и вычислительной мощности. Но это уже совершенно другая история.
00:49
Speaker A
Другая история, которая должна быть раскрыта, я считаю, рассказана полностью. Тот парень в чёрно-белом кадре был уверен, знаете, в одной вещи.
00:58
Speaker A
Он сказал: "Это совершенно другой уровень мощности. 22%, столько мне дали две дополнительные видеокарты, не в два раза прирост производительности, не в полтора даже".
01:10
Speaker A
22% скорости за киловатт 350 Вт из розетки, за второй контур охлаждения и за примерно 200 часов у стенда. 68 конфигураций, одна видеокарта, две видеокарты, четыре, тензорный режим, конвейерный, гибридный и везде одна и та же самая картина.
01:30
Speaker A
Добавляешь карту, получаешь проценты. 22% вместо другого уровня мощности. Здесь я должен был выйти и сказать: "Я ошибался.
01:41
Speaker A
Никакого другого уровня там мощности нет. Есть 22%. Я почти так и сделал. Меня остановила одна только мысль, что я мерил не то.
01:55
Speaker A
Все 3 недели у меня на столе лежала одна книга. Это "Война и мир" Льва Николаевича Толстого. И я её, наконец-таки, читаю, потому что не перечитываю, потому что в школе я её ни хрена не читал. И здесь, наконец-таки, мне захотелось почитать
02:07
Speaker A
о классике. И я решил, знаете, проверить не скорость, а кое-что другое. И искать материал, как вы понимаете, не пришлось.
02:14
Speaker A
Он лежал прямо передо мной. Первый том — это 700.000 знаков в токенах, тех единицах, которые модель меряет и мы с вами меряем — это примерно там 230.000 токенов. Для понимания, обычная видеокарта на 24 ГБ. Обычная, вы скажете, видеокарта на 24. У каждого же
02:32
Speaker A
дома стоит видеокарта на 24 ГБ, но будем считать, что она обычная видеокарта. Тянет примерно от 8 до 32.000 токенов. Я загрузил, чтобы вы понимали, эту книгу целиком. Не пересказ, не куском, сплошным текстом, как и есть, и на глубине примерно 70%
02:53
Speaker A
вставил вот это. Пьер вынул из кармана сложенный вчетверо листок бумаги и прочёл вслух. Видеокарта V100 SXM2, серийный номер 7734 Alpha, установлена в слот номер три. Частота 1.372 МГц.
03:09
Speaker A
Наташа посмотрела на него с недоумением. Один абзац где-то в середине там третьей части и задала один лишь вопрос: что Пьер прочёл вслух с листка, сложенного вчетверо? Обратите внимание, чего в этом вопросе нет. Я не сказал, что искать. Я
03:29
Speaker A
не сказал, что в этом тексте что-то вообще поменялось. Я не назвал ни видеокарту, ни номер, ни главу. Модели нужно было прочитать всю книгу целиком, найти сцену, понять, кто такой Пьер и в какой момент он конкретно лезет в карман. И знаете что? Она ответила слово
03:46
Speaker A
в слово. На одной карте этого вопроса задать нельзя. На двух тоже нельзя. И почему, я объясню это чуть-чуть позже.
03:57
Speaker A
Чуть больше 3-х недель чисто на одни тесты. Это в районе там 200-250 часов, чисто сидя вот у консоли. 250 кВт/ч только обычно квартира съедает за месяц со светом, холодильником, стиралкой, со всем вообще чем угодно. У меня это ушло
04:13
Speaker A
просто в одну розетку за 3 недели. 68 конфигураций, 13 языковых моделей, восемь моделей для создания картинок и две даже для генерации видео. И две RTX 3090 в качестве соперника стоит, потому что они примерно столько же, а продать их потом, ну, несравнимо легче, чем вот
04:31
Speaker A
эти V100. И к концу этого видео вы будете знать три вещи. Для чего эта штука прямо лучшая покупка на рынке прямо сейчас? А для чего это, ну, спорное решение? А для чего её брать, ну, прямо категорически нельзя? Вообще.
04:47
Speaker A
Полгода назад я выпускал ролик про Tesla V100 на 32 ГБ. И мне тогда написали, что это прямо устаревшее железо, это хлам, это мусор и серверный, которому место сейчас на данный момент на свалке. Насчёт устаревшего, ну, соглашусь, Вольта. Это 2017 год, это 9
05:09
Speaker A
лет уже у нас прошло. Насчёт хлама нет, потому что эта штука до сих пор делает вещи, за которые сегодня просят суммы с шестью нулями. Эти карты изначально сделаны не для того, чтобы работать по одиночке. Посмотрите на дно модуля. Это
05:24
Speaker A
у нас два разъёма. Первый — это обычно у нас PCI Express. По нему карта говорит с материнской платой. А второй — это у нас Elink. И он существует ровно для одного, чтобы карта говорила напрямую с другой такой же картой, минуя процессор, минуя
05:39
Speaker A
материнку, минуя вообще всё. 300 ГБ в секунду между чипами. Для сравнения, PCI Express третьей версии, на которой работают эти видеокарты, даёт примерно 16. Такие платы бывают на две, на четыре и на восемь видеокарт. Восемь — это, конечно, уже совершенно прямо серверная
05:57
Speaker A
стойка. Нам туда точно не надо. Четыре — это самый популярный вариант. Официально их никто прямо не продаёт. NVIDIA документацию на эту платформу просто-напросто не публиковала. Поэтому эти платы делают, естественно, наши друзья из Поднебесной. Реверсор, закрытое серверное железо вслепую и
06:15
Speaker A
собирают, ну, что по сути называется, самодельный DGX. А вот за что мы платим, смотрите сюда. Когда вот таких у нас видеокарт две, их можно соединить фактически напрямую. И платы на две карты стоят примерно в три раза, чтобы вы понимали, а то и в четыре,
06:31
Speaker A
дешевле, чем на четыре карты. Потому что, соединяя четыре карты, вам нужен специальный чип, потому что он будет разруливать трафик между всеми картами сразу. Кто с кем говорит, в какой момент, по какой линии, по сути, это коммутатор внутри платы. Плюс схема
06:49
Speaker A
питания там такой сложности, что процент брака достаточно-таки высокий, а гарантий нет никаких, потому что вам нужно запитать каждую карту по 300 Вт. И это всё идёт через материнскую плату, вот эту плату для карт. Представьте, вам нужно практически киловатт 300, киловатт
07:06
Speaker A
200 направить через плату ко всем картам. Там брак, естественно, будет. И он очень большой. Поэтому цена такой платы на четыре карты — это 64.500 руб. Плюс ещё примерно 7.000 руб. на пошлину. Практически 72.000 руб.
07:22
Speaker A
получается. Правда, за эти деньги вам приезжает не только плата, потому что вам ещё приезжает переходник PCI Express на два разъёма, SF 8654, два кабеля туда же к нему, вентилятор для чипсета, термопрокладки и ещё четыре водоблока к тому же. Так что ценник
07:37
Speaker A
выглядит уже не таким страшным за такой наборчик. И знаете, я её купил, потому что мне, как и вам, хочется в этот мир больших технологий и бума вот этого всего, из-за которого у нас железо с каждым днём всё дорожает и дорожает,
07:51
Speaker A
потому что 100 — та же самая, H200, но нам точно не по карману, а сюда мир, в принципе, открыт. И данная плата приехала и легла ко мне на стол. Плата у меня была уже, а карт, естественно, у меня ещё не было.
08:09
Speaker A
Денег на плату хватило легко. Я продал свою видеокарту на 32 Гб V1, которую делал тогда обзор на неё. И купил, чтобы вы понимали, тогда я её за 40.000 руб., а продал за 60.000 руб. Запомните этот момент. Железо, которое называют все
08:24
Speaker A
хламом, за полгода прибавило к цене [смех] 50%, а сейчас она стоит ещё больше. А дальше начинается простая арифметика. С рук. В России тридцатидвухгигабайтную видеокарту сегодня можно купить в районе там 60-70.000 руб. И с Китая, с пошлиной. Это что-то там в районе, ну,
08:42
Speaker A
тех же самых денег. То есть четыре штуки у меня получается в районе 300.000 руб.
08:48
Speaker A
Плюс ещё сама оплата. Итого весь наш проект получается что-то в районе 400.000 руб. У меня нет 400.000 руб.
08:56
Speaker A
свободных. Я не блогер миллионик. Но есть второй вариант. Ровно такие же карты, ровно тот же самый чип, ровно тот же NVLink, та же самая архитектура.
09:07
Speaker A
Отличие только одно. Память 16 ГБ вместо 32. И стоят они не вдвое дешевле, они стоят 12.000 руб.
09:18
Speaker A
Не вдвое, а в семь раз. Представьте себе, вдвое меньше памяти. В семь раз по деньгам у нас отличие. Одна и та же карта, один и тот же чип. То есть у нас четыре модуля по 16 ГБ. Это у нас 64 ГБ
09:34
Speaker A
суммарно. Ровно столько же дают две тридцатидвухгигабайтные видеокарты, но стоит это в разы просто дешевле. И нашёлся один человек местный.
09:45
Speaker A
У него были четыре видеокарты на руках. У него было три по 16 ГБ и одна на 32 ГБ. И сделал он мне хорошую скидку.
09:54
Speaker A
Говорит: "Забирай всё за 70.000 руб." То есть я получал 80 ГБ по цене, то есть одной плашки на 32 ГБ, одного чипа на 32 ГБ примерно. Представьте себе.
10:07
Speaker A
Естест
10:20
Speaker A
А у вот этого разъёма SXM2, то есть у нас нет ни разъёмов, ни видеовыходов, нет ни вентиляторов, чтобы проверить это всё на мониторе, потому [фыркает] что это не видеокарту, которую, знаете, вотнул и посмотрел там этот модуль, который без платы, без питания, без
10:35
Speaker A
охлаждения, это просто кусок текстолита просто с чипом. Оплата, на которой можно проверить, у продавца также не было. И он сказал: "Все рабочие, забирай 100%".
10:45
Speaker A
И я, знаете, что сделал? Естественно, забрал. Начнём с того, что это плата формата E от не просто большая, а очень прямо большая. И теперь добавьте сюда четыре водолока помпу резервуар два радиатора по 360 мм и найти корпус. Куда
11:05
Speaker A
это поместится? Ну, задача со звёздочкой. Я выбрал Chift Night Hunter. То есть он стоит в районе там 6-7.000 руб. Total Black без единого светодиода, здоровый, насквозь, просто продуваемый.
11:20
Speaker A
В комплекте четыре 14 со0вочки идут ещё. Ну, мне вертушки не нужны, и я сразу же их, естественно, выкрутил. Брал я его только по одной причине. На сайте написано: "Поддерживает два радиатора 360 мм чёрным по белому". Я данную информацию проверил на нескольких
11:39
Speaker A
площадок. Везде одна и та же история. поддерживает ровно то, что мне и нужно. Забегая наперёд, это правда. Они туда действительно влезают, но с оговоркой.
11:51
Speaker A
[фыркает] Теперь про сами радиаторы. Здесь я мм чуть не выкинул деньги на ветер, потому что если посчитать, а, по уму, как говорится, четыре видеокарты, каждая по 350 Вт, это 1.200 Вт у нас электричество ватов нужно отвести тепла.
12:10
Speaker A
По всем расчётам сюда нужно два радиатора по 360 мм. И ещё толщиной не 30, а 45 мм. По 3.500 руб. за каждый.
12:21
Speaker A
Так я сам подумал в принципе посчитал. И так мне ещё нейроночка подсказала. Я, естественно, послушал это всё дело и заказал. А потом он поговорил с человеком, который собирает контуры руками, и он сказал: "Под данные задачи хватит обычных двух, а, 360 мм радиаторы
12:38
Speaker A
по 30 мм." Потому что расчёт на бумаге не учитывает одну очень важную деталь, что часть тепла уходит в воздух прямо с самих модулей и с самой платы, на которой они стоят, то есть мимо самого контура. То есть 45 мм здесь избыточно.
12:53
Speaker A
Радиаторы к тому моменту уже ехали из Китая. Ну и ладно, я подумал, работать это будет всё тише. Дальше в комплекте с платой идёт, а, маленький радиатор с вентилятором, тот самый, который охлаждает чипмонита.
13:07
Speaker A
Сразу скажу, это шумная Она самая шумная в корпусе. Наперёд вам сбегаю. Потом я дам вам послушать, как это всё звучит. И ставится он через термопроку и прикручивается болтами. Болтов в комплекте не было, хотя они должны были быть. Ладно, думаю, съежу строительные,
13:25
Speaker A
куплю их. И как вы думаете, какая резьба нужна? Не, не 4,2 с поной. Минимальный размер, который был вообще в магазине и существовал в продаже, это был 3, а здесь 25,5. Итого плата за 72.000 руб., карта за 70.000 руб. Радиаторы из Китая. И весь этот
13:52
Speaker A
проект у меня стоит из-за двух болтиков по 3 руб. В итоге я заказал эти винты на озоне. Длина нужна, кстати, либо 10 мм, либо 12 мм, если у вас тоже эти болтиков не окажется. Я взял 12. У меня всё это
14:05
Speaker A
вкрутилось без каких-либо вопросов. Это был, кстати, первый дозаказ и не последний. Дальше нам нужно собрать все комплектующие для основного контура.
14:18
Speaker A
Первое - это у нас помпа DDC. Я взял на 780 л в час. То есть она стоит 4.900, резервуар 1.200, а, девять фитингов, шаровый кран, 3 м шланга. И вот это вообще всё, всёвсё вместе. Мне выходит что-то в районе там
14:39
Speaker A
9.700 руб. То есть водоблоки, напоминаю, приехали бесплатно. Ну как бесплатно, за 72.000 руб. в комплекте с самой платой.
14:48
Speaker A
И жидкость. Вот здесь момент, на котором убивают многие контуры. В воблоке у меня медные радиаторы. Я решил сэкономить и взял алюминиевые. Два разных металла в одном контуре. Если залить туда обычную дистиллированную воду, начнётся электрохимическая коррозия. Алюминий будет разрушаться, а продукты реакции
15:08
Speaker A
осядут на каналах воблока, и постепенно это всё забьётся. То есть контур начнёт греться, и вы будете думать, что сдохла помпа, а внутри просто у вас нарастает грязь. Поэтому мы либо с вами берём уже какую-то готовую жидкость с ингибиторами, вот, например, я взял вот
15:25
Speaker A
такую. Это самая дешёвая она была у нас, либо мы берём десятилят и отдельно к нему добавляем присадки. Есть ещё вариант доплатить там 15-2.000 руб. и взять радиаторы медные. Я решил, как сказал, уже сэкономить. Взял готовую, самую дешёвую, 500 руб. за литр. Чтобы
15:43
Speaker A
вы понимали, вот эта банка стоила. Купил две такие бутылки, потому что понятия не имел, сколько вообще может понадобиться.
15:50
Speaker A
понадобилось, чтобы вы понимали, вот столько осталось у меня одной бутылкой. То есть у меня одна целая стоит и вот столько осталось. Тут разметка есть. Тут осталось 300 мл, чтобы вы понимали. То есть это 700 мл на весь контур. Это
16:03
Speaker A
четыре водолока, два радиатора, помпа, резервуар и ещё 3 м шланга. Это меньше литра жидкости вам нужно. То есть вторая стоит, так и не распечатана. Опять переплатил.
16:18
Speaker A
Посадка модулей - это самое простое, что есть в данной сборке. Снимаем заглушки, смотрим на разъёмы. Там две прорези: маленькая и большая. На самом модуле они такие же. Совмещаем большую с большой, маленькую с маленькую. Кладём этот чип сверху. Просто восемь болтов. Сначала
16:35
Speaker A
четыре у чипа крест-накрест, потом четыре по краям. Также крест-накрест. Тянем спокойно, без какого-либо фанатизма. Всё это вся установка.
16:44
Speaker A
Никаких защёлок, никаких слотов, ничего страшного тут нету. А вот с воблоками нужно быть внимательней. Об этом практически нигде не сказано и не написано. Они приезжают двух видов. Есть сетчатые структуры внутри. Это ровно такие, которые можно поставить в любом
17:00
Speaker A
положении, и у вас будет всё прекрасно работать. А есть с параллельными такими, можно назвать, каналами, канавками. И тут есть одно положение правильное, а другое неправильное. Из четырёх водоблоков правильно собран, приехал только один. Лечится это, конечно, за 5 минут. Откручиваем четыре винта,
17:16
Speaker A
поворачиваем медную пластину на 90°. Закручиваем это всё дело обратно. Главное проверить прижимы и посмотреть, чтобы уплотнительная прокладка легла ровно и никуда она у нас не сместилась.
17:28
Speaker A
Кстати, воблок к модулю притягивается обычными болтами М3 на 6 мм, то есть ровно теми же корпусными винтами, которые материнская плата крепится к корпусу. Один я потерял, взял один из винтов, который шёл в комплекте с корпусом, и встал он как родной. После
17:47
Speaker A
истории с М2,5 это была уже приятная неожиданность, потому что я думал, опять что-то надо куда-нибудь ехать надо будет и подбирать. Нет, всё отлично. Дальше идёт у нас термопаста. Мажем прямо на кристалл. Тут всё как обычно, никакой возни. А просто намазали и всё. И
18:04
Speaker A
прокладки, термопрокладки. В комплекте они идут все одинакового размера. Это на 2 мм. Что на мосветы, что на дроссели.
18:14
Speaker A
Ну, я посмотрел и мне кое-что не понравилось, потому что два дросселя у нас остаются вообще ничем не прикрыты.
18:19
Speaker A
То есть прокладочки они коротенькие оказались. И взял свои двухмиллиметровые, нарезал потоньше и положил туда же. Может, это было и лишним каким-то моим действием, но мне так будет спокойнее житься.
18:36
Speaker A
Эту штуку многие вообще, в принципе, не покупают, а я купил. 2.500 руб. по акции стоит дешевле, чем фитинги. Не потому, что я был уверен, что она мне понадобится. Просто раз уж я лезу в кастомную воду, буду делать это
18:51
Speaker A
по-человечески, как это написано в учебнике по кастомной водянке. Первую проверку я сделал сразу же после того, как пересобрал водоблоки. 0,7 бара я вкачнул на модули. 15 минут стрелка не дрогнула ни на миллиметр. Потом я собрал весь контур на столе и проверил ещё раз.
19:09
Speaker A
И вот теперь важное предупреждение. На полном контуре больше 0,4 бара мы с вами не качаем. 0,5 - это вообще уже потолок.
19:19
Speaker A
У вас в системе десятки резиновых уплотнителей и лишнее давление не проверяет их, а убивает. Даёт вот эти микротрещины какие-то, которые протекут у вас через месяц. Не пытайтесь проверить контур на прочность. Вы проверяете герметичность.
19:36
Speaker A
Теперь про питание. И начну с цифры, которая меня удивила. 200 Вт. Этот стенд жрёт в простою. Вы его просто включили, ничего не запустили, просто сидите и у вас из розетки уже жрётся 200 Вт за то, что эти карты просто существуют. Теперь
19:55
Speaker A
другой край. По 300 Вт на карту плюс примерно 150 Вт. Вся остальная обвязка это 1.350 Вт. И вот что интересно. За 3 недели теста я эту цифру увидел только на самом деле пару раз. Первый момент был это когда я читал Войну и мир, когда у меня
20:15
Speaker A
карта читала её, просчитывала. И второй раз при генерации картинок на четырёх видеокартах. Всё. В других моментах я не видел эту цифру ни разу. Во всё остальное время в обычных чатах при генерации картинок не батчем, а генерация видео тех же самых, стенд есть
20:31
Speaker A
в районе там 700-800 Вт. То есть загрузить эти карты на 100% возможно добиться этих показателей, но это трудно сделать. Но 1.350 Вт - это ещё не вся правда, потому что считайте, что это у вас просто видеокарта столько потребляет, и ей дополнительно нужен ещё
20:50
Speaker A
компьютер, который будет этим всем делом управлять. И он подключается с помощью а вот таких, в общем, проводов. Она называется SFF 8654.
21:01
Speaker A
И в комплекте идёт вот такая плата, куда это всё дело вставляется. То есть у нас два провода таких и вот такая вот плата.
21:07
Speaker A
И представьте, что другой компьютер у вас тоже жрёт электричество. А тестовый стенд у меня достаточно-таки мощный, и потребление его было у меня в районе 400 Вт. Итого из розетки в пике 1.700 примерно 1.800 Вт электричества и две коробки под
21:28
Speaker A
столом. Вот это уже, я считаю, честная цифра. И здесь есть решение, до которого я додумался слишком поздно. Тот же самый вот этот SF провод. Вот этот SF to SF.
21:40
Speaker A
Кстати, знаете, что это за провода? Это от супермикро, чтобы вы понимали. Это в серверах вот таких провода подключают диски, чтобы вы понимали. Это серный провод для дисков. Это не для видеокарт даже. Это он такое отступление. В общем, он есть ещё SF to Окулиink. А окулиink
21:57
Speaker A
знаете что у нас? И кто умеет? Окулиink у нас умеют мини ПК. То есть, в принципе, в теории возможно просто вот этот мини ПК положить в корпус другого ПК большого, и у вас будет одна коробка вместо двух. И что
22:15
Speaker A
это меняет? Вместо 400 Вт на управление у вас получается в районе там 65, максимум 100 Вт, потому что эта коробка жрёт, максимум 100 Вт. То есть общее потребление - это в районе там 1.400-1500 Вт. И главное, вся система у нас
22:32
Speaker A
становится одной коробкой, а не двумя. Такого провода, к сожалению, у меня не было. Купить его достаточно-таки тяжело.
22:39
Speaker A
В России, по крайней мере, я не нашёл. Ну, может быть, я плохо искал. Но он 100% существует, потому что у продавца платы есть отдельная комплектация конкретно с Окулинка. Вместо вот этого PCI экспрессовского вот этого а разъёмчика. Вот вместо вот этого
22:54
Speaker A
разъёмчика у вас здесь будет просто один провод ещё Окулинка лежать в комплекте. По поводу блока питания. В идеале я считаю сюда ставить 2 кВт, но такие блоки питания стоят космических просто бабок денег. Дешёвый путь, знаете, у нас есть, естественно, это майнерские блоки
23:10
Speaker A
питания с Савида, потому что это полтора примерно там 2 кВт можно купить за 3-4.000 руб. За надёжность, конечно, я не ручаюсь, но майнеры на них майнили годами, в принципе. Единственный момент, они шумноватые, то есть вентилятор лучше сразу под замену. Я взял first player на
23:29
Speaker A
1.300 Вт. Platin от X3.1 модульный гарантии 10 лет. То есть он стоит 18300. Это на 1.300 Вт стоит 18300.
23:37
Speaker A
Представьте, сколько бы стоил там на 2 кВт блок питания. Проблем с данным блоком питания у меня ни разу не было.
23:43
Speaker A
Хоть и запаса у нас здесь нулевой. Даже мы берём ещё в долг 50 Вт, потому что у нас на 1.300 Вт, а мы берём 1.350 Вт. И на самом деле блок питания справляется прямо достойно. Ну не ни не странно,
23:54
Speaker A
потому что Kberneticsкс платина, он сам платина. Так что, естественно, он лучше будет дальше даже китайщина на 1.500 Вт, мне кажется, а то и на 2.000 Вт. Но жить я, в общем, с этим блоком питания на постоянке вам не советую. А ставьте
24:06
Speaker A
всё-таки что-то помощнее. Помните, я вам говорил, что на сайте написано: "Два радиатора 360 мм у нас влезают. Первый у нас встаёт идеально, естественно". Спецификация не соврала.
24:21
Speaker A
2-360 мм сюда влезают. Просто в этот момент в корпусе не должно быть ничего. Просто он должен быть пустой. Ничего в нём не должно быть. Ни платы формата EATX, ни помпы, ни резервуара, ни фитингов, которые нужно куда-то выводить. Второй радиатор упёрся в
24:37
Speaker A
притык. Выводить коннекторы стало некуда. Как я и говорил, 45 мм здесь были избыточные, они не нужны просто-напросто. И плыму сюда, а встанут идеально 2 360 мм на 30 мм. Либо мой вариант, к которому я уже пришёл, один толстый радиатор мы берём на 360
25:02
Speaker A
мм 45 мм толщиной. Второй мы берём 240 мм на 30 мм толщиной. И стоит он всего там 2.000 руб., грубо говоря, за два толстых радиатора я отдал 7.000 руб.
25:14
Speaker A
Один из них оказался просто-напросто лишним. спасли меня. 240 спас на 30 мм. Совет нейросети обошёлся мне в 3.500 руб. Опять меня нейросетка кинула. Как тогда, помните выпуск у меня был, когда меня с материнской платы она тогда кидала меня на бепсете
25:32
Speaker A
и с видеокартами ARК. Теперь она меня на 3.500 руб. тут кинула. Вот зараза кидает меня. Я ещё под неё сборку собираю.
25:39
Speaker A
Охреневшая. Под температуру, кстати, всё отлично. В простое контур держит. Ну, как в простое, там 200 Вт потребления, как я уже говорил, в простой. У него в простоей - это комнатная температура всё равно 25 -30°.
25:52
Speaker A
Лёгкие какие-то задачи вот эти 700-800 Вт, это где-то у нас в районе 50°. Если мы вжариваем все 1.350 Вт туда и вентиляторы выкручиваем, потому что я купил диммер, который выкручивает вентилятор и помпу на скорость определённую. При 70% примерно это
26:10
Speaker A
70-60% - это беззвучный режим данной помпы, я бы назвал. Это у нас в районе 60-62°.
26:16
Speaker A
То есть запас у нас ещё есть. И тут у нас случился, как вы понимаете, второй дозаказ. Опять нам надо радиатор заказать и опять ждать. И пока у меня это всё дело ехало, вылез ещё и третий.
26:29
Speaker A
Плата приезжает у нас с металлической пластины сзади, то есть с бэкплейтом, так называемым. Её можно снять, потому что она держится на обычном скотче, но я решил оставить. Итого толщина вместе крепления у нас получается около 5 мм. А корпусные винты, напоминаю, они 6 мм.
26:46
Speaker A
Итого у нас получается то, что материнскую плату мы не можем просто-напросто прикрутить, потому что у нас не хватает длины вот этого болтика.
26:54
Speaker A
Он просто не достаёт до резьбы. То есть 3 нам нужно на 8 мм. Тоже заказываем, тоже ждём. К тому моменту я уже перестал удивляться, что мне надо что-то будет дозаказывать.
27:08
Speaker A
Пока ехал второй радиатор и винты, я не выдержал и собрал на столе это всё как есть. С одним хотя бы радиатором без нагрузки посмотреть, что это всё включится, запустится. Залил обычную дистиллированную воду. Напоминаю, что этом делать нам не стоит, но я сразу же
27:24
Speaker A
потом её слил, и всё нормально было. То есть никакой коррозии у меня там не образовалась. И чудо запустилось всё с первого раза. Я даже кружочек там в Telegram вроде как скинул видео, я уже не помню. И все четыре видеокарты на
27:37
Speaker A
месте. Я уже выдохнул. Ну, на следующий день мне пришли винты. Я собрал всё в корпус, залил правильную жидкость. И вот, наконец-таки, по-настоящему мы сейчас будем тестировать всё позади, сборка позади. И я ставлю убунту, загружаюсь, открываю терминал, смотрю список
27:57
Speaker A
устройств на шине. Четыре видеокарты на месте, тридцатидвухгигабайтная тоже здесь. Я уже потираю руки, думаю, всё, ну, половина реально работа позади, дальше только тесты. Ставлю драйвера, ввожу NVIDIA SM, и у меня там три [откашливается] тридцатидвухгигабайтной видеокарты просто-напросто нет. Я
28:22
Speaker A
потыкался, посидел сначала, думал, может, какая-то программная ошибка, это всё-таки у нас тридцатидвухгигабайтный модуль, а те другие 16. Может, они как-то между собой не ладят? Я подумал.
28:32
Speaker A
Ну, какие-то вот мои там программные вот эти разработки ничем не увенчались. Я уже думаю: "Ну ладно, может быть, там пылька какая-то попала, разберу-ка я, продую модуль, разобрал, продул модуль, поставил обратно, ничего не помогаю".
28:47
Speaker A
Думаю, ну, последний тест, прямо поменяю модули местами. Поменял модули местами. Та же ситуация. Итак, ребят, почему мы с вами тут сидим сейчас? Всклиниваюсь я так резко. Вот эта вот видеокарта, она у нас мёртвая. Если вы ещё не поняли, как
29:04
Speaker A
это произошло в самом начале, когда я окончательно уже начал запаковывать наш контур, грубо говоря, заливать жидкость, я включил и проверил винде. А в винде у меня отображалось то, что, ну, я аж открыл ГПУ программу, смотрю, там все видеокарты есть. Я думаю, отлично, тогда
29:21
Speaker A
можно собирать. И сейчас, когда я загружаюсь в буunнт, у меня данной видеокарты нет, когда я пишу Nvidia SIM.
29:28
Speaker A
И что это получается? то, что у нас видеопамять мёртвая. Просто потому что я эту видеокарту вытащил, продул. Я подумал, может быть, что-то там с контактом не то. Продул её, вытащил, ничего не изменилось. Поменял видеокарты местами, ничего не изменилось. Просто
29:44
Speaker A
ничего. Я уже всё ставил болванку. У меня была болванка для одной видеокарты, ставил её в компьютер. Она не определяется. То есть как PCI Express устройство, то есть она видится, но с ней работать нельзя. То есть она не заточена подработа. То есть эта
29:59
Speaker A
видеокарта мёртвая, у неё память всё кирдык. А я вот уже контур как бы запаковал, и мне пришлось это всё дело сливать, заново это всё делать. Так что эта сборка, на самом деле, не из лёгких.
30:11
Speaker A
И почему вот этот выпуск так затянулся? Потому что я каждый день что-то дозаказываю, чтобы вы понимали. Реально каждый день что-то дозаказываю. Как я вам уже сказал, карта оказалась мёртвой.
30:21
Speaker A
И вот эта видеокарта, кстати, помните, я говорил, что проверить её негде было. Вот поэтому и негде было её проверить.
30:29
Speaker A
Модуль виден на шине, он физически там есть, к ней идёт питание, система его обнаруживает, а работать он с ней не может. И понять это можно только установив драйвер, никак. Потому что из винды я запускал, тоже открывал ГПУ Z и
30:47
Speaker A
там он был. Этот модуль был, но он нерабочий. И вот что важно. Человек вернул мне 20.000 1.000 руб. сам без каких даже разбирательств. Он сказал то, что карту оставляй себе, она мне не нужна, она всё равно нерабочая. И на тебе 20.000 руб.
31:06
Speaker A
То есть мне обошлись три видеокарты за 50.000 руб. Ну ладно, чуть больше а рынка. Но как таковых претензий к данному человеку у меня ноль. Он продал то, что у него было. Он сам не мог проверить. Я думаю так. Я думаю, люди
31:19
Speaker A
только хорошие. Может, он сам не знал, не мог проверить и мне это продал. и потом ещё вернул деньги. Так что ноль претензий. Дальше пришлось, как обычно, это всё разбирать, сливать жидкость, снимать модуль. Почему вы скажете не оставить три видеокарты, оставил вот это
31:34
Speaker A
так, как есть, и тестировать бы начал бы, а потом приехал, поменял бы. Потому что NVLink не работает на трёх видеокартах. Там нечего делить. Работали просто две видеокарты, а две другие стояли, подогревались там, грелись. А зачем это делать? И учтите, что
31:49
Speaker A
перебрать контур, это надо повторно всё сделать, всю процедуру, что я сделал. Это слить жидкость, отсоединить шланги, нарезать новые, проверить герметичность, залить жидкость. Это не 2 минуты времени, это, ну, час работы минимум. А я это делал, я говорю, сливала жидкость
32:07
Speaker A
вот примерно семь раз за всё это время. И вы скажете: "Почему так долго видео, Андрей, не выходит? Почему так долго видео не выходит?" Потому что я на эту сборку, я говорю: "Это самый долгий проект. Это вот 3 реально недели, 3 12
32:18
Speaker A
недели сидел чисто вот за тестами и сборкой вот вот вот этой сборки. Просто реально это самое геморное, что я когда-либо делал. И в итоге я заказал ещё один модуль на 16 ГБ у другого человека уже с отзывами, с доставкой
32:32
Speaker A
проверенного. И вышло мне это 14.500 руб. и ещё 4 дня ожидания. То есть итоговая сборка получилась у меня не такой, какой я задумывал на 80 Гб. В итоге у меня получились просто все видеокарты на 16 Гб, итого 64 Гб памяти,
32:47
Speaker A
то есть 64 ГБ. Итак, спустя какое-то время все четыре видеокарты были у меня уже на руках, и они заработали. Эта видеокарта приехала рабочая, слава богу. Итого у меня было 64 ГБ видеопамяти NVLink, и это всё работает. И тут я упираюсь в стену,
33:08
Speaker A
потому что вопросов у меня было гораздо больше, чем один, а ответов на них у меня не было. Мне нужно было понять не только, что умеет моя конкретная сборка.
33:18
Speaker A
Мне нужно было понять, за счёт чего она это умеет. Даёт ли что-то NVLink на самом деле, либо можно было обойтись просто обычными PCI экспрессовскими вот этими переходниками, четыре штуки их вотнуть. Что меняют тридцатидвухгигабайтной версии этих видеокарт? И главное, стоит
33:36
Speaker A
ли эта вся возня каких-то свеч, если за те же примерно деньги можно взять две обычные игровые видеокарты RTX390, ну, чуть дороже получается. Чтобы ответить на все мои вопросы прямо и полностью расставить все точки над и уже наконец-таки мне нужны были четыре
33:53
Speaker A
тридцатидвухгигабайтных модуля по 80.000 за модуль, напоминаю, и парочка ещё 3090 соточка, а то и больше там за одну видеокарту. Купить это ради одного выпуска я не могу, поэтому я это всё дело арендовал. Все тесты на тридцатидвухгигабайтных V100 и парочки
34:09
Speaker A
RTX390 сняты на машинах Imers Cloud. Ребята дали мне доступ, без них половина этого видео просто бынапросто не состоялась. Спасибо им отдельное прямо за это. Причём там было куда, естественно, больше вариантов разных комбинаций железа, чем я взял это в
34:23
Speaker A
тесты. Я половину просто, ну, не стал добавлять в сравнение ролика. И так, я думаю, получится на полтора часа. Но рассказать я хочу даже не про это.
34:31
Speaker A
Смотрите, я сейчас вам буду полтора часа рассказывать, как я потратил 200.000 руб. и 3 недели своей жизни на то, чтобы выяснить, подходит ли мне это конкретное железо. У большинства из нас вообще с вами не 200.000 руб. свободных денег. У
34:47
Speaker A
меня их тоже, если честно, не было. И прямо хватило прямо ровень-ровень. Мне даже карту пришлось свою старую продать, чтобы купить ту самую плату. А вопрос у нас всегда у всех стоит только один.
34:57
Speaker A
Подойдёт ли мне это конкретное железо, либо я выкину эти деньги на ветер? И вот здесь простая мысль, до которой я дошёл на самом деле сам даже слишком поздно.
35:09
Speaker A
Вам не надо покупать железо, чтобы его проверить. Вам нужно просто арендовать его на пару часов. Здесь можно взять одну видеокарту, четыре видеокарты, две видеокарты, восемь видеокарт, ровно ту конфигурацию, которую вы думаете просто купить. Торификация у них посекундная от
35:27
Speaker A
нескольких рублей. То есть посидели, вы попользовались 15 минут, заплатили за 15 минут, посидели полчаса, заплатили за полчаса. Посчитайте сами. Взяли машину, допустим, вы на пару часов поставили свою модель, погоняли её в своих там задачах и уже знаете ответ на свой
35:41
Speaker A
вопрос. Хватит ли вам видеопамяти? Какая будет у вас скорость на данных видеокартах? И это стоит всего 1.000 руб. 1.000 руб. вместо 200.000 руб., чтобы узнать, нужна ли вам конкретно данная сборка. Вот это я только понял после того, как купил всё это дело и
35:56
Speaker A
собрал. Вы можете сделать наоборот по уму. По ассортименту Imers Cloud самый большой, я сказал бы, сервис в России по выбору видеокарт. То есть там и H100 есть, и H200 есть. В том числе конфигурация с НВНком, да, тот самый
36:10
Speaker A
NVLink, про который я вам буду рассказывать весь ролик, только видеокарты не 2017 года, а те, которые стоят как целая квартира. Плюс есть та же самая RTX5090, если нужно что-то посвежее и попроще. В библиотеке готовых образов можно поднять машину с уже
36:25
Speaker A
установленным совтом на любой прямо операционной системы. То есть вам не обязательно делать то, что я, в принципе, делал в этом выпуске. Кстати, вариант, о котором мало кто думает. То есть берёте машину с RDX5090, ставите Windows и можете даже поиграть
36:39
Speaker A
на 5090. И платим мы за часы, которые играли, а не за пакет. Если задачи, например, у вас рабочие, можем поставить просто голый Linux без графики, только под расчёты, подключиться по SSI протоколу и вперёд, пожалуйста. Нужно Windows с интерфейсом, чтобы смонтировать,
36:56
Speaker A
например, тот же ролик, поиграть на железо тоже, пожалуйста. Также у данного сервиса недавно был свежий релиз. Они добавили каталог нейросетевых модулей, то есть те самые языковые модели. Более 200 штук. Также самый большой в России.
37:10
Speaker A
Публичные точки доступа на данный момент бесплатные, приватные. Платите за время сервера, которое вы на нём работаете, не за какие-то токены. Для тех, кто гоняет много- это принципиально другая прямо математика. Ссылка под роликом, по ней 20% сверху к первому пополнению. То есть
37:28
Speaker A
проверьте до того, как вы что-то начнёте собирать. Я вот не проверил. И теперь сижу вам полтора часа, рассказываю, естественно, про мои ошибки. А мы возвращаемся с вами к железу. Итого у нас получается такая замечательная программка на сегодня. Мои видеокарты на
37:44
Speaker A
16 ГБ. Одна видеокарта, две видеокарты и четыре видеокарты. Четыре видеокарты также по 32 Гб через обычный PCI Express без Нлинка, чтобы понять, что даёт тот самый NVLink. и две видеокарты RTX 3090 как ответ на вопрос: а не проще ли взять
38:02
Speaker A
игровое и ещё и посвежее? То есть у нас 68 конфигурации, 13 языковых моделей, восемь моделей для генерации картинок, две для видео. И это ещё всё в разных режимах, то есть конвейерный, гибридной, тензорной. 3 недели, даже больше 3х недель на тесты, чтобы ответить на один
38:22
Speaker A
вопрос. Ну что, железо у нас собрано, карты у нас видны, контур у нас холодный. Вот здесь можно вот через переключатель выключать и принудительно можно его включить. В другом положении у нас просто оно автоматически будет включаться, когда у вас запускается
38:38
Speaker A
компьютер другой. Ну и принудительно можно тоже его включить. Я принудительно его включу для видо. Теперь надо на этом что-то нам запустить. И вот здесь начинается настоящая история.
38:50
Speaker A
Стандартный инструмент для таких задач называется VLM. Его ставят все, кто поднимает языковые модели на своём железо. Сейчас многие скажут: "Так, есть же у нас лама, есть же у нас LMUD. По сути, да, но сейчас я вам покажу и
39:03
Speaker A
расскажу, почему именно VLM считается стандартом для данного железа. И официальной версии на этих видеокартах данного приложения, данного дистрибутива не работает и не будет, потому что архитектура Volta - это 2017 год.
39:20
Speaker A
Поддержку этих видеокарт оттуда давно убрали. Для нового железа она есть, для наших с вами видеокарт нет, но есть люди, которые дописали её туда обратно принудительно. Есть определённый форк, куда вернули коды под наши с вами видеокарты. Ставим его. И тут начинается
39:35
Speaker A
самое интересное. Ошибки сборки, конфликты версии, ломающаяся русская локаль, библиотека, которая падает не сразу, а где-то минут через 12 работы. Я не буду показывать это подробно, иначе видео станет реально трёхчасовым, а то и дольше. Всё выложено в отдельном файле
39:51
Speaker A
снизу. Ссылка у нас будет в описании, скорее всего. Скажу только, сколько это стоило. Это больше 20 часов моего времени, чистого времени, за терминалом, которые я провёл. Заплатки, обходные пути, эксперименты. И в итоге это всё заработало. Оно заработало, представьте
40:06
Speaker A
себе, завелось. Но 2 сентября вышла новая версия этого форка, в которой это всё уже исправили. То есть 20 часов моего времени, а которые я потратил впустую, я считаю, люди сделали бесплатно и лучше даже, чем я. Руки у меня после такого, конечно же,
40:23
Speaker A
опустились основательно, но вывод я из этого сделал, и он, пожалуй, полезнее всех цифр в этом ролике. И если чего-то нет, иногда лучше просто подождать. Не всё нужно чинить самому вот сидеть руками. Особенно то, что чинит прямо сейчас несколько там десятков человек по
40:40
Speaker A
всему миру и делают это быстрее, чем вы один. И вот так выглядели эти 3 недели.
40:44
Speaker A
Встаёшь, наливаешь кофе, включаешь стецент, потом включаешь первый компьютер, второй компьютер, подключаешь поэсайчу и ставишь прогон. И время тестирования написано 40 минут. 40 минут ты ничего прямо не делаешь, смотришь на бегущие логи. Кстати, раз уж наушники в кадре, вот в этих, например, я просидел
41:01
Speaker A
6 лет. Это проводные Rizer. Видите, во что превратилась кожза. Он просто потрескался. Они до сих пор, конечно же, живые. Просто я убрал их на полку, потому что появились две другие пары. И последние месяцы я сижу в них. Сразу же
41:15
Speaker A
скажу, что в наушниках я про фан, про сцену, детализацию и прочее спрашивайте точно не меня. Но мне иногда пишут, какие наушники посоветуешь. Так что расскажу просто как обычный пользователь, что у меня есть и чем они отличаются. Наушники HAвит две пары, и
41:29
Speaker A
они, честно, разные. Не одни чем-то лучше, а просто разные. Вот эти, например, белые, полностью пластиковые.
41:35
Speaker A
В руках ощущаются попроще. Динамики 40 мм, подсветка статичная. Включил и она просто переливается радугой. По времени работы я, например, 3 недели сидел за компьютером где-то по 12-14 часов в день. И хватает примерно в моём использовании на 2 12 дня. И вот один
41:51
Speaker A
минус, который меня реально зацепил. Индикатора зарядки нет никакого. Просто сколько осталось, посмотреть невозможно. Вместо этого они начинают сообщать голосом каждые примерно 10 минут, что заряд низкий, надо бы зарядиться. Вторые чуть крупнее и сделаны, как по мне, заметно лучше. Слово премиальные для
42:08
Speaker A
этих денег я употреблять, конечно, не буду, но в руках они монолит, без люфтов, без скрипов. Амбишуры здесь, например, у нас уже кожаные, а не тряпочные и прямо мягкие. Это начинаешь ценить уже там через 8 часов работы в них. Динамики здесь уже 50 мм. Они
42:22
Speaker A
чуть-чуть, как по мне, погромче. Подсветка нормальная, настраивается уже, эффекты разные можно настраивать, а статичные цвета и просто её можно выключить. И живут они уже дольше, примерно на 10 часов. У меня выходило 3 с2 где-то 4 дня в том же самом режиме.
42:35
Speaker A
Есть несколько способов подключения, что у тех, что у других, то есть по джеку, по радиоканалу, либо по Type-C проводу обычному. Так что выбирайте сами. Нужны помягче, покрупнее, которые подольше держат зарядку. Берите вот эти чёрные.
42:48
Speaker A
Нужны такие, чтобы вписывались в белый сетап чуть-чуть полегче. Берите белые. Обе версии вы можете купить в ДНСе, потому что они там продаются дешевле всего.
42:59
Speaker A
Прежде чем перейти к цифрам, нужно объяснить одну вещь. Без неё дальше ничего не будет у нас, в принципе, понятно. Когда у нас несколько карт, модель между ними можно разделить двумя основными способами. Разница между ними колоссальная. Первый способ - это
43:15
Speaker A
конвейерный, стандартный. То есть модель режется на слои. Первая четверть на первой карте, вторая четверть на второй, третья, четвёртый и так далее. Данные идут просто по цепочке. Проблема здесь у нас очевидная. Как только вы посмотрите на загрузку видеокарты, потому что пока
43:31
Speaker A
считают у нас первая видеокарта, остальные у нас три стоят, отдыхают, потом считают вторая видеокарта и остальные три стоят, отдыхают. То есть при одном запросе 3/4 вашего железа вообще ничего не делает. Второй у нас способ - это тензорный. Здесь режется не
43:47
Speaker A
модель на слои, а каждый слой просто режется на части. То есть все четыре карты считают один и тот же слой одновременно, каждый свой кусок, и потом они обмениваются результатами. Вот ради этого обмена как раз-таки у нас и нужен
44:02
Speaker A
NVLink. Карты в тензорном режиме разговаривают с друг другом постоянно на каждом просто слое. Одна и та же модель, то же самое железо, разница только в способе деления. Например, у нас конвейерный режим- 32 токена в секунду, тензорный режим- 70 токенов в секунду,
44:20
Speaker A
больше чем вдвое. И вот теперь практический вывод, ради которого стоило смотреть эту голову. LM Studди тензорный режим. Она, в принципе, там есть такае название, но он просто крашится, когда вы его ставите. Лама CPP, вот это то же самое есть, но он просто не работает. То
44:39
Speaker A
есть, если вы собрали себе сервер на нескольких таких видеокартах и работаете через данные приложения прямо сейчас, примерно половина скорости вы на этом теряете. И даже не задумывайтесь об этом.
44:53
Speaker A
Проверим это на практике. Один и тот же файл модели, одно и то же железо, три разных способа запуска. Гема 3 на 12 млрд параметров. Кван Q4, обычный вот этот Goofy файл, тот самый, который большинство из вас качает. Начнём с
45:09
Speaker A
самого простого пути. LM Studдия. Ставится это всё в два клика. Модель выбирается мышкой, и всё у нас прекрасно работает. Этим, я думаю, пользуются большинство, и я понимаю даже, почему.
45:20
Speaker A
Дальше идёт у нас CPP. Тот же самый движок, что и внутри LM Studio, только напрямую без вот этой красивой обёртки.
45:27
Speaker A
Это уже чуть-чуть сложнее в установке. Собирается это всё ручками из исходников, слагами под нашу с вами архитектуру. Лама CPP 66 токенов в секунду. LMD 63 токена в секунду. То есть 4% вы платите просто за красивую кнопку. Честная, в принципе, цена. За
45:45
Speaker A
удобство, спорить даже не буду. А теперь третий путь. Тот же самый вот этот Goof Файл, те же самые четыре Витякарты, но уже VLM, точнее тот самый. Причём даже для vlлма это не родной формат. Его ему нужно совершенно другой. Его нужно
46:04
Speaker A
эмулировать, чтобы заставить запустить его тут. Но что не сделаешь ради красивого теста. И получаем 107 токенов в секунду против 66. Больше 60% разницы на одном и том же файле, на одном и том же железе, а от LM Studдия
46:24
Speaker A
до там VLM того самого разница практически там в два раза. Причина та самая, о которой я говорил минуту назад.
46:30
Speaker A
Тензорный режим Влаama CPP. Он формально есть, но он плохо сделанный. И для нашего с вами железа он просто-напросто не подходит. Я проверял, потому что обработка запроса проседает втроя, и в итоге вы всё равно м работаете в конвейерном режиме. А VLM тензорный
46:47
Speaker A
режим - это основной режим. То есть четыре карты действительно считают это всё одновременно. Итого LMDIA забирает у нас около 40% скорости от железа. Теперь цена вопроса. И тут я даже приукрашать не буду. И эти цифры я получил с
47:05
Speaker A
восьмой, чтобы вы понимали, попытки. Первое - это LMUDIA не даёт запустить эту модель в 16 битах. Вторая, формат весов не поднимается на 32 бита. Третье, четвёртая, ядра требуют архитектуру новее, чем наши. Пятое: Веса загрузились, упали на внимание. Шестая:
47:22
Speaker A
сменил эээнд. Внимание у нас не заработало никак. Седьмая, другой эээнд, и мы получаем 75 токенов в секунду. И восьмой у нас моментик, мы получаем 107 уже токенов в секунду. То есть между седьмой и восьмой попыткой разница просто в одном слове, в командной
47:40
Speaker A
строке. Название бэкэнда, внимание. Их у нас четыре штуки основных. И на этом железе каждый ведёт себя по-разному.
47:47
Speaker A
Один падает, один не работает. Один даёт около 75 токенов в секунду, а другой- 107 токенов в секунду. Нигде не написано, какой выбрать. Это выясняется просто-напросто перебором. И это, знаете, я ещё не считаю саму установку того самогома, форка. Официального VLМ,
48:04
Speaker A
как я сказал, уже нету для наших с вами видеокарт. Есть форк. И если вы хотите выжить всё-таки из железа, всё, форк вам нужно собирать своими правками в исходниках, ручками своими. Так что у этой главы вывод двойной, и обе половины
48:20
Speaker A
очень важны. Если вы работаете в LMUD на нескольких V100, вы теряете около 40% просто ну скорости производительности. Это факт. Вот цифры я вам показал. Но чтобы их забрать, придётся собрать свой форк из исходников, пропачить его, перебрать четыре бэкэнда, внимание, и запомнить,
48:41
Speaker A
какой ещё у вас работал. У меня на это ушло 20 часов времени. Стоят ли эти 40% скорости 20 часов вашей жизни? Решайте сами.
48:52
Speaker A
Начинаем с самого начала. Одна видеокарта, 16 ГБ видеопамяти, маленькая модель на 4 млрд параметров. Задаю вопрос, на который видно прямо нашу скорость. Напиши подробную инструкцию для новичка, как выбрать видеокарту для домашнего сервера с нейросетями.
49:10
Speaker A
Получаем 122 токена в секунду. Это быстрее, чем вы читаете. Заметно, прямо быстрее. И тут возникает закономерный вопрос: а вообще тогда зачем четыре видеокарты? одна справляется у нас прекрасно справляется. Пока модель маленькая, берём модель посерьёзнее. 27 млрд параметров, та, которая реально уже
49:28
Speaker A
что-то прямо умеет, и получаем out of memory. То есть карта забирает всё до последнего МГбайта. Ничего нет, ничего не свободно. У неё свободно 12 гигов, 16 гигов, а модель весит 21 ГБ, а на карте 16. Она туда просто не влезет. И вот
49:44
Speaker A
отсюда начинается история с несколькими видеокартами. Не потому, что это медленно, а потому, что это просто-напросто не влезает.
49:54
Speaker A
Добавляем вторую видеокарту. Тензорный режим. И это всё поднимается по касанию. Уже через 20 часов модель разложилась на две видеокарты, примерно по 10,5 Гб весов на каждую. Остальное место у нас уходит под кэш. И получаем 52 токена в секунду. То есть вдвое медленнее, чем
50:12
Speaker A
мелкая модель на одной видеокарте. Так и должно, в принципе, быть, потому что модель в семь раз просто больше. А теперь смотрите сюда. И сюда практически никто не смотрит. 26.000 токенов контекста. Сервер сам пишет. Это три с лишним обычных разговора. Либо один
50:28
Speaker A
документ страниц так на 40. Запомните эту цифру. 26.000. Четыре карты, та же самая модель, тензорный режим. И получаем 70 токенов в секунду. Было 52, стало 70. 34%.
50:44
Speaker A
Я удвоил количество железа, удвоил своё потребление и получил 34%. Вот на этом месте 3 недели назад я и решил, что эта затея вообще большая ошибка. А потом я посмотрел на другую цифру, на вторую, и там написано 440.000 440.000
51:03
Speaker A
токенов контекста. На двух видеокартах, напоминаю, было 26.000. То есть скорость выросла на треть, а контекст практически в 17 раз. И это не единичный случай. Вот та же самая картина на другой модели на 14 млрд параметров. Одна карта 63 токена
51:21
Speaker A
в секунду и 22.000 контекста. Четыре видеокарты, 116 токенов в секунду и 273.000 контекста. Скорость практически, ну, вдвое выше, да, примерно вдвое выше, а контекст больше, чем в 12 раз.
51:36
Speaker A
Механика простая, и когда её понимаешь, всё становится на свои места. модель делится на четыре части. На каждой карте лежит четверть весов, значит, освобождается не четверть памяти, а 3/4 памяти. И вот эта вся память уходит под одно, под контекст. Вторую, третью,
51:54
Speaker A
четвёртую карту вы покупаете не ради скорости. Скорость тоже растёт, но не совсем так быстро, как хотелось бы. Вы покупаете память под то, сколько текста модель способна держать в голове одновременно. Помните, я обещал вам объяснить, почему войну и мир нельзя
52:09
Speaker A
запустить на двух картах? Потому что это около 230.000 токенов. На двух картах помещается максимум 26.000. Это немедленно, не неудобно, это просто нет, сервер даже у вас не стартанёт. А если стартанёт и вы загрузите эту модель, он будет помнить
52:27
Speaker A
только вот эти 26.000 токенов и из конца книги. Ра мы сюда вернулись, расскажу, как этот тест устроен на самом деле, потому что в первый раз он у меня не получился. Я прикрепил книгу файлом в интерфейсе, задал вопрос и получил общие слова.
52:46
Speaker A
Модель отвечает, что-то там на расплыв читаем, что это книга Толстого и всё. Никакой видеокарты она там не находит.
52:52
Speaker A
Выглядело, ну, как полный, как провал вообще моей вот этой всей затеи. Час я потратил на то, чтобы понять вообще, в чём дело. А дело было вот в чём. Open Web UI. при прикреплении файла не отправляет его модели целиком. Она
53:06
Speaker A
просто режет документ на куски по 1.000 символов, строит по ним какой-то там индекс и подсовывает модели три-четыре подходящих фрагмента. То есть мой файл превратился в 1.000 кусков, из которых до модели доехало всего четыре штучки.
53:23
Speaker A
Контекст даже тут был ни при чём. Текст не доезжал просто до видеокарты. Лечится это одной галочкой в настройках. обход, встраивание и извлечения. После неё текст у нас идёт до видеокарт целиком. И проверять это надо не на глаз, а по
53:38
Speaker A
логу. После отправки книги кэш заполняется у нас на 32%, это около 230.000 токенов. Если вы работаете с каким-то длинным контекстом через веб-интерфейс, сходите и проверьте эту настройку прямо сейчас. Возможно, всё это вы время, знаете, вы платили за память, которую вы
53:58
Speaker A
даже не использовали. Теперь сам тест. Я задал три вопроса по нарастанию, знаете, такие. Первый достаточно-таки простой.
54:06
Speaker A
Найди упоминание видеокарты и процитируй. Второй: найди фразу, которого у Толстого быть не может. И третий, вы уже видели, что Пьер прочёл вслух слека сложенного в четверо. Первые два - это у нас поиск по совпадению.
54:19
Speaker A
Третий - это уже реально нужно понять сценарий. И модель справилась со всеми тремя прекрасно. Для понимания масштаба вся война и мир целиком - это 1.200.000 токенов. Мой рекорд кэша на данном стенде, на данном железе - это 1.200.000 токенов. Правда, один запрос у этой
54:39
Speaker A
модели ограничен 262.000. То есть кэш делится между запросами. Теперь то, что сломало мне картину мира.
54:50
Speaker A
Когда я снимал вот про данную видеокарту видео, я этого ещё не понимал. Сейчас я это прекрасно понимаю. Есть правило, которое кажется очевидным. Чем больше модель, тем медленнее она должна работать. То есть есть модель на 27 млрд параметров нам давала 30.000 токенов в
55:09
Speaker A
секунду. Да, значит, 35 млрд параметры должны давать меньше. Запускаю 35 млрд и получаю 115 токенов в секунду. Модель на треть крупнее и в полтора раза быстрее.
55:20
Speaker A
Разгадка тут к троится в устройстве самих вот этих моделей. Это разряженная модель. То есть она называется моя модели. Внутри неё там два десятка блоков специалистов, и каждое слово включается только 2три, остальные просто сидят, спят. То есть всего параметров,
55:35
Speaker A
да, там 35 млрд, а активных на каждом шаге около трёх. А скорость генерации упирается не в арифметику, а в то, сколько весов карта успевает прочитать из памяти. Читать надо только активную ей часть. То есть практический вывод: если гонитесь за скоростью на большой
55:52
Speaker A
модели, смотрите на разряженные модели. Они обходят плотные модели меньшего размера. И кэша данная модель как раз-таки и держит больше всех. Это 710.000 токенов на тензорном режиме. Но я вам говорил, есть 1,2 млн. Да, есть 1,2 млн, если поднять эту модель в гибридном
56:12
Speaker A
режиме. То есть две на две видеокарты. И получаем мы 1. Как раз-таки 200.000 токенов. Это абсолютный прямо рекорд стенда. Больше миллиона токенов на железе 2017 года.
56:30
Speaker A
Эту главу я считаю одной из самых важных в данном ролике. И красивых цифр в ней не будет. Запускаю новенькую модель 3,8 в четырёхбитном формате. две видеокарты.
56:44
Speaker A
Скорость практически 50 токенов в секунду. Читаю ответ. А там мусор. Больше 500 токенов одной и то же. Фразы по кругу. Хотя я спрашивал на русском языке, она мне ещё и на английском отвечает. Прошу ответить её по-русски. И она также идёт просто по кругу. Открываю
57:04
Speaker A
веб-интерфейс, спрашиваю там. То же самое, всё по кругу. Та же самая модель, тот же самый формат, но уже на четырёх видеокартах. И она выдаёт нормальный текст по-русски и по делу, представьте себе. И мы получаем 71 токенов в секунду. То есть навен 3,8, запомните,
57:22
Speaker A
мы получаем 71 токен в секунду. И знаете, по какой причине у нас всё-таки мусор получается на двух видеокартах?
57:30
Speaker A
Это причина деления между видеокартами. То есть шина слоя - это у нас 4.120. Её добивают до 4.128.
57:40
Speaker A
И эта надбавка проверена авторами для деления на четыре видеокарты, а на две не проверена, и мы получаем поэтому мусор. И важный момент, ровно тот же самый дефект я потом получал и на других стендах, на арендованном железе. То есть
57:56
Speaker A
два независимых компьютера, одна и та же поломка в одной и той же конфигурации. Теперь, надеюсь, вы понимаете, почему я говорил, что цифра скорости ничего прямо не значит, пока вы не прочитаете, что эта модель вам написала. И такие же
58:10
Speaker A
сюжеты у нас с вами будет и в картинках, и в видео. Всё, что было до этого - это одиночные запросы. Один человек, один вопрос. А теперь представьте, что сервер вы подняли не только для одного себя. Вы не такой эгоист. вы решили поделиться, то
58:28
Speaker A
есть с семьёй и там, с друзьями, либо у вас небольшая команда на нём работает.
58:32
Speaker A
Четыре человека одновременно. Один просит рассказать там про инженера, второй объяснить а механику внимания, третий- план ролика какой-нибудь составить и четвёртый, таблицу архитектур какую-нибудь, спрашивает один запрос практически мы получаем 200 токенов в секунду. Четыре запроса практически 700 токенов в сумме. То есть
58:51
Speaker A
по 175 токенов на каждого. То есть в 3 раза больше. Не вдвое и не в 2 с по раза, а практически линейно. Механика та же самая, что и раньше. На каждом шаге карта читает все веса целиком. Неважно, сколько у неё запросов. Посчитает она
59:09
Speaker A
один токен либо четыре токена, ей стоит практически одинаково. То есть эта сборка спокойно тянет, я бы сказал, даже небольшую команду. И это, пожалуй, главный практический сценарий для неё.
59:23
Speaker A
Теперь вопрос, ради которого я вообще арендовал чужое железо. Мы всё время с вами говорили про NVLink, что это прямая связь между картами и так далее. А если без него те же самые карты, то же самое количество, но общаются они уже через
59:40
Speaker A
PCI Express. И давайте посмотрим с вами. Одна карта, отставание около 10%. Две карты около 12%.
59:49
Speaker A
А теперь четыре карты, практически четверть. На одной и двух картах разница объясняются, я бы сказал, самими картами, потому что SXM2 разъём берёт у нас 300 Втся экспрессовские версии по 250 В. То есть межслойное вот это вот деление, ну, практически оно не
60:04
Speaker A
участвует. А на четырёх картах разрыв вот здесь как раз у нас уже удваивается. Вот эти 10 с лишним процентных пунктов и есть цена отсутствия линка. Измеренная она уже по факту, а не рассказанная. То же самое видно и на других режимах. На
60:18
Speaker A
моей сборке с NVLink тензорный режим быстрее конвейерного примерно там вдвое. Без NVL разрыв сжимается примерно до 50%. И это логично, потому что тензорный режим синхронизируется на каждом слое.
60:31
Speaker A
Связь между картами ему нужнее всех. Второй вопрос к арендованному железу. Что будет, если мы поставим с вами тридцатидвухгигабайтные вот эти вот модули, а не по 16 ГБ? И самое главное, естественно, это у нас кэш вырастет примерно вдвое. То есть это около
60:52
Speaker A
полутора млн токенов на разряженной модели, а в гибридном режиме под 2,5 млн токенов. То есть, если считать по-человечески, это 1,5 млн токенов - это 170 одновременных разговоров. То есть обычному пользователю нам с вами это вообще не надо. То есть маленькой
61:11
Speaker A
какой-то компании уже, да. Второе менее очевидное. На моих картах на 16 ГБ всё, что крупнее 24 млрд параметров на одну видеокарту не лезет. И там колонка у нас пустая.
61:22
Speaker A
А на картах на 32 ГБ это лазиет практически всё. Но с оговоркой, которую надо сказать честно, модель 27 млрд параметров занимает около 22 ГБ из 32 Гб. То есть на кэш у нас остаётся в районе 25.000 токенов. Это примерно три
61:38
Speaker A
разговора. влезает на одну видеокарту и работает на одной видеокарте- это совершенно разные вещи. А вот то, ради чего стоит городить огород со 128 Гбми и покупать четыре видеокарты на 32 Гб? Есть модели, которая весит больше 100 ГБ, не
61:57
Speaker A
миллиардов параметров, а гигабт на диске. Вам придётся модель такую скачать. Например, Deepsic 284 млрд параметров, 106 ГБ он весит. Квен на 177 млрд параметров, 103 ГБ- это модели того класса, которые обычно живут в дата-центров, и мы на них получаем 25
62:17
Speaker A
токенов в секунду. Почему цифра именно такая, надо объяснить. Потому что она заниженная. И я знаю даже, насколько она заниженная. Всё, что мы с вами видели до этого, я гонял на VLM. То есть там тензорный режим работает, там четыре
62:32
Speaker A
видеокарты работают одновременно, а эти модели VLM запустить нельзя, просто потому что кванта для данной системы просто-напросто не выложили. Остаётся LAAM CPP, тензорный режим. Там формально, как я говорил, уже есть, но он работает плохо. На наших видеокартах он совершенно не работает. Я проверял,
62:51
Speaker A
обработка падает втрое. Уже говорил про это. Поэтому эти [откашливается] 25 токенов в секунду снято послойно, то есть в конвейерном режиме. А что такое конвейер, мы уже с вами знаем. Пока считает первая видеокарта, три другие стоят просто и ждут. Прикинем, что было
63:06
Speaker A
бы в нормальном тензорном режиме, если бы был бы нормальный квант. И на этом железе у меня есть как раз-таки эта цифра. Отличие тензорного режима от конвейерного - это практически в два раза. То есть здесь вышло бы около 50
63:22
Speaker A
токенов в секунду. Сразу оговорюсь, это оценка, а не замер. То есть проверить мне не на чем кванта.
63:30
Speaker A
Но, в принципе, я думаю, цифра будет порядка такого. Это около 50 токенов в секунду на модели на 284 млрд параметров на железе 2017 года. А имеем 25 токенов в секунду. И не потому, что карты не тянут, а потому, что под неё просто
63:48
Speaker A
нужен свой формат файла. То есть 25 токенов в секунду - это примерно темп чтения ну обычного человека. То есть одному человеку на данной модели будет работать комфортно. Но что самое удивительное, что это вообще всё дело работает, потому что модель на 284
64:06
Speaker A
млрд параметров работает на четырёх видеокартах 2017 года. И тут сравнение прямо становится безжалостным, потому что мои четыре видеокарты по 16 Гб, 64 ГБ памяти не грузит. Это вообще самый мелкий квант весит 70 там 3 Гб, то есть больше, чем у меня оперативки есть. 2
64:28
Speaker A
RTX 3090. Вы сейчас скажете, это же вообще имбуля. 48 ГБ у нас памяти. Грузим с выгрузкой на в оперативку.
64:37
Speaker A
Знаешь, сколько получаем токенов в секунду? Два. Два токена в секунду. Это не работа, это слайд-шоу. То есть четыре видеокарты по 32 Гб около 25 токенов в секунду. Больше чем в 10 раз быстрее.
64:51
Speaker A
Это единственная задача, где 128 ГБ дают не больше, а вообще хотя бы что-то дают.
65:01
Speaker A
Теперь главный вопрос этого видео. Мы наконец-то до него добрались. Две RTX 3090, каждая стоит от 90 там до 110.000 руб. в зависимости от состояния. То есть нам нужно отдать за две, грубо говоря, 200.000 руб. Плюс купить блок питания на
65:19
Speaker A
1.000 Вт и материнку, которая нормально держит две видеокарты. Итого это всё у нас получается под 250.000 руб. Моя сборка обошлась в 180 примерно 1.000 руб. совсем. То есть плата, корпус, водянка, блок питания, опрессовщик, замена даже мёртвой карты. По деньгам
65:38
Speaker A
она выгоднее. Тут спорить даже не о чем. 48 ГБ против 64 ГБ. Вопрос только в том, что вы за эти деньги получаете. И сразу одна техническая вещь, которую нужно знать. У пары 3090 без мостика нет прямой связи между картами. То есть
65:55
Speaker A
Nvidia отключила её драйверами. Всё между всё, чем они, точнее, обмениваются, это идёт через оперативную память компьютера, а это практически 6 Гб в секунду против трица у Нвлинка. То есть держите это в голове, дальше будет видно, где это вылезет.
66:15
Speaker A
Гоняем один и тот же набор моделей на обеих сборках. Тензорный режим, одинаковый контекст, одинаковая методика, 4 млрд параметров, 3090 быстрее примерно на 13%. 8 млрд параметров, быстрее на 6%, 14 млрд параметров, а разницы вообще никакой нету. И дальше начинается самое
66:34
Speaker A
интересное. Myст модель на 24 млрд параметров 3090 остают примерно на 13%. 27 млрд параметров примерно на четверть. То есть переломы случается на 14 млрд параметров. До них игровые видеокарты впереди. После у нас она идут уже позади. С каждой ступенью всё сильнее и
66:53
Speaker A
сильнее уступаем. И знаете, причина здесь не в самих чипах, потому что ампер новее вольта и на бумаге она, естественно, круче и мощнее. Причина в том, что происходит между видеокартами.
67:04
Speaker A
Чем крупнее модель, тем больше карты вынуждены разговаривать друг с другом. У моей сборки эта связь прямая, а у пары 3090 разговор идёт через оперативную память компьютера, а это шесть с лишним раз вмедленнее. На маленьких моделях это неважно, там разговор практически ни о
67:20
Speaker A
чём не идёт, а на больших это решает всё. Второй фронт - это кэш, естественно, кэш у 3090 меньше как минимум в полтора раза. То есть прямое следствие объёма 48 ГБ против 64 ГБ. И на разряженной модели, и на модели там
67:37
Speaker A
на 27 млрд параметров У3090 кэш заметно прямо меньше. Одному человеку всё равно этого, в принципе, хватит запасом, а для команды это уже, ну, совсем не то.
67:50
Speaker A
А теперь я вам расскажу то, что мне самому не понравилось. Весь этот ролик я вам доказываю. Покупайте карты ради контекста. Больше памяти, длиннее разговор. На этом строится, в принципе, всё видео.
68:05
Speaker A
И вот на сценте с двумя 3090 я упёрся в неудобный фокт. Я прогнал 10 моделей и на каждой выкручивал контекст до упора, до того значения, на которой сервер ещё, в принципе, поднимается. У восьми из десяти моделей ограничения оказались
68:20
Speaker A
вовсе не память. Они упёрлись в сами себя и на то, на нас на сколько токенах их, в принципе, обучали. То есть разряженная на 35 млрд, а модель параметров взяла 262.000 токенов. То есть весь заявленный потолок до последнего. И после этого у неё
68:38
Speaker A
остался ещё около там 700.000 кэша. Квен 3,8 на четырёх битах. То же самое. 262.000.
68:47
Speaker A
токенов просто потолок. То есть для восьми моделей из десяти вам, в принципе, хватит даже 48 Гб памяти. И это не узкое место. Ограничение вылезает только на плотных моделях на 27 млрд параметров. Там 3090 не дотягивает. То есть одна взяла там что-то в районе
69:04
Speaker A
200.000 токенов из заявленных 262. Вторая меньше 100.000. Так что честная формулировка здесь у нас будет такая. 64 ГБ нужны не всем и не всегда. Они нужны, если вы работаете с плотными моделями от 27 млрд параметров, если пользователей несколько или если модель весит больше
69:24
Speaker A
48 ГБ. Давайте теперь подведём итоги по языковым моделям. Три разные сборки и три разных ответа. Две RTX 3090, это у нас 48 ГБ общей памяти получится.
69:39
Speaker A
Берите, если работаете один с моделями до 14 млрд параметров и хотите просто включить и пользоваться. На мелких моделях они быстрее. Восемь моделей из десяти их памяти, в принципе, хватает на полный контекст. И три неделя вам не нужно, в принципе, а тратить на починку
69:56
Speaker A
этих самых драйверов. Плюс также есть очень серьёзный аргумент. И очень серьёзный аргумент, вы продадите их за неделю. Это игровые видеокарты.
70:04
Speaker A
Покупателей у нас миллионы. Четыре видеокарты по 32 ГБ, 128 ГБ видеопамяти. Единственная сборка, которая запускает модели там на 280 млрд параметров.
70:15
Speaker A
Немедленно запускает, а вообще запускают на 3090. Такая модель выдаёт два токена в секунду. Я вам только сейчас это говорил. Здесь 25 токенов в секунду. То есть, ну, стоит она под 400.000 руб. Это совершенно другая лига. И большинству из
70:30
Speaker A
нас туда не надо. Прямо не надо вам. Эта сборка вам не нужна. 4 V100 по 16 ГБ, то есть 64 ГБ, то есть вот эта сборка.
70:38
Speaker A
Скажу прямо, за эти деньги это лучшее, что можно собрать под языковые модели. Там всё, что крупнее тех же самых 14 млрд параметров, она идёт шустрее, чем 2390.
70:52
Speaker A
Кэша минимум на полтора раза больше. Просто тензорный режим работает как надо, потому что между картами есть прямая связь. Но входной билет в эту лигу у нас не только деньги, а 3 недели, 200 часов и мёртвая видеокарта. Если вы
71:08
Speaker A
к этому готовы, берите прямо не думая. Если вы хотите включить и работать, берите RTX 3090.
71:18
Speaker A
Переходим к картинкам. Начну с вопроса, которые мне задавали чаще всего. Если у меня четыре карты будет, картинка же будет в четверо, получается, быстрее рисоваться. Нет, совсем нет, потому что одна видеокарта делает всё, а три другие вас просто будут простаивать. Причина в
71:32
Speaker A
том, как устроена вообще генерация. Картинка - это там 20 тире50 последовательных шагов. То есть восьмой шаг нельзя начать, пока не просчитан ещё седьмой. Делить, на самом деле, можно, но внутри только одного шага. Но шаг на этих видеокартах длится в районе там
71:48
Speaker A
50-100 мсекунд. А чтобы разделить его на четыре видеокарты, картам нужно обменяться данными. И если обмен съедает у вас те же самые 30 мсекунд, на пересылку выигрыш, ваш здесь съедается и сгорает. Инструмент для настоящего деления существует, но в Confie UI его
72:07
Speaker A
нет. Зато есть другой путь, и он работает отлично. Четыре независимых экземпляра по одному на каждую карту.
72:15
Speaker A
Каждый рисует свою картинку. Одна картинка быстрее не станет, но четыре вы получаете за время одной картинки.
72:22
Speaker A
Ускорение в четыре раза практически линейно. И разница между быстрее и больше здесь принципиальная. Если вы подбираете какой-то промт и ждёте один кадр, сидите, четыре видеокарты вам никак не помогут. А если нужен какой-то вам поток, они могут очень пригодиться.
72:42
Speaker A
Одно открытие из этого блока, которое сэкономит вам вечер. Один экземпляр Conf UI съедает 21 ГБ оперативной памяти. Не видеопамяти, а обычной. Он держит копию весов в оперативочке, чтобы быстро подкачать их на карту. Четырём таким процессам понадобилось 80 ГБ оперативной
73:01
Speaker A
памяти. У меня их на тестовом стенде только 32, то есть 29 свободно. То есть я упёрся бы не видеокарты, а свою просто оперативную память. Решается это одним флагом. Он переводит Confui в режим, где выгружать веса некуда, и они живут
73:17
Speaker A
просто на картах. И у нас было 21 ГБ, а стало 2 Гб. Знаете почему? Потому что остаток, который не хватило на данной видеокарте загрузить, он загрузил просто в другую видеокарту и всё. И скорость никак не изменилась. То есть 9 секунд
73:33
Speaker A
до, 9 секунд после не изменилась вообще. Флаг не ускоряет, он делает параллельность, в принципе, возможность.
73:40
Speaker A
Вы задействуете хотя бы видеопамять другой карты. Кстати, на 3090 этот флаг ещё и ускоряет. На лёгких моделях примерно там до 40%. Там шаг короче и постоянные вот эти накладные расходы, они заметнее.
73:58
Speaker A
И теперь давайте я вам покажу результат первого прогона. Quen imagй квадрат. Ни ошибки в логах, ни падения. Генерация проходит, файл сохраняется, а в нём пустота. Чёрный квадрат Малевича. Я сказал бы первое, что я нашёл в логе - это предупреждение про вая в 16 битав.
74:19
Speaker A
решил, что виноват он, перезапустил слагом, который переводит Вае в 32 бита. Не помогло. Тогда я сохранил промежуточный результат, то, что модель считает до всякого вая, и проверил его напрямую. Данные были испорчены уже там.
74:34
Speaker A
То есть вая тут вообще прямо была ни при чём. Моя первая версия оказалась неверная. Настоящая причина. В переполнении модель обучена на формате BF16, у которого широкий диапазон вольта. его аппаратно не умеет и считает FP16. То есть активации выходят за этот
74:54
Speaker A
предел и превращаются в бесконечность. Поэтому у нас получается неопределённость и картиночка у нас получается чёрная. Лечится это эмуляции BF16. И 15 секунд у нас превращаются в 49 секунд. То есть втрое медленнее. Это единственный рабочий хотя бы какой-то вариант. Вот он потолок вольта во всей
75:15
Speaker A
красе. не медленнее на проценты, а либо втрое дольше, либо у тебя просто чёрный квадрат получается.
75:25
Speaker A
Теперь сравнение с RTX390 на картинках. И оно оказалось неожиданно скучным, потому что SD 1,5 секунды, обе сборки, SDXL 6 секунды и там, и там. Флаг склеен на 4 млрд параметров 14 секунд одинаково. Креа 2 16 секунд одинаково.
75:44
Speaker A
Четыре модели из семи совпали практически до секунды. Представьте себе, до секунды. Карты 2017 года и карты 2020 года рисуют а с одинаковой прямо скоростью. А потом мы доходим до image 49 секунд против 15 секунд, то есть в три с лишним раза. Я напоминаю, у
76:04
Speaker A
нас чёрный квадрат также рисовался за те же самые 16 секунд. Если бы была поддержка того же самого вот этого BF16, у нас также они рисовались бы. Но всё это уже старое железо, оно здесь уже не может. А в базовом режиме, чтобы вы
76:18
Speaker A
понимали, с полной моделью, это у нас 450 секунд против 100, больше, чем в четверо. И это ровно та же модель, которой нужен BF16. Единственная в наборе. То есть дело не в том, что RTX 3090 быстрее. Дело в одном конкретном
76:35
Speaker A
формате данных, которого у архитектуры Вольта просто-напросто нету. Но есть и обратная сторона, про которую забывают.
76:42
Speaker A
Если мерить не одну картинку, а пропускную вообще способность сесть сборки, картина уже переворачивается, потому что SDXL у меня четыре конвейера против двух, то есть полторы секунды на картинку против 3 секунд. Флаг склен 4 млрд 3,5 секунды против семи, фактически
77:02
Speaker A
вдвое. Логика простая. Там, где модель вылезает на 16 ГБ, я поднимаю четыре конвейера, а 3090, их только два, и выигрывают, естественно, они в два раза.
77:13
Speaker A
Итого по картинкам вердикт у нас такой: работаете с Quen Image, берите 3090. Разрыв прямо реально большой, и закрывать его нечем. Гоняйте потолок SD XCL либо к берите V100, потому что четыре конвейера против двух. Во всём остальном разницы вообще никакой нету.
77:30
Speaker A
Вообще никакой нету разницы. И вот вам второй из трёх вердиктов, который я обещал. И он, как видите, прямо ни в чью пользу.
77:41
Speaker A
И теперь мы переходим к видео, к последнему нашему с вами блоку. Начну с самой странной вещи, которую я вообще видел за эти 3 недели. Запускаю LTX, пишу промт. Красный двухэтажный автобус, ночь, ливень, отражение на асфальте. Получаю рыцаря.
78:07
Speaker A
Меняю промт. Серый кот спит на подоконнике тёплый свет. И я получаю рыцаря. Мужчина в костюме тройки с сигарой в кожаном кресле. Рыцарь в доспехах.
78:34
Speaker A
модель рисовала одно и то же при любом вообще запросе. Причём рисовала качественно, в принципе, просто вообще совершенно не то, что я ей пишу. Причина оказалась изящной. Между текстом, который вы пишите, и картинкой, которая рисует модель, есть мост. Слои, которые
78:52
Speaker A
переводят одно в другое. У меня этот мост был в сжатом виде, чтобы всё влезло вообще в память. И сжатие просто-напросто его сломало. Модель перестала слышать промт и рисовала то, что у неё осталось по умолчанию. То есть важная деталь у второй модели - это Mini
79:08
Speaker A
Max H3. Encoder тоже был в сжатом виде, и всё работало замечательно. Возможно, потому что там был сжат и сам языковой блок, а не мост между текстом и картинкой. виновато не сжатие вообще, а сжатие конкретно в этом узлу. На 3090
79:25
Speaker A
эта поломка не повторилась ни разу. Там хватает памяти, чтобы держать весь мост несжатым. Теперь цифра здесь мы с вами закончим очень быстро. Генерирую 2 секунды видео разрешение 1.44x768 со звуком. Один проход 6 минут 42 секунды. За 2 секунды видео на тех же
79:48
Speaker A
самых настройках. тот же самый промт, тот же самый сит 2390 около полутора минут, то есть в 4 тире5 раз быстрее.
79:56
Speaker A
Это не единичная замер. По всей сетке разрешений этот разрыв держится от четырёх до пяти раз. И отговорок здесь у меня прямо никаких нету. Дело не в памяти, дело не в шине. Просто карта загружена реально на все 100%. Она
80:09
Speaker A
просто медленнее считает. У вольта нет ускорителя, внимания нового поколения, вот этого BF16. нет восьмибитных вычислений, нет всего, что появилось после 2017 года, и что вообще зачем сейчас стоит вот эти новая генерации видео.
80:27
Speaker A
И теперь вопрос, который напрашивается сам с собой. А если памяти у нас, видеопамяти вдвое больше, версия на 32 Гб у нас спасёт? Сначала объясню вообще, как устроена генерация видео на нескольких картах. Это не то же самое, что и с из языковыми моделями. Модель
80:42
Speaker A
здесь состоит из трёх разных частей. Первая - это у нас считывающая часть. Вторая - это у нас энкодер, то есть это ваш промт. И последний у нас декодер, который превращает результат в кадр и звук. Их можно разложить по разным,
80:56
Speaker A
принципе кадрам. Считывающая часть на первую, энкоodдер на третью, там декодер на вторую. Четвёртая видеокарта у нас просто стоит и кайфует, ничего не делает. Она вообще не загруженная. Зачем так вообще делать? Иначе всё это бы уезжало в оперативную память и
81:12
Speaker A
подкачивалось бы именно оттуда, на каждом шаге. У меня карты на 16 ГБ. Encodдеer LTX занимает почти 29 ГБ оперативки. Один раз система его просто-напросто убила, потому что закончилась оперативная память и процесс снесло. На картах по 32 ГБ это всё
81:30
Speaker A
целиком ложится в видеопамять. Риск здесь в этом снят. А теперь главный вопрос. Что это даёт по скорости, если вы поменяете видеокарты на 32 ГБ? Вообще ничего это вам не даст, потому что разрешение 640х384 около 70 токенов в секунду, что там, что
81:45
Speaker A
там, разрешение 1.44x768 около 400 секунд против примерно 425 секунд. Разница в пределах 10% и местами не в пользу даже видеокарт на 32 Гб. И это логично, потому что чип-то один и тот же. Вольта он и есть вольта. Памяти
82:03
Speaker A
больше, да, у нас, но считают-то они одинаково. Так что 32 Гб действительно дают только одно. Это разрешение. То есть на 16 ГБ потолок у нас был 1.280x704.
82:14
Speaker A
Дальше нехватка памяти. На тридцатидвухгигабайтных картах в LTX мы можем доходить вплоть до 4К. Звучит отлично. Теперь давайте посмотрим на время больше 20 минут.
82:26
Speaker A
Больше 20 минут за 2 секунды. Видео в разрешении 1.920. Это даже не 4К. А4К на LTX это ещё около 15 минут на один короткий ролик. И вот что редко говорят вслух. Само по себе высокое разрешение качество вам не добавит
82:45
Speaker A
генерации, потому что эти модели обучены на контенте определённого разрешения. То есть заставить их выдавать 4К, в принципе, можно, но детали ты ни откуда взять для данного разрешения. Вы получите просто большой файл, а не лучшую какую-то картинку. Так что вывод
83:01
Speaker A
достаточно-таки простой. 32 ГБ под видео - это деньги на ветер. Скорость та же самая, разрешение выше, но пользоваться им невозможно. Оплатите вы за эту карту там в семь раз больше. Вердикт.
83:14
Speaker A
Третий мой вердикт, самый короткий из всех трёх. Если вы делаете видео, берите 3090. Не подумую, не зависит от задач.
83:22
Speaker A
Просто 3090. На видео это прямо вот эта сборка, она не конкурент 3090. И делать вид, что это так, я не буду.
83:33
Speaker A
Теперь давайте, наконец-таки, с вами посчитаем, сколько это всё дело стоило до последнего винта. Плата с четырьмя водоблоками 70 там 2.000 руб. Корпус 6700, блок питания 18.000. Два радиатора по 45 мм 360, один лишний оказался 7.000 руб.
83:53
Speaker A
Радиатор 240- 2.000 руб. Контур целиком- это у нас 9.000 руб. Опрессовщик там 2.500 руб. Карты у первого продавца 70.000 руб. из-за которого я вернул ещё двадцаточку за мёртвую. Ещё одна карта дозаказанная 14.500 руб. Вентиляторы, которые нужно тоже купить. Это если вы
84:13
Speaker A
артики будете покупать, это ещё примерно за Артик за каждый по 500 руб. Ещё плюс вам нужно, получается, пять вентиляторов, ещё 2.500 руб. Итого вся эта сборка шикарная нам обходится в районе 182.000 руб. Плюс 3 недели на эту всю
84:31
Speaker A
тестирование и сборку. Плюс 200 часов - это примерно времени. Плюс 20 часов потраченных зря просто на настройках, чего можно было не настраивать. Плюс 250 кВт, который из розетки она сожрала.
84:43
Speaker A
Плюс мёртвая видеокарта, которая до сих пор лежит у меня вот здесь вот на полочке. Теперь будет стоять вот такая красотка.
84:53
Speaker A
Прежде чем дать итоговый ответ, три вещи, о который обычно молчат. Первое - это штука шумит. И то есть и самый громкий элемент из всей вот этой системы, знаете, что это маленький вот этот радиатор на вот этом коммуникаторе, на чипсете. Сейчас у меня он заклеен
85:08
Speaker A
скотчем. Ну то есть, если сейчас я его вот открою, ему дам типа, а воле покрутиться, это прямо вот слышно и он шумнее, чем вся вот эта система водяного охлаждения. Даже если выкручива вот я её на 100%. Он он прямо шумит. Эта штука
85:26
Speaker A
шумит. И сейчас у меня работает вся система вот на 100%, потому что у меня есть есть диммер, которым я регулирую это всё дело.
85:57
Speaker A
И его стоит, я думаю, всё просто всё-таки оттуда выкинуть, просто вандально оторвать и купить ногтовертушку. Вот это 40х40, правда, она стоит 2.500 или 3.000. И туда её поставить 100%. Это будет прямо ощутимо комфортнее. Но имейте в виду из коробки
86:13
Speaker A
это серверная деталь. И звучит она как серверная деталь. В спальню такое я бы точно, ну, не поставил. Второе - это у нас ликвидность. 2,3090 вы продадите за неделю. Это игровые видеокарты, покупатели у нас миллионы. А эта штуга нужна для десятка человек в
86:32
Speaker A
стране. То есть для таких же, как и мы, грубо говоря, энтузиастов, для тех, кто досматривает вот эти часовые ролики до конца. Продать можно, быстро нельзя. И третье, самое важное, вы покупаете себе, не видеокарты, вы покупаете себе проект.
86:50
Speaker A
3 недели у меня ушло на это тестирование. Всё. Не потому, что я тупой, а потому, что тут нет ничего готового.
86:59
Speaker A
То есть драйвера, фордвижка, патчиходников, флаги, про которые нигде ничего не написано, чёрные картинки, рыцари в доспехах вместо автобуса. Если вам это интересно, вы получите прямо истинное удовольствие. Я получил, на самом деле. Если нужно включить и работать, вы будете страдать, и, скорее
87:21
Speaker A
всего, вы это дело просто забросите. Я обещал вам дать три ответа на три вопроса, которые сам себе и задал. И я держу слово. Языковые модели. За эти деньги ничего лучше вы не купите и точка. Всё, что крупнее 14 млрд
87:39
Speaker A
параметров, работает здесь быстрее, чем на двух RTX390. До четверти просто быстрее. Кэша как минимум в полтора раза больше. И в контексте можно держать целую книгу целиком, а не 40 страниц. Картинки здесь зависит от задач. Одну картинку быстрее вы не нарисуете. Там всё решает
87:59
Speaker A
последовательные шаги. А четыре карты здесь никак не помогают. Если вам нужен потолок и у вас есть четыре видеокарты, вы можете устроить конвейер, и у вас будет четыре конвейера вместо двух. И это выигрыш в два раза. Но есть одно
88:13
Speaker A
исключение. Quen image. Ей нужен формат, которого у Вольта просто-напросто нету. Она выигрывает в 3 тирече раза. Если работаете с ней, вопрос закрыт. Берите 3090 видео и однозначно сразу нет. Не подумаю, не зависит от бюджета, просто нет. В 4 тире пять раз медленнее.
88:33
Speaker A
Потолок по разрешению ниже, а версия на 32 ГБ, она вообще никак не спасает. Она просто не влияет никак на скорость. Они также считают. Делайте видео, берите 3090. 3 недели сборки не повод делать вид, что это не так. Эта сборка для
88:49
Speaker A
видео полная Знаете, я больше не вернусь к данной видеокарте, к Tтеesla V1. Вот её можно вот так вотк и выключить. Не потому, что она плохая, а потому, что я для себя закрыл тему. У меня есть все прямо цифры, которые возможны. одна
89:08
Speaker A
видеокарта, две видеокарты, четыре видеокарты, 16 ГБ, 32 ГБ, NVLН без три режима деления, 13 языковых моделей, восемь моделей для генерации картинок, две для видео, три стенда разных. Ничего нового про это железо я уже для себя не узнаю. Оно мне ничего не может нового
89:26
Speaker A
сказать. Всё, что оно могло мне сказать, оно уже сказало. Поэтому эту сборку я продаю, она мне не нужна. Если мне она понадобится, я соберу точно такую же за неделю. Теперь я всё знаю, все нюансы знаю, как это сделать. А деньги нужны
89:42
Speaker A
для следующего ролика по серму железу. Так что, если вы хотите получить собранную проверенную работающую систему со всеми моими ошибками, которые здесь уже были исправлены, с правильными там радиаторами, с с правильными болтами, пожалуйста, можете купить. Блок питания.
90:00
Speaker A
Я правда вам сюда поставлю на 2 кВт, чтобы был хотя бы запас по мощности, а не 50 Вт до предела. Если отправка у нас будет в другой город, жидкость, естественно, я всю солью. Вы сами это всё себе туда заправите, потому что
90:14
Speaker A
возить там залитый контур через полстраны нельзя. Цена, себестоимость. Пишите, если вам это надо. Не надо, не пишите, я прямо не обижусь. Представьте, если объединить такие две видеокарточки, либо четыре штуки, это просто будет запредельно просто неадекватный объём видеопамяти, ещё и
90:36
Speaker A
вычислительной мощности. Но это уже совершенно другая история. Тот парень из видео был не прав. Никакого другого уровня мощности тут нету. Есть максимум там в два раза мощнее, чем одна видеокарта.
90:52
Speaker A
Но история действительно другая. И тут он угадал. Просто она оказалась не про мощность, а про то, сколько всего можно удержать в голове одновременно. Кстати, первый том "Войны и мира" эта машина прочитала за 2 минуты со всеми подробностями, со всеми именами
91:12
Speaker A
и одним подложенным абзацем про видеокарту. Я его читаю уже третью неделю. И, честно говоря, я ещё не дочитал. M.
Topics:Tesla V100NVLinkсборка ПКвидеокартытест производительностиязыковые моделивидеопамятьсерверное железоRTX 3090глубокое обучение

Get More with the SozAI App

Transcribe recordings, audio files, and YouTube videos — with AI summaries and speaker detection. 30 minutes free.

App Store Google Play
Or transcribe another YouTube video here →

Free tools: TXT to SRT · SRT Validator · Merge SRT · Subtitle to Text · All tools

Related Transcripts

View All
Я снова создал SaaS на западный рынок! — Transcript28:16
Я снова создал SaaS на западный рынок! — Transcript
Венчур По Понятиям | Алмас Абулхаиров
3,927 1 Russian
Экспресс! Реал Мадрид Вильярреал прогноз Арсенал Лидс с… — Transcript10:53
Экспресс! Реал Мадрид Вильярреал прогноз Арсенал Лидс с… — Transcript
ТОП ПРОГНОЗ ТВ | Прогнозы на футбол
2,780 1 Russian
Прогнозы на АПЛ, Ла Лигу, Бундеслигу, Серию А 🎯 10 Октя… — Transcript19:23
Прогнозы на АПЛ, Ла Лигу, Бундеслигу, Серию А 🎯 10 Октя… — Transcript
ПРОТИВ РЫНКА ПРОГНОЗЫ НА ФУТБОЛ
2,655 1 Russian
YouTube Video — Transcript5:40
YouTube Video — Transcript
767 1 Russian
Какой была Русь до Рюрика? / [История по Чёрному] — Transcript1:06:37
Какой была Русь до Рюрика? / [История по Чёрному] — Transcript
История по Чёрному
8,635 1 Russian
Осмотр, пальпация, перкуссия, аускультация органов здор… — Transcript1:22:54
Осмотр, пальпация, перкуссия, аускультация органов здор… — Transcript
Nurgul Toktogulova
8,865 1 Russian
{ 4 } Поход Абрахи на Каабу! | Империи до Ислама | Сира… — Transcript54:57
{ 4 } Поход Абрахи на Каабу! | Империи до Ислама | Сира… — Transcript
Yusuf Berhudar
7,944 1 Russian
Демо-сесія Ольги Морозюк, коуча АСSTH ICF під час Дня д… — Transcript38:22
Демо-сесія Ольги Морозюк, коуча АСSTH ICF під час Дня д… — Transcript
ICF Ukraine Chapter
756 1 Russian
Большой разговор с Максимом Кацем — Transcript4:06:12
Большой разговор с Максимом Кацем — Transcript
Александр Штефанов
41,124 1 Russian
05 Обретение внутреннего покоя | Ретрит духовного очище… — Transcript18:31
05 Обретение внутреннего покоя | Ретрит духовного очище… — Transcript
Al Muhtadun
1,976 1 Russian
Что Вам не сможет дать терапия? — Transcript18:16
Что Вам не сможет дать терапия? — Transcript
Светлана Дутта
3,588 1 Russian
Комнатные растения | Как выбрать и не загубить | HOFF — Transcript22:26
Комнатные растения | Как выбрать и не загубить | HOFF — Transcript
Hoff
1,869 1 Russian