Speaker A
Приветствую всех. Продолжаю собирать систему на четырёх Tesla V1 SXM2 по 32 ГБ каждая. В этом видео я перехожу на новую платформу и собираю жидкостное охлаждение для этой сборки. Посмотрим, что из этого получится. Приступаем.
Сборка системы на 4 Tesla V100 с жидкостным охлаждением на базе i9 10980XE и SuperMicro X299. Подробный разбор компонентов и тесты.
Key Takeaways
- Правильная сборка и очистка водоблоков критична для эффективного охлаждения.
- Использование качественных компонентов и тщательная настройка системы обеспечивают стабильную работу и герметичность.
- Автоматическое управление вентиляторами по температуре жидкости помогает поддерживать оптимальный режим охлаждения.
- Система на базе i9 10980XE и 4 Tesla V100 показывает стабильные температуры под нагрузкой.
- Сборка и настройка требуют времени и затрат, но результат оправдывает вложения.
What the video covers
- Автор собирает систему из четырёх Tesla V100 SXM2 по 32 ГБ с жидкостным охлаждением.
- Используется серверная материнская плата SuperMicro на чипсете X299 и процессор i9 10980XE с 48 линиями PCIe 3.0.
- Подробно описаны компоненты системы жидкостного охлаждения: радиатор Alphacool, помпа D5, резервуар Icem Cooler, шланги и контроллер вентиляторов.
- Автор очищает и правильно собирает водоблоки, заменяя уплотнительные кольца на EPDM для надёжности.
- Проводится промывка радиатора дистиллированной водой для удаления производственного мусора.
- Устанавливается сливной кран для удобства обслуживания системы охлаждения.
- Проверяется герметичность контура с рабочей охлаждающей жидкостью Alphacool без подключения к материнской плате.
- Используются термопрокладки разной толщины и с повышенной теплопроводностью для оптимального контакта водоблоков с компонентами.
- Настраивается PWM-контроллер для автоматического управления вентиляторами по температуре жидкости.
- Проводится стресс-тест системы с измерением температуры и энергопотребления, итоговая стоимость системы охлаждения около 48 000 рублей.
Chapters
- 00:00Введение и выбор платформы
- 00:35Выбор процессора и материнской платы
- 01:06Обзор компонентов системы охлаждения
- 01:22Подготовка и сборка водоблоков
- 02:22Правильная сборка водоблоков и очистка радиатора
- 04:41Установка сливного крана и проверка герметичности
- 05:17Пробный запуск и установка водоблоков с термопрокладками
- 05:57Настройка PWM-контроллера вентиляторов
- 07:08Запуск системы и стресс-тест
- 08:10Итоги, стоимость и планы на будущее
Full Transcript — Download SRT & Markdown
Speaker A
Я выбрал серверную материнскую плату SuperMicro на чипсете X299. Почему я выбрал именно её? Во-первых, я недавно купил 64 ГБ обычной DDR4 без ECC, поэтому плата должна была её поддерживать. У меня четыре планки, а слотов восемь. В будущем смогу увеличить объём памяти. Во-вторых, нужны были как
Speaker A
минимум два полноценных PCI Express x16 с запасом на дальнейшее расширение. А для этого нужен был процессор с большим количеством линий. Поэтому я взял i9 10980XE. У него 48 линий PCI Express 3.
Speaker A
Кулер для него у меня уже был. Это мой Noctua. Я просто добавил к нему второй вентилятор, получив push-pull конфигурацию. Кроме того, подходящее железо сейчас найти непросто. А этот вариант был доступен в DNS с гарантией 3 года и соответствовал моим требованиям.
Speaker A
Поэтому в итоге я остановился именно на этой связке. Теперь коротко пробежимся по компонентам системы охлаждения.
Speaker A
Радиатор Alphacool на 912-миллиметровых вентиляторов толщиной 60 мм, четыре водоблока со штуцерами под шланг 8 мм.
Speaker A
Помпа D5 Alphacool VPP 655 PWM. Резервуар Icem Cooler DX5120 и DPM шланги Icem Cooler 8x12, штуцеры под шланг и хомуты. PWM-контроллер для управления вентиляторами с датчиком температуры, разветвитель питания для вентиляторов Thermaltake Commander FP, ну и сама охлаждающая жидкость Alphacool.
Speaker A
Все ссылки на компоненты оставлю в описании под видео. Всё на месте. Приступаем к сборке. Первым делом я выкрутил штуцеры и разобрал все водоблоки.
Speaker A
Удалил акриловую стружку и прочий мусор, который остался после производства. Кроме того, три из четырёх водоблоков были собраны неправильно. Теперь покажу, как правильно собирать водоблок. Вот это вход.
Speaker A
Жидкость заходит, проходит вот здесь до середины, затем растекается вверх и вниз благодаря вот такому пропилу. Видно вот здесь пропил, соответственно, равномерно наполняет этот канал и этот, объединяется и выходит. Поэтому обратите внимание, что собирать водоблок правильно нужно вот так,
Speaker A
чтобы каналы самого водоблока шли параллельно штуцерам. Тогда у нас жидкость заходит сюда, попадает в середину. Благодаря пропилу равномерно выходит наверх и вниз, объединяется и выходит. Вот так. Имейте это в виду.
Speaker A
По ходу сборки я также заменил все штатные уплотнительные кольца на качественные из EPDM для большей надёжности контура. После очистки и пересборки водоблоков я сначала установил их на карты без термопрокладок и термопасты и собрал весь контур без жидкости.
Speaker A
Предварительно промыл радиатор дистиллированной водой, прогнал через него 5 л, периодически хорошо встряхивая, чтобы вымыть остатки производственного мусора и возможные частицы внутри.
Speaker A
Для того чтобы прикрутить эту плату, нам понадобится 16 винтов М3 на 10. Стандартные винты от материнской платы слишком короткие.
Speaker A
Предусмотрел и установил сливной кран в нижней точке радиатора. Это позволит в дальнейшем нормально сливать жидкость из системы, не разбирая весь контур. Я настолько тщательно собирал и проверял каждый элемент, что был уверен в герметичности системы. Но после сухой сборки всё же решил вынести водоблоки в
Speaker A
сборе и резервуар с помпой за пределы корпуса и проверить контур отдельно от платы с картами. При этом не стал сначала заливать дистиллированную воду и сразу использовал рабочую охлаждающую жидкость Alphacool. Весь контур в итоге вместил примерно 1,5 л. Помпа питалась
Speaker A
от отдельного двенадцативольтового блока питания, а основная система в это время оставалась полностью обесточенной. Контур проработал несколько часов без протечек. Теперь уже можно было устанавливать водоблоки на карты окончательно с термопастой Noctua и термопрокладками. И здесь обнаружилась ещё одна проблема. Штатных двухмиллиметровых
Speaker A
термопрокладок в некоторых местах оказалось недостаточно. Причина была в самих водоблоках. Алюминиевые пластины на них оказались немного выгнуты, края загнуты вверх. Из-за этого в некоторых местах между водоблоком и компонентами на плате образовывался зазор, поэтому пришлось подбирать толщину прокладок уже по
Speaker A
месту. В зоне дросселей я использовал 2 мм плюс ещё два слоя по 0,5 мм, в итоге 3 мм. В зоне силовых элементов получилось 2,5 мм. Заодно я установил термопрокладки с большей теплопроводностью 13 Вт на метр Кевин вместо комплектных
Speaker A
синих. После окончательной установки водоблоков я ещё раз проверил контур на герметичность и запустил систему. В настройке контроллера всё достаточно просто. На дисплее попеременно отображается температура воды и скорость оборотов вентиляторов. К скорости оборотов нужно прибавить два нуля.
Speaker A
Контроллер получает температуру от датчика воды, установленного на входе в радиатор. Есть ручной режим, можно задать скорость вентиляторов от 1 до 100%, и автоматический. В нём контроллер ориентируется на температуру жидкости. Я использую именно этот режим. Параметр L задаёт температуру, с которой начинается
Speaker A
увеличение оборотов. H — температуру, при которой вентиляторы выходят на 100%. А C — температуру, ниже которой вентиляторы отключаются. После настройки всё работает автоматически в зависимости от температуры охлаждающей жидкости.
Speaker A
Теперь самое интересное. Запускаю систему и проверяю, что получилось. Все четыре Tesla V100 определились без проблем. Дальше я запустил стресс-тест и оставил систему работать на 15 минут, чтобы температура успела стабилизироваться. Пока шёл тест, я заодно измерил реальное энергопотребление всей системы ПК плюс
Speaker A
Tesla. При максимальной нагрузке получилось примерно 1400 Вт, в простое около 350 Вт. Со временем теста температура охлаждающей жидкости поднялась примерно до 40°, так как GPU1 у меня последняя в последовательной схеме соединения водоблоков, поэтому она немного теплее остальных. Результаты температурного
Speaker A
теста на ваших экранах. При полной нагрузке на все 4 V100 температура самой тёплой карты составила 59° при температуре жидкости около 40°. По деньгам вся СЖ вышла очень недёшево, примерно в 48 000 руб. Конечно, можно было собрать всё это дешевле, но здесь я
Speaker A
сознательно выбирал качественные компоненты, поэтому на самой системе охлаждения экономить не стал. Кроме того, было не просто достать все комплектующие. Пришлось заказывать всё из разных мест и ждать около месяца.
Speaker A
Полный список всех комплектующих в моём Telegram-канале. На данном этапе новая платформа и охлаждение наконец-то собраны. Самое интересное впереди, что же из этого получилось по производительности? 4 запускаю в бой уже в следующем выпуске. Надеюсь, это видео было для вас полезным. Спасибо за
Speaker A
просмотр. Ну а у меня на сегодня всё. Пока. Ш.
Topics:жидкостное охлаждениеTesla V100SuperMicro X299i9 10980XEводоблокиAlphacoolсборка ПКстресс-тесттермопрокладкиPWM-контроллер
