Skip to content
Get App

DeepSeek на 266 ГБ работает с 16 ГБ видеопамяти. Как?!

Как запустить модель DeepSeek размером 266 ГБ на RTX 5070 Ti с 16 ГБ видеопамяти: разбор проекта Tandem, экспертного кэша и иерархии памяти GPU/RAM/SSD.

Key Takeaways

  • Запуск огромных MoE-моделей на бытовом железе возможен за счет кэширования экспертов и иерархии памяти.
  • Скорость генерации определяется временем подготовки весов, и SSD здесь важен почти наравне с видеокартой.
  • Цифры из видео стоит воспринимать осторожно: мало данных о воспроизводимости и условиях тестов.

What the video covers

  • Модель DeepSeek 4.1 Flash занимает 266 ГБ, тогда как у RTX 5070 Ti всего 16 ГБ видеопамяти.
  • Проект Tandem от разработчика Hack показывает около 14,2 токена в секунду против 7,4 у обычной llama.cpp на той же машине.
  • Архитектура Mixture of Experts активирует только 6 из 384 экспертов на токен, что снижает требования к памяти в конкретный момент.
  • Главное ограничение — не вычисления, а скорость доставки данных: VRAM около 896 ГБ/с, DDR4 около 51 ГБ/с, SSD около 7 ГБ/с.
  • На каждый токен приходится примерно 2 ГБ экспертных весов, что дает верхнюю оценку скорости по типам памяти.
  • Llama по умолчанию заполняет VRAM целыми экспертными слоями, что расходует память неэффективно.
  • Tandem хранит экспертные веса в RAM, а свободную VRAM использует как кэш недавно задействованных экспертов.
  • При промахе кэша вычисление может выполняться на CPU вместо передачи весов на GPU, выбор основан на измеренной производительности.
  • Более новый режим store использует Direct I/O и параллельную загрузку, но тесты с 14,2 токена были получены до его появления.
  • Результаты автора требуют проверки: статистика попаданий в кэш не опубликована, а сравнения проводились в разных условиях.

Answers

Questions about this video

Как можно запустить модель на 266 ГБ с 16 ГБ видеопамяти?

Благодаря архитектуре Mixture of Experts в каждый момент используется лишь малая часть экспертов. Tandem хранит веса в RAM и SSD, а VRAM использует как кэш недавно активных экспертов.

Почему SSD важен для скорости генерации?

При промахе кэша нужные эксперты приходится читать с накопителя, а его пропускная способность примерно в 7 раз ниже, чем у оперативной памяти, поэтому скорость зависит от своевременной подготовки весов.

Насколько надежны цифры производительности из видео?

Автор не опубликовал статистику попаданий в кэш, а сравнения проводились в разных условиях и версиях, поэтому результаты требуют независимой проверки.

Full Transcript — Download SRT & Markdown

00:00
Speaker A
У Deepsek 4.1 Flash есть небольшая проблема. Модель занимает 266 ГБ, а у RTX 5070 Ti всего 16 ГБ видеопамяти.
00:13
Speaker A
Обычно такое несоответствие заканчивается советом купить рабочую станцию, желательно такую, чтобы после покупки не пришлось заходить в банковское приложение.
00:23
Speaker A
Но разработчик под ником Hack выложил на GitHub проект Tandem и результаты, которые несколько портят эту картину.
00:32
Speaker A
Его RTX 5070 Ti генерирует на DeepsК 14,2 токена в секунду. Обычные лама том же компьютере 7,4. Почти двукратная разница.
00:45
Speaker A
Из дополнительного железа 64 ГБ оперативной памяти и быстрой SSD. Никаких серверных ускорителей и шкафов с видеокартами. Разумеется, есть мелкий шрифт. Цифры принадлежат самому разработчику, а обычные ламы в этих тестах сборка от 28 октября. С датой здесь вообще любопытная история, но
01:09
Speaker A
сначала нужно понять, почему компьютер с [музыка] 16 гигабтами видеопамяти способен обрабатывать модель на 266 и что именно в нём удалось ускорить.
01:25
Speaker A
В ноябрьском руководстве на виде FAI авторы рекомендуют для Deepsi гораздо более серьёзное оборудование. По их оценке, даже машине со 128 ГБИ памяти не хватит места для полного размещения основных весов, рассматриваемых версий модели. Формально, всё верно. Только полный размер модели- не самая полезная
01:46
Speaker A
цифра, если мы хотим понять, сколько памяти ей необходимо в конкретный момент. Deepsek использует архитектуру Mixture of Experts. Обычно её сокращают до MOE. Внутри модели есть отдельные блоки весов, эксперты. В каждом экспертном слое их 384, но при обработке очередного токена,
02:08
Speaker A
условно небольшого кусочка текста, [музыка] задействуется только шесть. не 60. Остальные 378 в вычислениях для этого токена не участвуют.
02:21
Speaker A
Это не значит, что можно удалить 98% моделей и ничего не потерять. На следующем токене понадобятся другие эксперты, потом ещё другие. Но одновременная загрузка всех экспертов уже не выглядит обязательным условием.
02:35
Speaker A
Задача меняется. Вместо того, чтобы искать место для всей модели, нужно научиться вовремя доставлять нужные участки. [музыка] И тут внезапно выясняется, что главный враг производительности не количество вычислений. По крайней мере, не только оно. Главный враг - дорога, которую данные проделывают до вычислительного
02:56
Speaker A
устройства. У RTX570 Ti пропускная способность видеопамяти составляет примерно 896 ГБ в секунду. У обычной двухканальной DDR4 около 51 ГБ в секунду, если брать теоретически максимум. А быстрый Samsung SSD рассчитан примерно на 7 ГБ в секунду.
03:17
Speaker A
Получается довольно неприятная лестница. Каждый следующий уровень памяти медленнее предыдущего примерно в 7 тире1 раз. При этом все три устройства формально могут хранить веса модели.
03:30
Speaker A
Разница в том, сколько времени займёт их получение. Можно купить очень быструю видеокарту, но если перед каждым вычислением она ждёт очередную порцию данных с накопителя, большую часть её возможности вы так и не увидите, особенно на моделях такого размера.
03:46
Speaker A
Разберём, что именно хранится в этих 266 ГБ. Около 155 гигов занимает основной блок модели. В рассматриваемой квантованной версии на каждый вес приходится в среднем 2,25 бита. Ещё примерно 111 ГБ таблицем.
04:06
Speaker A
К ним модель обращается выборочно, поэтому их можно оставить отображёнными на SSD и читать по необходимости. Самая важная для нашего случая часть - экспертные веса. В документации тандем их объём указан примерно как 139 ГБ.
04:23
Speaker A
[музыка] Гиби - это двоичная единица. Он примерно на 7% больше привычного гигабайта. Теперь проследим за обработкой одного токена. Он проходит через 40 слоёв модели. Компоненты, необходимые каждому токену, уже находятся на видеокарте.
04:41
Speaker A
А в экспертных слоях работает роутер. Небольшой механизм, который определяет, какую шестёрку экспертов использовать. Для следующего токена выбор может измениться. [музыка] Шесть экспертов из 384 - это около 1лутора%.
04:57
Speaker A
1,5% от 139 ГБ, примерно 2,2 ГБ экспертных весов. Это неточно измерение. Разные слои сжаты не одинаково, и размер экспертов не везде совпадает. Но для оценки пропускной способности цифра годится. Если каждый токен требует прочитать примерно 2 Гб данных, можно
05:18
Speaker A
прикинуть верхнюю границу скорости для разных типов памяти. С SSD около тёх токенов в секунду. Из оперативной памяти чуть больше двадцати, из видеопамяти несколько сотен. Последняя цифра, конечно, не означает, что нейроссия действительно будет выдавать сотни токенов. Мы пока считаем только передачу
05:38
Speaker A
данных беззатрат на вычисление, но теперь результат обычного лама 7,4 токена в секунду уже не выглядит случайным. Он находится между пределами SSD и оперативной памяти. Часть необходимых экспертов, судя по всему, читается с накопителя. Остальные поступают из более быстрой памяти.
05:58
Speaker A
Какова пропорция, мы не знаем. Статистику попаданий в кэш для этого запуска автор не опубликовал. Но уже ясно, что скорость здесь зависит от весьма прозаической вещи. Успел ли компьютер подготовить нужные веса до того, как они понадобились.
06:13
Speaker A
Именно поэтому SSD в этом тесте важен почти наравне с видеокартой, что довольно редкая ситуация для обзора нейросетей.
06:22
Speaker A
По умолчанию Лама использует стратегию размещения, при которой на GPU сначала отправляются обязательные компоненты модели, а оставшаяся видеопамять заполняется целыми экспертными слоями. И здесь снова вспоминаем наши 384 эксперта. Чтобы сохранить на видеокарте один такой слой, приходится выделить память под всех экспертов, хотя один
06:44
Speaker A
токен используют лишь шесть. Представьте библиотеку, в которой для чтения одной страницы вам каждый раз выдают целый шкаф. Примерно так и расходуется ограниченная видеопамять. В тандем экспертные веса хранятся в оперативной памяти, а свободная видеопамять превращается в кэш отдельных экспертов.
07:04
Speaker A
То есть видеокарта хранит не полные наборы на всякий случай, а те части модели, которые недавно действительно использовались. [музыка] Можно представить три уровня хранения: видеопамять, рабочий стол, оперативная память, стеллаж за спиной, SSD, архив, до которого приходится добираться.
07:24
Speaker A
Документы, с которыми вы работаете, постоянно разумно держать на столе. Всё остальное может подождать на стеллаже или в архиве. И если нужный эксперт уже в видеопамяти, модель сразу выполняет вычисление. Это попадание в кэш. Если его там нет, промах. Данные необходимо
07:43
Speaker A
получить из другого места. На тестовом компьютере промахи особенно дороги. Экспертных весов примерно вдвое больше, чем установленной оперативной памяти. Значительную их часть приходится читать с SSD. Для этого в более новой версии тандем появился отдельный режим стор. Он объединяет видеопамять и
08:03
Speaker A
область закреплённой оперативной памяти в систему кэширования, а недостающие данные считывает непосредственно с накопителя с помощью Direct io.
08:15
Speaker A
Причём загрузка может идти параллельно с вычислениями. Пока видеокарта обрабатывает одну часть модели, компьютер уже готовит следующую. Правда, режим появился позже тех тестов, в которых были получены 14,2 токена в секунду, поэтому записывать весь прирост производительности на его счёт нельзя.
08:34
Speaker A
Есть у тандем и другая оптимизация. На этот раз она касается не хранения весов, а места выполнения вычислений.
08:43
Speaker A
Допустим, выбранного эксперта нет в видеопамяти, но он находится в оперативной. Компьютер может скопировать его Vса через PCI на видеокарту, чтобы та выполнила вычисление, а может обработать эксперта прямо на центральном процессоре. [музыка] Второй вариант кажется странным. GPU создавались как раз для того, чтобы
09:03
Speaker A
выполнять такие операции значительно быстрее CPU. Но скорость вычислений - лишь часть уравнения, доставка данных тоже занимает время. Если передача весов на видеокарту обходится дороже, чем вычисление на процессоре, смысл в такой передаче пропадает. Поэтому тандем распределяет промахи кэша между CPU и
09:23
Speaker A
GPU на основании измеренной производительности системы. Подход частично заимствован из страта, другого инструмента для работы с большими моделями. Меня как раз часто просят сделать на него обзор в комментариях. Правда, конкретную формулу выбора разработчик Тандем не приводит. И здесь нам приходится доверять
09:43
Speaker A
результатам измерений. На RTX 5070 Ti разница выглядит внушительно. Обычный Лама 7,4 токена в секунду, страта 10,4, тандем- 14,2.
09:58
Speaker A
Повторный запуск тандем дал 13,3 токена. Ускорение заметно не только в скорости генерации. Первый токен у обычного Лама появлялся примерно через 14 секунд. у тандем через шесть. Для пользователя это, пожалуй, даже приятнее дополнительных токенов в секунду. Модель начинает отвечать, пока вы ещё помните,
10:20
Speaker A
о чём её спросили. Проверили и качество на небольшой выборке математического бенчмарка. Все конфигурации решили правильно 39 или 40 задач из первых со0ка. На основании 40 примеров нельзя утверждать, что качество полностью сохранилось, но очевидной поломки тест не обнаружил. На RTX 5090 со 128 ГБ
10:42
Speaker A
оперативной памяти разрыв оказался ещё больше. 11,5 токенов в секунду у обычного лама 33,1 у тандем почти втрое.
10:54
Speaker A
Если остановиться на этой таблице, вывод получится простой. Новый проект решает старую проблему, причём решает её очень убедительно. Но я бы не спешил удалять Лама, потому что дальше важны уже не гигабайты и токены, а даты.
11:11
Speaker A
7 октября в основной код Лама приняли изменения под номером 2987. Это произошло за 3 недели до версии, с которой проводилось сравнение тандем.
11:22
Speaker A
Изменения добавляло кэш-экспертов на видеокарте. Механизм знакомый. Недавно использованные эксперты сохраняются в видеопамяти, а когда места не хватает, давно не использовавшиеся удаляются.
11:34
Speaker A
Недостающие веса загружаются по мере необходимости. На RTX5090 автор этого изменения получил ускорение с 3,8 до 67,8 токенов в секунду, больше чем вдвое. То есть одна из центральных идей тандем к тому моменту уже существовала внутри ламы, но была деталь. В основной сборке
11:57
Speaker A
этот кэш по умолчанию выключен. Чтобы его использовать, нужно самостоятельно включить соответствующий параметр. И в RIDMI тандема нет указания на то, что при измерении стандартного лама этот механизм был активирован. А ведь он мог заметно изменить результаты сравнения.
12:14
Speaker A
На этом хронология не заканчивается. 7 ноября в Лама приняли ещё одно изменение, номер 3096.
12:23
Speaker A
Оно добавило возможность обрабатывать часть отсутствующих в кэше экспертов на центральном процессоре, то есть вторую основную оптимизацию тандем. На конфигурации с кэшем около 6 ГБ разработчик получил ускорение с 24 до 47,6 токенов в секунду. [музыка] Но при увеличении кэша примерно до 19 ГБ
12:45
Speaker A
результат оказался противоположным, без дополнительной работы на CPU 65,5 токенов в секунду. С ней 54,1.
12:55
Speaker A
Помощь процессора стала мешать. Объяснение вполне приземлённое. Когда кэш небольшой, нужных экспертов в нём часто нет. Процессор может взять часть работы на себя и избавить систему от лишних передач данных. Когда кэш большой, многие эксперты и так доступны видеокарте. Вмешательство CPU добавляет
13:16
Speaker A
расходы, вместо того, чтобы их сокращать. В другом тесте с медленной связью между CPU и GPU и [музыка] быстрой оперативной памятью большой кэш снова оказался выгоднее распределения вычислений на процессоре. Универсальной победной настройки здесь нет. И особенно важно это для видеокарт с 16 ГБИ памяти,
13:36
Speaker A
где пространство для кэша изначально немного. Поэтому красивые 14,2 токена в секунду никуда не исчезают. Вопрос лишь в том, с чем именно их сравнивали. На сегодняшний момент в опубликованных результатах нет прямого теста тандем против актуального лама, в котором оба
13:53
Speaker A
механизма, экспертный кэш и распределение вычислений на CPU, настроены на одной и той же системе именно с этой версией DeepSek. А значит, мы знаем, что тандем значительно ускорил конкретную конфигурацию из опубликованного сравнения, но насколько он превосходит современный лама при
14:12
Speaker A
равных настройках, пока неизвестно. Есть и результаты, которые энтузиазма не добавляют. На более ранней сборке Tandдем от 1 ноября использовался компьютер с Intel Core i5 12400.
14:26
Speaker A
Размер модели примерно втрое превышал объём оперативной памяти, и данные активно читались с SSD. Обычный Лама показал 6,86 токенов в секунду. Тандем 6. В этот раз оптимизация обернулась с замедлением.
14:43
Speaker A
А независимое тестирование адаптации для AMD, проведённое ITLAB на модели семейства Quen не выявило припреимущество перед конфигурацией, которую команда использовала ранее. Так что ускорение зависит нету Алька от программы. Имеют значение объём и скорость памяти, процессор, видеокарта, накопитель, связь между компонентами и
15:04
Speaker A
конкретная модель. Плюс ограничение самого TНEM. В описанной версии проект работает только под Linux. в первую очередь рассчитан на Nvidia и предполагает одного пользователя.
15:16
Speaker A
Windows пока остаётся за бортом. Есть и довольно странная особенность. С включённым экспертным кэшем результат гриди декодинг может отличаться между повторными запусками. Это режим, в котором модель каждый раз выбирает токен с наибольшей вероятностью. Его обычно используют, в том числе, ради
15:34
Speaker A
предсказуемости, но здесь даже он не гарантирует одинакового ответа. Впрочем, скорость и воспроизводимость ещё не всё. Мы всё это время обсуждаем довольно необычную версию псик и степенью сжатия заслуживает отдельного внимания.
15:52
Speaker A
В квантованной версии двумя битами сильнее всего сжаты именно экспертные веса. Компоненты, которые используются постоянно, сохраняются с большей точностью. Авторы этой версии опубликовали результаты трёх тестов рассуждений. По их данным, после квантования модель сохранила 99,8% среднего результата оригинала. На GPQA
16:14
Speaker A
Diamond результат составил 90,4 против 90,9 у несжатой версии. Разница небольшая, но это собственные измерения авторов квантования при Reasoning Eford 50.
16:30
Speaker A
Независимых тестов конкретно этой версии пока нет. Также авторы не приводят Perplexity и KL дивергенцию, показатели, которые помогли бы оценить, насколько сильно сжатие изменило предсказание модели. Два варианта могут одинаково отвечать на тестовые вопросы и при этом по-разному распределять вероятности следующих
16:51
Speaker A
токенов. По трём бенчмаркам этого не увидеть. И есть ещё одна деталь. Сами авторы советуют использовать IQ2XS, ещё более компактную квантованную версию. На тех же трёх тестах она, по их данным, совпала с оригиналом. То есть можно скачать файл поменьше и не
17:11
Speaker A
потерять баллы в опубликованных проверках. Насколько это распространяется на реальной задаче, отдельный вопрос, но для экспериментов с локальным запуском рекомендация любопытная.
17:24
Speaker A
Итак, 266 ГБ весов никуда не делись. В 16 ГБ видеопамяти они не помещаются, и никакой тандем не изменил физический объём чипов памяти. Просто для обработки одного токена модель обращается лишь к небольшой доли своих экспертных весов.
17:41
Speaker A
По грубой оценке примерно к 2 гиббайтам. Если эти веса уже находятся в видеопамяти, вычисления идут быстро.
17:49
Speaker A
Если они в оперативной памяти, медленнее. Если приходится доставать их с SSD, скорость падает ещё сильнее. Вся оптимизация строится вокруг того, чтобы как можно реже оказываться в последнем сценарии. Поэтому перед покупкой нового железа стоит хотя бы оценить соотношение экспертных весов моделей доступной
18:08
Speaker A
оперативной памяти. Если веса вдвое больше RAM, как в рассматриваемом компьютере, SSD становится частью вычислительной системы, и его характеристики уже нельзя игнорировать. А начинать я бы советовал с актуального лама. В нём уже есть экспертный кэш и возможность распределять часть вычислений на
18:27
Speaker A
процессор. Сначала включить кэш, затем подобрать долю нагрузки на CPU и сравнить результат с исходной конфигурацией. На видеокартах с 16 ГБ это особенно актуально. Возможно, отдельный патч вам вообще не понадобится. Хотя у тандем остаётся преимущество, которое нельзя просто вычеркнуть. режим store для работы с
18:48
Speaker A
весами, остающимися на SSD. В рассмотренных изменениях Лама аналогичного механизма не описано, поэтому на Linux с NVIDIA, 64 ГБИ оперативной памяти и быстрым NVM тандем вполне заслуживает отдельного теста. Но 14,2 токена в секунду из Redmi не гарантия. На вашем компьютере может
19:10
Speaker A
получиться совсем другая цифра. А с качеством двухбитной модели я бы пока сохранял осторожность, несмотря на хорошие результаты авторских бенчмарков.
19:21
Speaker A
В этой истории никто не придумал, как вместить 266 ГБ в 16. Удалось кое-что более полезное перестать таскать через всю систему данные, которые сейчас не нужны.
19:33
Speaker A
И вместо очередного теста на RTX 5090 за несколько тысяч долларов мне было бы интереснее посмотреть, что получилось у владельцев обычных компьютеров.
19:43
Speaker A
Напишите в комментариях, какую большую модель вы запускаете, сколько у вас оперативно и видеопамяти, и какую скорость получаете. А если экспериментировались с экспертным кэшем, укажите ещё процент попаданий. Тогда хотя бы увидим, насколько эта оптимизация работает за пределами компьютера автора Тандем.
20:03
Speaker A
Увидимся. [музыка] [музыка]
Topics:DeepSeekMixture of Expertsлокальные нейросетиRTX 5070 Tiквантование моделейоптимизация инференсаllama.cppэкспертный кэшSSDвидеопамять

Get More with the SozAI App

Transcribe recordings, audio files, and YouTube videos — with AI summaries and speaker detection. 30 minutes free.

Or transcribe another YouTube video here →