Speaker A
Чтобы запустить нейросеть весом в 94 ГБ, по всем правилам нужно купить серверных видеокарт примерно на 1,5 млн руб.
Запуск 94 ГБ ИИ-модели на домашней RTX 5080 с помощью узкоспециализированного движка Strata из GitHub.
Key Takeaways
- Запуск больших ИИ-моделей возможен на обычных видеокартах при помощи специализированных движков.
- Универсальные движки Lama CPP неэффективны при нехватке видеопамяти из-за частых обращений к оперативной памяти.
- Strata — узкоспециализированный движок, оптимизированный под конкретную модель, обеспечивает высокую скорость генерации.
- Автоматизация установки и запуска снижает порог входа для пользователей без опыта сборки ПО.
- Использование Strata позволяет экономить значительные средства на серверном оборудовании.
What the video covers
- Для запуска 94-гигабайтной нейросети обычно нужны серверные видеокарты стоимостью около 1,5 млн рублей.
- Обычная домашняя видеокарта на 16 ГБ обычно не справляется с такими моделями, выдавая очень медленную генерацию.
- Автор использует одну RTX 5080 с 16 ГБ видеопамяти и запускает модель на 125 млрд параметров с высокой скоростью.
- Модель в 94 ГБ почти в шесть раз превышает объём видеопамяти, но работает без тормозов благодаря специальному движку.
- Стандартные программы, такие как Ollama и LM Studio, используют движок Lama CPP, который сбрасывает данные в оперативную память, вызывая задержки.
- Новая разработка под ником Nika1221 — движок Strata, оптимизированный под одну конкретную модель Quent 3.8 Flash Next.
- Strata отказался от универсальности ради высокой производительности и быстро набрал популярность на GitHub.
- Движок написан на C++ с кастомными ядрами, но имеет удобный скрипт для автоматической установки без сложной сборки.
- Запуск модели происходит быстро и без необходимости ручной настройки или установки дополнительных библиотек.
- Решение позволяет использовать мощные ИИ-модели на обычных домашних видеокартах без серверного оборудования.
Chapters
- 00:00Введение: проблемы запуска больших моделей
- 00:16Ограничения домашней видеокарты
- 00:48Авторская система и её возможности
- 01:53Как модель помещается и работает
- 02:13Проблемы универсальных движков Lama CPP
- 04:13Новый движок Strata от Nika1221
- 04:52Оптимизация под конкретную модель
- 05:08Простота установки и запуска
Full Transcript — Download SRT & Markdown
Speaker A
Если же попытаться скормить такой объём обычной домашней видеокарты гигов на 16, то в лучшем случае вы получите слайд-шоу, где одно слово будет
Speaker A
генерироваться примерно минуту.
Speaker A
Но у меня нет серверной стойки за 1,5 млн.
Speaker A
В моём системнике стоит одна домашняя RTX 5080 на 16 ГБ.
Speaker A
И прямо сейчас 94-гигабайтная модель на 125 млрд параметров строчит мне ответ со скоростью больше 60 токенов в секунду,
Speaker A
быстрее, чем вы успеваете читать.
Speaker A
Как файл, который почти в шесть раз превышает объём видеопамяти, вообще помещается в компьютер и при этом работает без диких фрезов?
Speaker A
Секрет в том, что мы отказались от универсальных программ и запустили модель через узкозаточенный бесплатный движок с
Speaker A
GitHub.
Speaker A
Страта.
Speaker A
Почему обычные программы вроде Olaama или LM Studio здесь не справляются?
Speaker A
Они работают на движке Lama CPP.
Speaker A
Когда модель не лезет в видеокарту, он просто режет её по слоям и сбрасывает лишнее в оперативную память.
Speaker A
В результате на каждое слово видеокарта
Speaker A
останавливается и ждёт, пока процессор посчитает свой кусок в медленной оперативке и прогонит гигабайты данных через узкую шину PCI Express.
Speaker A
Топовая видеокарта в итоге просто стоит в пробке.
Speaker A
Но недавно разработчик под ником Nika1221 выложил на GitHub репозиторий страта, который за пару недель набрал
Speaker A
больше 20 000 звёзд.
Speaker A
Он выкинул универсальность и написал движок с нуля ровно под одну модель.
Speaker A
Quent 3.8 Flash Next на 125 млрд параметров.
Speaker A
Обычно, когда видишь на GitHub самописный C++ движок с кастомными ядрами под видеокарты, то готовишься 3 часа
Speaker A
собирать его через терминал, ставить библиотеки Nvidia и гуглить ошибки компилятора.
Speaker A
Но внутри архива лежит один готовый скрипт.
Speaker A
Начни здесь.
Speaker A
Запускаешь его, и вся система разворачивается сама без единой строчки кода.
Topics:ИИнейросетьStrataRTX 5080GitHubLama CPPQuent 3.8 Flash Nextвидеокартаискусственный интеллектмашинное обучение
![Йозеф Менгеле – ДОКТОР СМЕРТЬ из ОСВЕНЦИМА [История в Личностях] — Transcript](https://i.ytimg.com/vi/3yDnGk7DVCo/maxresdefault.jpg)
