**Удали Ollama! Этот движок запускает 94 ГБ ИИ на обычной видеокарте — Transcript & Summary | SozAI** Source: https://sozai.app/transcript/remove-ollama-ai-engine-94gb-graphics-card/ Запуск 94 ГБ ИИ-модели на домашней RTX 5080 с помощью узкоспециализированного движка Strata из GitHub. ## Key Takeaways - Запуск больших ИИ-моделей возможен на обычных видеокартах при помощи специализированных движков. - Универсальные движки Lama CPP неэффективны при нехватке видеопамяти из-за частых обращений к оперативной памяти. - Strata — узкоспециализированный движок, оптимизированный под конкретную модель, обеспечивает высокую скорость генерации. - Автоматизация установки и запуска снижает порог входа для пользователей без опыта сборки ПО. - Использование Strata позволяет экономить значительные средства на серверном оборудовании. ## What the video covers - Для запуска 94-гигабайтной нейросети обычно нужны серверные видеокарты стоимостью около 1,5 млн рублей. - Обычная домашняя видеокарта на 16 ГБ обычно не справляется с такими моделями, выдавая очень медленную генерацию. - Автор использует одну RTX 5080 с 16 ГБ видеопамяти и запускает модель на 125 млрд параметров с высокой скоростью. - Модель в 94 ГБ почти в шесть раз превышает объём видеопамяти, но работает без тормозов благодаря специальному движку. - Стандартные программы, такие как Ollama и LM Studio, используют движок Lama CPP, который сбрасывает данные в оперативную память, вызывая задержки. - Новая разработка под ником Nika1221 — движок Strata, оптимизированный под одну конкретную модель Quent 3.8 Flash Next. - Strata отказался от универсальности ради высокой производительности и быстро набрал популярность на GitHub. - Движок написан на C++ с кастомными ядрами, но имеет удобный скрипт для автоматической установки без сложной сборки. - Запуск модели происходит быстро и без необходимости ручной настройки или установки дополнительных библиотек. - Решение позволяет использовать мощные ИИ-модели на обычных домашних видеокартах без серверного оборудования. ## Chapters 1. 00:00 Введение: проблемы запуска больших моделей 2. 00:16 Ограничения домашней видеокарты 3. 00:48 Авторская система и её возможности 4. 01:53 Как модель помещается и работает 5. 02:13 Проблемы универсальных движков Lama CPP 6. 04:13 Новый движок Strata от Nika1221 7. 04:52 Оптимизация под конкретную модель 8. 05:08 Простота установки и запуска Answers ## Questions about this video Почему обычные программы вроде Ollama не справляются с большими моделями на домашних видеокартах? Они используют движок Lama CPP, который при нехватке видеопамяти сбрасывает данные в оперативную память, что вызывает задержки и снижает производительность. Как Strata позволяет запускать 94 ГБ модель на видеокарте с 16 ГБ памяти? Strata оптимизирован под одну конкретную модель и отказался от универсальности, что позволяет эффективно использовать видеопамять и избегать частых обращений к оперативной памяти. Нужно ли вручную собирать и настраивать движок Strata? Нет, внутри архива есть готовый скрипт, который автоматически разворачивает систему без необходимости писать код или устанавливать библиотеки вручную. ## Full Transcript — Download SRT & Markdown 00:00 Speaker A Чтобы запустить нейросеть весом в 94 ГБ, по всем правилам нужно купить серверных видеокарт примерно на 1,5 млн руб. 00:16 Speaker A Если же попытаться скормить такой объём обычной домашней видеокарты гигов на 16, то в лучшем случае вы получите слайд-шоу, где одно слово будет 00:34 Speaker A генерироваться примерно минуту. 00:48 Speaker A Но у меня нет серверной стойки за 1,5 млн. 01:05 Speaker A В моём системнике стоит одна домашняя RTX 5080 на 16 ГБ. 01:22 Speaker A И прямо сейчас 94-гигабайтная модель на 125 млрд параметров строчит мне ответ со скоростью больше 60 токенов в секунду, 01:39 Speaker A быстрее, чем вы успеваете читать. 01:56 Speaker A Как файл, который почти в шесть раз превышает объём видеопамяти, вообще помещается в компьютер и при этом работает без диких фрезов? 02:13 Speaker A Секрет в том, что мы отказались от универсальных программ и запустили модель через узкозаточенный бесплатный движок с 02:26 Speaker A GitHub. 02:45 Speaker A Страта. 02:55 Speaker A Почему обычные программы вроде Olaama или LM Studio здесь не справляются? 03:07 Speaker A Они работают на движке Lama CPP. 03:18 Speaker A Когда модель не лезет в видеокарту, он просто режет её по слоям и сбрасывает лишнее в оперативную память. 03:35 Speaker A В результате на каждое слово видеокарта 03:48 Speaker A останавливается и ждёт, пока процессор посчитает свой кусок в медленной оперативке и прогонит гигабайты данных через узкую шину PCI Express. 04:04 Speaker A Топовая видеокарта в итоге просто стоит в пробке. 04:13 Speaker A Но недавно разработчик под ником Nika1221 выложил на GitHub репозиторий страта, который за пару недель набрал 04:25 Speaker A больше 20 000 звёзд. 04:40 Speaker A Он выкинул универсальность и написал движок с нуля ровно под одну модель. 04:52 Speaker A Quent 3.8 Flash Next на 125 млрд параметров. 05:08 Speaker A Обычно, когда видишь на GitHub самописный C++ движок с кастомными ядрами под видеокарты, то готовишься 3 часа 05:23 Speaker A собирать его через терминал, ставить библиотеки Nvidia и гуглить ошибки компилятора. 05:40 Speaker A Но внутри архива лежит один готовый скрипт. 05:45 Speaker A Начни здесь. 05:58 Speaker A Запускаешь его, и вся система разворачивается сама без единой строчки кода. Topics: ИИ нейросеть Strata RTX 5080 GitHub Lama CPP Quent 3.8 Flash Next видеокарта искусственный интеллект машинное обучение Учить по этому видео - [Карточки по этому видео](https://sozai.app/ru/tools/flashcard-maker/?from=transcript&id=81384) - [Тест по этому видео](https://sozai.app/ru/tools/quiz-generator/?from=transcript&id=81384) - [Кроссворд по этому видео](https://sozai.app/ru/tools/crossword-maker/?from=transcript&id=81384) - [Филворд по этому видео](https://sozai.app/ru/tools/word-search-maker/?from=transcript&id=81384) - [Шпаргалка по этому видео](https://sozai.app/ru/tools/study-guide-maker/?from=transcript&id=81384) Бесплатно, составлено ИИ по этой расшифровке. Без регистрации. --- This is the markdown twin of https://sozai.app/transcript/remove-ollama-ai-engine-94gb-graphics-card/ — the same content, without the markup. Published by SozAI (https://sozai.app). Reuse and quotation are allowed with attribution and a link back. Machine-readable index: https://sozai.app/llms.txt · data API: https://sozai.app/api/