Speaker A
Итак, всем привет. Сегодня я вам покажу, как бесплатно подключить по локальному API модель Квен, в том числе самую последнюю, самый топовый, к вашим агентам по типу Гермеса, Кодекса, Клодкода.
Видео показывает, как бесплатно подключить модель Qwen 3.7 Max к агентам Hermes через локальный API с использованием форка репозитория Quenchat.
Key Takeaways
- Можно бесплатно подключить актуальные модели Qwen 3.7 Max к агентам Hermes и другим через локальный API.
- Форк репозитория Quenchat добавляет поддержку новых моделей и функций генерации мультимедиа.
- Процесс подключения включает клонирование репозитория, авторизацию через браузер и запуск API.
- Смоук-тесты подтверждают работоспособность и доступность моделей после настройки.
- Видео полезно для тех, кто хочет использовать мощные AI-модели без затрат на подписки.
Summary
- Автор демонстрирует подключение модели Qwen 3.7 Max и других версий к агентам типа Hermes, Codex и ClaudeCode.
- Используется локальный API, созданный на базе форка репозитория Quenchat, который поддерживает актуальные модели и генерацию изображений и видео.
- Пошагово показан процесс клонирования репозитория, установки зависимостей и авторизации через браузер для получения токена сессии.
- Объясняется синхронизация доступных моделей и запуск API для работы с ними.
- Проводится смоук-тест для проверки доступности и корректной работы моделей.
- Показаны базовые запросы к модели Qwen Max и генерация изображений и видео через API.
- Рассмотрены настройки подключения к Hermes, Light LLM и Codex, а также использование Docker и документация.
- Автор рекомендует подписаться на Telegram-канал для получения обновлений и ссылок на GitHub.
- Видео ориентировано на пользователей, желающих использовать мощные модели Qwen бесплатно без подписок.
- Демонстрируется удобство и эффективность локального подключения моделей к агентам для расширения функционала.
Full Transcript — Download SRT & Markdown
Speaker A
Я буду показывать на примере Гермеса. Брать модели мы будем из Квенчата.
Speaker A
Решил я такую схему провернуть после того, как недавно у нас вышел, ну, если быть точнее, то в конце прошлого месяца у нас вышел 37 Max.
Speaker A
После него ещё 37+ вышел. Это очень крутые модельки. Вот здесь вот конкретно марки по Максу, и мы сможем их спокойно подключить к Гермесу и споить бесплатно.
Speaker A
В принципе, если учитывать вот эту возможность подключения, то это почти беззатратное решение, если у вас нет подписок на Кодекс или ещё что-то.
Speaker A
Как я уже сказал, мы будем подключать из Квенчата, ну вот эти вот модельки, то есть Н 37+, 37 Max, 36+. Тут ещё есть вот старые модельки, в том числе тут есть и генерация видеоизображений.
Speaker A
Кто не знал, я уже кучу раз писал про этот сервис в Телеграме. Если не в курсе, то лучше перейдите, подпишитесь в Telegram, чтобы быть в курсе таких вот вещей.
Speaker A
И поэтому я нашёл вот такой вот репозиторий, который помогает нам сделать из Квенчата локальный API в формате Open Chat Completions, чтобы мы могли, соответственно, его подключить к уже чему-то большему, потому что у нас локально гоняется.
Speaker A
Но проблема этого репозитория в том, что обновление было последние 3 месяца назад, и то там просто какие-то правки в Readme были, и нет здесь поддержки актуальных моделей QN 3.7 и нет поддержки именно генерации изображений, видео и прочих функций, которые есть в Квенчате.
Speaker A
Поэтому я решил сделать свой форк этого репозитория, где, соответственно, я уже добавил актуальные модели Quin 37 Max, в том числе 37+, ну, которые есть уже в Квенчате. Также сделал генерацию изображений, видео.
Speaker A
Ну и чутка там по мелочи улучшил, сделал заготовки вот по подключению к Гермесу Light LLM и Кодексу через Light LLM. Ну и там помелощь, опять же таки, нюансы доработал. В общем, чтобы подключить наш чат. Ну перейдём, соответственно, к подключению.
Speaker A
Итак, тут у нас есть быстрый старт. Первое, что нам нужно сделать — это склонировать соответственно наш репозиторий. Такой вот команда делается.
Speaker A
Вставляйте, прогоняйте. Я это делать не буду, потому что у меня уже установлен репозиторий, поэтому я могу сразу писать просто следующую команду frequ choose directory. Дальше npm install. Всё скачалось и runification.
Speaker A
Здесь у нас дальше идёт уже выбор того, что мы хотим сделать. У меня уже добавлен один аккаунт здесь. А через циферку один добавить новый аккаунт, перелогинить аккаунт, удалить аккаунт и показать список и статусы.
Speaker A
Ну я нажму двойку, чтобы перелогиниться. А у меня уже нету требующих этого. Вот, нажму единичку, чтобы просто протестировать. Перед этим туда удалю аккаунт. Вот, добавлю новый аккаунт.
Speaker A
И после этого у нас открывается отдельный тестовый Chrome. Нам нужно сюда зайти в Quenchаt, чтобы у нас скрипт подхватил просто токен сессии от Quenchat. Сейчас я это сделаю и вернусь.
Speaker A
И вот я зашёл в аккаунт через этот браузер. Возвращаемся в терминал и нажимаем Enter. Не закрываю браузер.
Speaker A
Всё, он подхватил. Авторизация завершена успешно. И закрыл браузер. Теперь вот список аккаунтов, у нас есть аккаунт наш. И теперь можно просто выйти отсюда.
Speaker A
Дальше команда для синхронизации модели, то есть которые доступны у нас в AI и которые есть на сайте, они сверяются, соответственно, вот они сверяются и записываются, если есть какие-то несоответствия.
Speaker A
Дальше npm старт с skip аккаунтменю, потому что мы уже залогинились. Либо можно просто без skip аккаунтменю написать npm start. В принципе, разницы нет. Просто здесь у нас опять вот это окно, вот эта менюшка.
Speaker A
Можно просто нажать Enter. И всё, теперь у нас запустился API. Сразу выводится здесь у нас доступные модельки. Открою ещё один терминал и сделаем смок-тест на доступность.
Speaker A
Ещё мне надо опять зайти в директорию. Вставляю Run Smoke. Это просто тестовый прогон, а то всё ли работает. Как мы видим, идёт у нас процесс. Тут вот создаются чаты, получаются запросы и так далее. И всё.
Speaker A
Аккаунт у нас проверился, пройдёт список моделей, проверился ответ от Quent 37 Max, тестовый запрос, и всё, у нас смоук проверка завершилась.
Speaker A
Ну, здесь у меня есть также запросы базовые. Можно, например, вот взять тестовый запрос к Quent Max, также сюда вписать его просто в терминал соседний.
Speaker A
И мы получаем ответ, он не отформатированный, просто строчкой, но вот конкретно он здесь. Ну и остальные мы можем, например, список моделей также вывести.
Speaker A
Ну или чек провести аккаунтов. Вот один аккаунт у меня available. Ну, соответственно, что ещё здесь можно? Опять же таки тут chat completions. У меня генерация изображений таким вот форматом.
Speaker A
После этого она возвращает вот такую вот ссылку. Также генерация через Quenchаt, генерация видео.
Speaker A
Также тут есть ещё для подключения Open Webi, если вам это нужно. Настройки конфигурации для Гермеса, для Light LLM, чтобы подключить к Кодексу.
Speaker A
Также тут докер ещё есть и остальная документация.
Speaker A
Ссылка на GitHub будет в Телеграме. Буду, если что, его ещё обновлять, что-то добавлять. Так что поставьте звёздочку там, не знаю.
Speaker A
После того, как у нас есть наш локальный endpoint, который тут вот запущен, я просто GMES model пишу для настройки модели Гермеса и листаю здесь ниже.
Speaker A
Выбираю custom endpoint URL, у нас вот этот API у нас никакой не задаётся по умолчанию, поэтому просто Enter. Здесь без разницы, можно добавлять, можно не добавлять.
Speaker A
Здесь autetect, то есть единичка, и у нас всё available models. Выбираем, какую модель мы хотим использовать. Мы будем использовать по умолчанию Qu, то есть двойка.
Topics:Qwen 3.7 MaxHermes Agentлокальный APIQuenchatгенерация изображенийгенерация видеофорк репозиторияподключение моделейLight LLMCodex
