Дмитрий Березинский рассказывает о важности роутинга и управления контекстом для оптимизации работы агентов на базе языковых моделей.

Ask about this video. Answers come from its transcript only — with the timestamp, so you can check them.

Generated from the transcript and can be wrong — check the timestamp.

Key Takeaways

Роутинг моделей позволяет существенно снизить стоимость запросов без значительной потери качества.
Управление контекстом и правильный выбор модели важнее, чем использование только самой дорогой фронтир модели.
Кэширование и наблюдаемость критичны для эффективной работы агентов и контроля затрат.
Для актуализации знаний модели необходимы внешние источники данных, такие как RAG или большие контекстные окна.
Инженерный подход к выбору между RAG и длинным контекстом зависит от конкретных требований и ресурсов.

What the video covers

Стоимость запросов к фронтир модели может быть очень высокой, что требует оптимизации.
Интеллект агента заключается не только в модели, но и в инфраструктуре вокруг неё: роутинг, ретривол и управление контекстом.
Роутинг позволяет выбирать между дорогими и дешевыми моделями, снижая затраты при сохранении качества.
Классификатор запросов решает, какую модель вызвать, что помогает экономить и улучшать качество.
Важно учитывать особенности кэша при переключении моделей, чтобы не потерять эффективность.
Наблюдаемость и метрики необходимы для контроля качества роутинга и затрат.
Модель без актуальных знаний ограничена датой обучения, поэтому нужны внешние источники данных.
Retrieval-Augmented Generation (RAG) — подход с использованием векторных баз для подстановки релевантных фрагментов в контекст.
Альтернативный подход — использование очень больших контекстных окон для загрузки всей информации напрямую.
Выбор между RAG и длинным контекстом зависит от сложности задачи и технических возможностей.

Почему важно использовать роутинг моделей в агенте?

Роутинг позволяет выбирать между дорогими и дешевыми моделями в зависимости от запроса, что значительно снижает затраты и сохраняет качество ответов.

Что такое Retrieval-Augmented Generation (RAG) и зачем он нужен?

RAG — это метод, при котором документы разбиваются на фрагменты, преобразуются в векторы и хранятся в базе для поиска релевантных частей, которые подставляются в контекст модели для улучшения качества ответов.

Какие проблемы возникают при переключении моделей в диалоге?

При переключении моделей может потеряться кэш предыдущих запросов, что снижает эффективность и может увеличить стоимость, поэтому важно учитывать работу кэша и время его жизни.