Пятое занятие курса по разработке с AI: дообучение decision-модели под свои задачи, разбор домашних работ студентов и обсуждение локальных генеративных моделей, автоматизации и продуктивности.
Key Takeaways
- Дообучение модели оправдано только после исчерпания более простых способов: промптов и RAG
- Локальные модели дают приватность и отсутствие оплаты за запрос, но имеют ограничения по лицензиям и качеству
- AI плохо улавливает динамические дефекты видео и требует явного указания на проблему
- Ценность отдельного цифрового изображения, вероятно, снизится из-за массовой генерации
What the video covers
- Открытие занятия: приветствие и правила для домашних видео (не длиннее 1 минуты)
- Разбор домашних работ: локальная программа восстановления старых фотографий на базе Flux через ComfyUI
- Ограничения локальных генеративных моделей: например, у Qwen Image нет коммерческой лицензии
- Рассуждение о том, как генерация изображений снизит ценность отдельной цифровой картинки, сравнение с эпохой книгопечатания
- Ограничения AI в понимании последовательности действий и динамики видео: модель не замечает дёргания кадров, если на них не указать
- Поиск по большой базе фотографий товаров с локальной моделью и фильтрами дублей без автоматического удаления
- Расширение для почты, автоматизация стоков на Маке, плагин для фильтрации отзывов
- Локальный инструмент подготовки документов поставщикам и перевод с двумя моделями (Gemini и Qwen)
- Сравнение моделей и режимов рассуждения: экономия токенов против качества результата
- Дообучение моделей: сложнее, чем написание промптов; облачные модели передают данные третьей стороне и тарифицируются за запрос
Chapters
- 00:00Вступление и правила домашних заданий
- 00:19Разбор работы с восстановлением фотографий
- 04:19Размышления о ценности генеративных изображений
- 08:08Поиск по базе товаров и ограничения AI в видео
- 20:29Примеры автоматизации и локальных инструментов студентов
- 48:16Выбор моделей и режимов рассуждения
- 53:49Дообучение моделей: когда оно нужно
Full Transcript — Download SRT & Markdown
Speaker A
Так да если если у нас всё всё в порядке, то сейчас будем начинать. Всем добрый вечер и добро пожаловать на пятое занятие нашего курса по, а углублённой углублённой разработки с AI. И сегодня у нас будет очень интересное занятие.
Speaker A
Сегодня мы будем дообучать lm под ваши задачи. Ну, точнее, конкретно мы дообучать будем не совсем LLM, а как раз decision модель, да, модель принятия решения. Но точно также вы можете LLM обучать, как вы сегодня знаете, это никакой принципиальной
Speaker A
разницы не составляет. Значит, а перед тем, как мы перейдём к нашей сегодняшней теме, давайте, конечно, посмотрим ваши домашние работы.
Speaker A
И когда я их, когда я их проверял, мне прямо было очень радостно, потому что я просто прямо вижу, как с каждым занятием, презентации становится всё лучше, лучше и лучше. И вообще прям класс. Вы большие молодцы. А единственное только по всем видео
Speaker A
попрошу, что давайте в целом так договоримся, что видео лучше не делать длиннее, чем 1 минуту. Просто я потом ещё запишу тоже это как бы там в текст за задание. Ну просто раньше видео столько не делались, и поэтому мы как бы
Speaker A
раньше такого не записывали. Но сейчас, когда реально много интересных и классных видео делается, лучше всё-таки, чтобы они были где-то примерно минуту длиной. Так, тактак так.
Speaker A
Да, сейчас откроем. Угу. Давайте начнём с такого видео. Ретростудия. Программа для восстановления старых фотографий.
Speaker A
Открываем исходную фотографию. Выбираем выразительное восстановление. Локальная модель Flag S3 работает на видеокарте RTX 5000 через ComFI UI.
Speaker A
Фотография не отправляется в облако. Обработка занимает 34 секунды. Интерфейс остаётся отзывчивым. Здесь показан настоящий процесс без ускорения.
Speaker A
Детали стали заметно выразительнее. Сохраняем новую копию на локальный диск. Исходная фотография остаётся без изменений. Рядом с изображением создаётся файл Jason с моделью, параметрами и временем обработки. Важно, генеративная модель может изменять черты лица и придумывать детали, поэтому выразительность не означает историческую
Speaker A
точность. Готово. Результат сохранён. Программа и локальная модель решают реальную задачу. Класс. Здорово. Отличное использование.
Speaker A
Хотя вообще вот касательно именно конкретно моделей для генерации картинок вообще в целом всё довольно грустно в этом смысле в локальном смысле, потому что, например, одна из лучших моделей, которая есть для а генерации, ну, как бы локальных картинок, это, например, Quen
Speaker A
Image 2.1. И она, к сожалению, у неё нет коммерческой лицензии, да, то есть её нельзя использовать для коммерческих целей. То есть, понятное дело, да, там можно, понятное дело, что, а, ну, как бы можно спросить, да, как они узнают, но если, например, они зашивают
Speaker A
туда какой-нибудь, э, такой watermark, да скрытый соответственно ну они они, я думаю, узнают. Н пишет Александр: "Всё, не нужен нам больше Capture One." На самом деле я реально считаю, что, ну, как бы не то, что как бы Capture One не будет нужен,
Speaker A
но вообще вот вот одна из причин, да, почему я перестал вообще заниматься, а, скажем так, лю, ну, вообще, в принципе, там фотографии, да, вот с этими всеми вещами, потому что просто, возможно, я немножко как-то так это, скажем так, слишком наперёд сразу
Speaker A
посмотрел, но как только я увидел первые там вот реально интересная генерация изображений. Я просто понял, что к чему это приведёт на самом деле. То есть это, конечно, не уничтожит там никакой там генерация картинок не уничтожит фотографию, да, это очень важно
Speaker A
понимать, но при этом а ценность картинки кардинально изменится. То есть вот что на самом деле произойдёт. То есть на самом деле вот а как вообще генерация картинок и видео на самом деле изменит мир и ну мир, я имею в виду там
Speaker A
фотографов, видеографов. Оно изменит в том смысле, не в том смысле, что она у них заберёт инструменты или что-нибудь там э как бы, ну, как бы вот это вот вот, ну, вот вот вот такие, да, какие-то проблемные вещи будут делать. А проблема
Speaker A
в том, что просто а действительно будет мм действительно ценность любой картинки, сгенерённой, не сгенериённой, станет совсем другой. Это, знаете, как вот представьте, как вот была раньше печать, да? То есть вот когда-то давно печать - это было что-то невероятно ценное, да? То есть там
Speaker A
сначала там люди сначала печати вообще не было, да? Там люди переписывали книги, потом появилась печать и, ну, как бы как бы ценность напечатанного материала была огромно. Помните, вот это там, когда там вот это там когда там всякие там нехорошие люди, да, там жгут книги,
Speaker A
да, там о жгут книги, о, да, то есть это как бы это было что-то прям такое прям ужасное, да, как бы. А если так задуматься, ну вот сейчас, а, ну вот вы взаимодействуете с бумагами, какими-то печатными материалами просто
Speaker A
каждый день, да? То есть вам какой-то флайеры дают, вы их там выкидываете, просто открываете почтовый ящик, у вас там куча реклам, вы их просто выкидываете. Всё. То есть вот если бы, если бы это увидел там человек, не знаю,
Speaker A
там XIX века, он бы просто в шоке был, да, он сказал, что что вы делаете? Это это напечатанные вещи, да, как бы как вы можете их так выкидывать, да, как бы. А нет, а вам как бы всё равно или мне
Speaker A
тоже? И поэтому примерно то же самое случится с картинками. То есть не произойдёт такого, что типа там всё, фотографы больше не нужны, потому что теперь вообще всё генерится. Нет, из-за того, что просто многое будет генериться, то ценность любой картинки, ну, по крайней
Speaker A
мере, цифровой картинки, оно оно сильно изменится. Вот так. Теперь вот такое. Я работаю с большой автобазой товаров.
Speaker A
Перебирать папки долго, поэтому мы сделали поиск с локальной моделью. Пишу поилкинг. М. А, смотрите, по вот этой работе сразу скажу, что я однажды, когда тоже просил кодекса или Клода сделать как бы видео того как видео видео того, как,
Speaker A
скажем, работает какой-то интерфейс, то вот, обратите внимание, здесь есть такое небольшое дёргание картинки, даже с опечаткой.
Speaker A
Получаю нужные фотографии. И вот это как раз тот момент, когда вы вам нужно это посмотреть вживую и обязательно об этом сказать. Он это очень легко на самом деле исправил. Там у него просто немножко а-а немного там как бы в чём-то
Speaker A
в чём-то, короче, какая-то ошибка была генерации вот такого такого видео, и он это потом очень легко поправил. Но в чём проблема? Сам AI. Вот одна из самых проблемных вещей сейчас для AI - это определить последовательность действий. То есть как бы то есть
Speaker A
почему он вот эту проблему сам не исправил, да? То есть почему вам нужно об этом говорить? Потому что как он это посмотрел? Он посмотрел вот этот кадр, всё прекрасно. Вот с этим кадром всё прекрасно. И несколько кадров до этого
Speaker A
тоже всё прекрасно было. А вот это дёргание вот такое, оно видно только в движении. А AI на самом деле, ну, как бы настоящее движение увидеть не может. Он может, конечно, проанализировать очень сложно аа там как меняются кадры, но ему
Speaker A
такое реально сложно прямо поймать. Поэтому, если вы ему скажете об этом, он это обязательно изменит. Но сам он такого действительно может вот не поймать. Просто имейте в виду, что у меня тоже такое было. И просто достаточно сказать, он это поправит. Он
Speaker A
просто не видит, что этого происходит. Он не понимает, что есть такая проблема. Меняю запрос на миски и вижу другую категорию.
Speaker A
нужен конкретный товар. Ищу по артикулу. Вы выдаче остаются разные ракурсы и крупные детали. Объединённые копии тоже можно раскрыть.
Speaker A
Фильтры отделяют готовые фото от исходников. Если снимки скрыты, видно, почему. Сбрасывая фильтры, фотографии возвращаются.
Speaker A
Точные дубли, версии снимка и просто похожие картинки отдельно. Можно сравнить файлы и папки. автоматически ничего не удаляется.
Speaker A
Для офиса схема такая: база фотографий, модель и поисковый индекс находится на сервере. На компьютере сотрудника лёгкая программа. Она отправляет запрос и показывает найденные снимки.
Speaker A
Локальных моделей у меня много, каждая под свою задачу. В Комфе активно использую Флакс и Квен. По моей практике они чаще делают фэнтези и сложные сюжетные плакаты. CV R2 увеличивает разрешение.
Speaker A
Модели для текста и понимания изображений участвуют в логике моих схем. В компании я 4 года. Фотобанку 10 лет.
Speaker A
Отдельно подключён архив. Иногда нужны совсем древние снимки и найти их настоящий квест. Вот в этот архив без поиска я теперь точно не полезу.
Speaker A
Класс. Здорово. А в целом всё очень классно и очень здоровское применение. А вот тут ещё Никита спрашивает: "А что идёт перед Квен?" Ну вот Флакс, да? Ну, там тоже надо лицензию смотреть. Я вот не помню, какая сейчас точно у него
Speaker A
лицензия. А, ну, а в целом я просто недавно для клиента как раз искал, а, какие можно локальные модели использовать. И, честно говоря, реально всё грустновато в этом смысле. То есть именно вот локальные модели, чтобы они именно для генерации
Speaker A
картинок, чтобы они были крутые и при этом, чтобы они, а, чтобы они, например, там фотореалистичную картинку делали, это прямо сложно. То есть там, а, именно всякую там нарисованные такие как бы иллюстрации- это без проблем. А вот, например, ну, вот если вам нужно вот
Speaker A
условно, если вы хотите иметь свой аа локальный нанобана, да, то есть вот чтобы вы прямо загрузили картинку и могли её отредактировать именно локально и чтобы это можно было использовать коммерчески, вот такого вот такого просто нет. То есть это, к сожалению,
Speaker A
такая грустная история. Никита пишет: "Если я не ошибаюсь, он смотрит по кадрам, а не по видео".
Speaker A
Да-да. Да, он он не может как бы видео посмотреть. Он он у него нет такой фишки пос вообще вот такой инструмента посмотреть видео. Он может кадры посмотреть, это он может, а видео нет.
Speaker A
Так, сейчас давайте пока сейчас мы до этого всего дойдём. По порядку просто пойдём. Так, вот такая работа.
Speaker A
Это найдите нужную страницу среди открытых вкладок. Задайте вопрос голосом. Немножко промущё, да? Соответственно, а проверьте текст.
Speaker A
Найти и можно выбрать вкладки. Очень классная классная идея. Если действительно у вас много вкладок, поиск вкладок - это очень хороший тоже такой кейс.
Speaker A
И можно сразу источники открывать, да. Так что здоровская идея, классно сделана. Презентация очень приятная такая, очень наглядная. Супер.
Speaker A
Так, пойдёмте дальше. Я Никита делаю. Сейчас я чуть поменьше сделаю, чтобы не закрывалось сильно.
Speaker A
Дизайн для селлеров. В каналах продавцов есть вопросы, где пригодится мой опыт. Но каналов 4 постов 61. тарифы, логистика, реклама. Листать всё вручную долго и полезное тонет. Задача: собрать посты в одном месте, отобрать на Маке полезные и проверять без внешней сети. Я
Speaker A
собрал локальную ленту. Посты оценивает модель Liquid AI прямо на Маке. Сначала она везде видела тему фото, поэтому я отделил текст постафи подобрал пороги.
Speaker A
Модель раскладывает посты по решениям. Тарифы, логистика и реклама уходят в пропустить, а пост Озона о генерации фона остаётся.
Speaker A
Сохранённые посты можно прогнать заново без внешней сети, около 3 секунд на пост. Издесятиго поста открыть стоит два. Один из них озон о генерации фона для товара.
Speaker A
Из находки сразу делаю идею для своего поста. Черновик по отдельной кнопке готовит кодекс, а дальше я правлю сам.
Speaker A
Совет из находки. Товар с этикеткой оставляю реальным. Окружение генерирую отдельно. Начинаю с пары нужных постов, а не сде.
Speaker A
Супер. Очень классно. Ну и сама как бы идея использования и презентация прямо вообще очень хорошая. Суперская озвучка, прекрасные интонации, очень чётко, понятно расписано, что мы делаем, зачем мы это делаем, как мы это делаем. Очень классный смесь, а именно какой-то
Speaker A
графики, да, и реальных там скриншотов. В общем, потрясающая, вот прямо реально потрясающая презентация. И, ну, как бы и сама как бы тоже, как вы используете именно вот эту, а, модель для принятия решений, да, тоже очень-очень хороший кейс. Супер.
Speaker A
Да, вот Богдан тоже пишет, что хорошо передаёт естественную интонацию. Я я Мне тоже интересно, реально очень такая очень прямо приятная интонация, очень естественная, я бы сказал.
Speaker A
А так пойдёмте дальше. А здесь, соответственно, выбирается это приложение для Ютуба, которое просто даются темы, да, то есть, например, там уроки по фотографии и прочее прочее.
Speaker A
И оно прямо вот так выбирает из из того, что YouTube показывает, соответственно, выбирает м то, что под это подходит. В этом плане это очень классно. И на самом деле вот тоже задумайтесь, что в какой-то момент мы можем мы сможем сделать, чтобы у нас там
Speaker A
практически во всех там браузерах а были лично наши ленты, да, лично под ваши интересные, которые вы лично выставили, да, и оно будет прямо вот так показываться. Так что тоже оченьочень практично, очень классная идея. И вообще вот в этом плане расширения для
Speaker A
браузера, они огромный простор открывают, потому что это это же не только про вот это не только там там про какую-нибуд там боковую панель там с чатом или что-нибудь такое, да, расширение для браузера. Расширение для браузера - это, в том числе возможность
Speaker A
менять содержимое страницы. И вот это самое интересное и самое такое прямо впечатляющее. И у вас прямо это очень хорошее применение.
Speaker A
Так, пойдёмте дальше. тоже здесь про YouTube. Давайте посмотрим. Я буду, ну, немножко проматывать, потому что 3 с5 минуты. А сейчас тут тут без у нас без звука. А, соответственно, я так понимаю, что можно как бы выбирать темы, какие скрывать. То
Speaker A
есть, кстати, это тоже интересный подход, что вы можете не только, да, там подсвечивать, но и скрывать прямо. То есть это тоже очень классно. То есть вы можете вообще в принципе не видеть, чтобы вам не показывались какие-нибудь определённые темы, да, и а
Speaker A
соответственно темы, которые наоборот ваши, они будут вот так подсвечиваться и пока показываться, э, насколько они совпадают с вашей историей. И вообще, если тоже вот так задуматься, то есть вот представьте, вот там через несколько лет у каждого из нас
Speaker A
может просто вот такой быть встроенный м встроенная модель в браузере. Она будет работать постоянно, и она будет всё время правильно нам показывать то, что там, то, что нам нужно показывать, то, что не нужно, вообще не показывает.
Speaker A
Очень здорово, да? Так что классный проект, классно работает. Так, пойдёмте дальше. Так, сейчас тоже чуть поменьше сделаю.
Speaker A
Мы создали расширение для почты, чтобы не забывать о письмах, на которые нужно ответить или как-то отреагировать.
Speaker A
Когда пользователь открывает письмо, локальная модель анализирует его содержание. Модель можно выбрать в настройках. По результатам создаётся карточка, а часть обработанных писем сохраняется в истории.
Speaker A
Если письмо требует действия, его карточка появляется во вкладке действия. Счета собираются отдельно. При этом счёт, который нужно оплатить, можно увидеть сразу в обеих вкладках.
Speaker A
Если модель не уверена в результате, письмо попадает на проверку. Даже когда письмо уже прочитано, нужное действие остаётся на виду, а чтобы вернуться к нему вовремя, можно установить напоминание.
Speaker A
Здорово. Тоже очень классная презентация. И прямо в этой презентации аа а я прям я прямо чувствую, как вот это, знаете, боль, а боль показа любой любого личного инструмента, особенно связанного с почтой, потому что буквально приходится, ну, практически всё блюрить, то есть то есть вот вот это
Speaker A
ужасно, что как бы а там я и другие как бы люди, кто вот, например, рассказывают про AI, на самом деле очень тяжело рассказывать, когда речь касается наших личных там инструментов, личной почты, которые мы там используем и просто невозможно это показать. Вот это реально
Speaker A
приходится просто очень много блюдрить, но в целом очень классно и идеи использования, реализации, всё и презентация очень классная.
Speaker A
Так, пойдёмте дальше. Вот одна папка на моём диске. 2739 файлов, 37 ГБ. Как это разобрать?
Speaker A
Вручную день-два. Облачная модель до 71 доллара, и мои фото уйдут из дома. Я выбрала маленькую модель прямо у себя в компьютере. Про каждый кадр она отвечает на пять вопросов. Я легла спать, а она смотрела. Утром всё было готово. 5:45
Speaker A
е. Да, да, кстати, просто вот тоже это вот мы мало проговаривали на занятии, но вообще-то эта маленькая вот как раз D1 моделька, она может с картинками работать. Это очень впечатляет. Дальше работает Клод. Он получает короткую сводку, в тысячу раз меньше токенов, но
Speaker A
модель видит кадр, а я помню события. Тогда Клод поменял условия: раскладывать по дате и GPS. За минуту 183 события.
Speaker A
Клод скопировал в архив 1749 файлов. Ошибок ноль. Маленькая модель смотрит, большая наводит порядок, а решаю я.
Speaker A
Очень классно презентация супер прямо вообще отлично. А, и реально прямо очень хорошее использование именно вот для картинок такую локальную модельку. Прямо класс.
Speaker A
Так, тоже сейчас чуть поменьше сделаю. Ф для фотостока готова. Но чтобы её нашли покупатели, нужны описания на английском и десятки ключевых слов.
Speaker A
Вручную это долго, а готовые сервисы требуют оплаты. Я решил автоматизировать эту работу с локальными нейросетями на своём Маке. Так появился stock local.
Speaker A
Внутри две модели. Quen создаёт текст, а Liquid, компактная Decision Model, сверяет его с изображением. Выбираю фотографию и запускаю обработку. Квен предлагает четыре варианта описания и выделяет в каждом проверяемые факты.
Speaker A
Liquid оценивает, подтверждаются ли эти факты изображением. Приложение выбирает подходящее описание, а замечание возвращает КН на доработку. Затем КН подбирает ключевые слова. Liquid проверяет их релевантность. Повторы, длину и формат контролирует код.
Speaker A
Принятое описание при исправлении ключей сохраняется. Прогон занимает несколько минут. Здесь ожидание сокращено. В финале можно посмотреть замечание, поправить текст, сохранить CSV или записать метаданные в файл. Само изображение обрабатывается локально, без отправки в облако. Stock Local показал, что эту рутину можно перенести на свой
Speaker A
компьютер. Локальная LLM создаёт описание и ключевые слова, а Decision Model проверяет их по изображению и помогает сделать результат качественнее и предсказуемее.
Speaker A
Да, отлично. Тоже и презентация класс. Очень здоровское использование и классная получается вот смесь, что вы с одной стороны как бы быстрый отбор делаете, да, такие, да, а вот это D1, а потом уже, когда нужно чуть побольше что-то написать, то вот эта
Speaker A
Quen 359B, да, она хорошая для такого. Так, пойдёмте дальше. Знакомыете тоже сейчас чуть поменьше сделаю. Так.
Speaker A
Знакомые заголовки - это кликбейт. А что там на самом деле? Антикликбейт - расширение для браузера. Каждый заголовок в ленте оценивает локальная модель D1 через оламу прямо на компьютере за доли секунды без отправки в сеть. Кликбейт получает красную метку
Speaker A
и приглушается. Обычные новости остаются как есть. Чтобы узнать, что там на самом деле, достаточно кликнуть по метке. Клод по подписке прочитает статью и напишет честный заголовок за пару секунд.
Speaker A
Ещё пара кликов, и лента говорит прямо. Главным оказался не порог, а вопрос к модели. Из семи формулировок победила одна, и на известиях она не дала ни одного ложного срабатывания. Маленькая локальная модель размечает всю ленту.
Speaker A
Большая облачная подключается только по клику. В настройках режим, порог и статистика по странице. Маленькая модель отсеивает, большая объясняет.
Speaker A
Да, ну очень классно, во-первых, сделано тоже, во-первых, очень полезная, да, штука с антикликбейт. И плюс, ну, это такая отличный пример использования локальной модели. Меня только впечатлило, что вы с Fable 52 встроили туда Fable 5. Это, конечно, прямо мощно,
Speaker A
знаете, когда это там я вижу там в твиттере на такие картинки, да, там такой человек такой закуривает э сигарету от реактивного двигателя э истребителя. И там тоже вот такие типа подписи. Это я там типа с Fable 52 двигаю тамк.
Speaker A
А, да. Так что, но но в целом, как бы, очень классно и реально очень полезно и здорово. И тоже вот это такой пример опять-таки нашего будущего, где представьте, вы заходите в интернет и он весь вот он отранжирован так, как он вам
Speaker A
нужен, да? То есть именно сразу понимать, что вот тут кликбейт, вот тут то, вот тут это. То есть это то, что раньше невозможно было сделать, потому что не было такого, во-первых, искусственного интеллекта, в принципе. И до недавнего времени его не было, чтобы
Speaker A
это было вот так локально, легко и просто работало. Потому что на самом деле до вот этих до моделей принятия решений, ну такой вот вот то, что сейчас вот, например, в этом видео показано, такое можно было делать локальными LLM,
Speaker A
но довольно уже большего размера. То есть там уже хотя бы там 4Б, 9Б, да? То есть а это уже как бы другая нагрузка совершенно на компьютер. Это в два, а то и в четыре раза больше нагрузка. А, поэтому раньше такое технически было
Speaker A
намного сложнее сделать, а сейчас вот вообще без проблем. Так, Богдан спрашивает про Fable 5.2. Да, да, сейчас я про неё расскажу. Очень, очень классная модель.
Speaker A
Так, всем привет. Это браузное расширение для адаптации рецептов, основываясь на нежелательных ингредиентах, аллергенах. А каждый рецепт проверяется, и если аллергенов слишком много и они составляют главную часть рецепта, то рецепт будет помечен красным. Как избегать? В данном случае жёлтый флаг.
Speaker A
Нужна проверка. Какие-то ингредиенты, как орехи и молоко, могут быть заменены на растительные или а вообще не использоваться. Указывается точность.
Speaker A
шаг рецепте и процесс решения модели. А на примере тушёной капусты, где есть сливочное масло, его можно заменить на оливковое или другое растительное.
Speaker A
Рецепт помечен зелёным с указанием шага, где это конкретно используется, и решение модели. Здорово. очень тоже классное применение.
Speaker A
И опять-таки вот, знаете, я могу себе вообще вот очень легко представить, что что-то такое, например, скоро будет, допустим, прям прямо встроенно уже или в Маке, или там в айфоны.
Speaker A
Допустим, вы прописываете в Apple Health что что вы, например, там, допустим, у вас аллергия, да, на что-то. И представляете, что вы просто вот вы просто вот это прописали в Apple Health и дальше вы просто так браузите по вебу,
Speaker A
находите рецепт, и тут вам сразу просто iPhone такой помечает, а вот тут, кстати, будьте аккуратны, содержится ваш аллерген. Мне кажется, это просто, ну, это это будущее, которое вот для нас, да, вот для вас, для нас всех это будущее уже наступило, да, а просто для
Speaker A
кого-то оно наступит позже, потому что вот мне очень нравится фраза, что будущее уже здесь просто оно неравномерно распределено. Мне кажется, это очень хороший пример такого пойдёмте, пойдёмте дальше.
Speaker A
Так, стоит ли смотреть фильм Расширение для рутора показывает, сколько отзывов за и сколько против. У второго сезона чёрных голубей две раздачи: 2 + 5 семь комментариев в каждой строке. Включаю расширение в дополнениях Яндексбраузера.
Speaker A
Комментарии читает Кleв Flash через LM Studio на моём ноутбуке. У вышки два пять раздач с разным качеством и озвучкой. Всего 19 комментариев. Столько видно даже у версии, где ещё никто не писал. Пока три точки стоят, раздача в очереди. Когда движутся, модель читает
Speaker A
комментарии. Один комментарий пустой. Из остальных три хвалят фильм, 10 критикуют, пять без оценки. Нажимаю нет. У каждого отзыва есть ссылка на исходную раздачу. Спасибо. И личные выпады не дают голоса. Пустые реплики плагин пропускает. Здесь модель приняла пометку о дубляже за критику.
Speaker A
Исправляю. Теперь отрицательных девять. Открываю страницу снова. Оценки уже в кэше. Стрелка пересчитает выбранную раздачу и обновит общий результат.
Speaker A
Класс. тоже совершенно такое неочевидное, я бы сказал, применение. Ну то есть аа ну на самом деле вот оно дадумываешься, вот что теперь можно сделать. Я мне бы даже вот такое прямо реально в голову не пришло, что вот такие штуки можно делать. Но это же
Speaker A
на самом деле можно куче всего, да, адаптировать. Это можно адаптировать там и к форумам любым, и там, не знаю, даже там к разным, например, там рабочим каким-то, да, местам, где у вас идёт рабочее общение. Очень круто. Очень классная идея. И презентация тоже
Speaker A
хорошая. Так, давайте посмотрим. А так это, я так понимаю, ещё в процессе работы, да? То есть здесь вы придумали локального помощника, и вам хочется, чтобы он замерял, замечал повторения и потерянные требования в моей работе. и, соответственно, следить за видимым текстом на
Speaker A
компьютере, анализировать мою деятельность локально. Смотрите, для вот таких сложных задач тут просто нужно, ну, немножко так как бы максимально трезво, да, подойти. То есть нужно понимать, что это абсолютно выполнимая задача, но хватит ли вашего вашего компьютера для этого ресурсов? Потому
Speaker A
что, ну, модели, да, которые маленькие, всё-таки они не спроста такие маленькие, да, как бы, а, например, анализировать вот деятельность вообще всего, что происходит за компьютером, это требуется реально мощная, ну, как если локально вы запускаете, это реально мощная модель
Speaker A
уже требуется. То есть я бы прежде всего тут бы, ну, вот как бы смерил бы вот вот ожидание и реальность, по крайней мере, с кодексом, может быть, я это подробнее обсудил.
Speaker A
Потому что, ну, вот мне видится это как бы как очень такой крутой амбициозный проект. Я просто не уверен, что, ну, у вас должен быть реально мощный компьютер, чтобы это можно было всё всё всё заработало. Вот, например, да, вот
Speaker A
вы пишете на основе готовой локальной модели 3.54B. Ну, к сожалению, нет. К сожалению, а Quen 3.54B - это просто слабенькая для такой задачи модель. То есть нужно понимать, что вот эти модели, да, вот локальные, о которых мы говорим,
Speaker A
они а они ни в коем случае не сравнимые вот там с топовыми там Open AI или clд моделями, да? То есть, там, например, в лучшем случае в лучшем случае вот, например, Quen 27B она может вот Q 3 27B она, в принципе,
Speaker A
сравнима с версией Клода, который был опуса, который был год назад. вот вот годовалой давности опуса, она с ней сравнима. И вот для вашей, например, задачи, вот для вашей задачи, да, то есть вам нужна вот такого уровня модель, то есть она реально умная нужная модель,
Speaker A
но чтобы запустить Квен 27B, это, честно говоря, нужен реально мощный компьютер. Поэтому поэтому просто имейте в виду, что возможно просто вот эта маленькая моделька не справится с тем, что с тем, что вам нужно чтобы происходило.
Speaker A
Вот. А ещё, кстати, тоже обратите внимание, вот любовь этих иаек ставить точки в заголовках. Прямо вот хлебом не кормить, да, и точки поставить.
Speaker A
Так, пойдёмте дальше. Добрый день. Я Елена Головкина. Сегодня вместе с ИI помощником создала локальный инструмент для подготовки документов поставщикам.
Speaker A
Сначала мы установили аламу, загрузили модель и проверили её работу на своём компьютере. Затем создали расширение для хрома, свой круг. Оно находит реквизиты в PDF и помогает скрыть данные других контрагентов.
Speaker A
Вот как это работает. Выбираю получателя и открываю его реквизиты. Остальные остаются скрытыми. Проверяю подготовленную копию и сохраняю PDF.
Speaker A
Документ обрабатывается на моём компьютере без отправки в облако. Исходник сохраняется. Перед отправкой я проверяю результат.
Speaker A
Так локальная модель помогает решать мне мою рабочую задачу. Да, классно, очень здорожеская идея, презентация, всё супер. А могу только из своего опыта такую вещь сказать, что я просто такой инструмент делал для одной компании. И значит, э что очень важно, когда вы делаете вот
Speaker A
такой инструмент анонимизации, там нужно сделать несколько уровней, да, то есть как бы часть вещей можно выцепить просто вот просто кодом, вот кодовыми паттернами, типа вот, например, если вы посмотрите там ООО, ИНН, ИП, там директор, да, то есть вот просто берёте
Speaker A
просто вот фильтры этих слов, да, сначала они как бы пропускаются, потом А другие вещи, которые вы через такое не можете как бы достать, можно достать через а различные нермодели, да? То есть это как бы такие, это тоже AI, но такое
Speaker A
очень-очень такое раленькое раннее AI, то есть которые, а, которые на самом деле не ищут по смыслу, но могут как бы похожие паттерны найти тоже слов там, а, например, скажем, они они могут найти, если, например, там может быть не директор будет написано, а там,
Speaker A
например, ар тире тор, да, там, ну, что-нибудь вот такое, то они это как бы поймут. А, тоже посмотрите, есть разные русскоязычные такие модели. Они просто чем хороши, они прямо очень быстрые, да, то есть они их работа, ну, буквально там
Speaker A
миллисекунды занимает. А, и вот вот то, что они не могут найти, вот то, что вот эти модели не нашли, дальше уже проверяет lм, то есть как бы, то есть вот большинство большинство вещей, например, в таком документе можно сделать вообще, ну или или без LLM, без
Speaker A
Done, без всего, как бы. А, но для реально сложного, скажем так, потом смыслового поиска, то действительно там D может очень пригодиться. Ну, у вас классный проект, классная презентация, супер.
Speaker A
Так, повторялка. Расширение для хрома. Превращайте тексты веб-страниц в короткие упражнения по английскому. Выделите предложение.
Speaker A
Джемини определит уровень и грамматику. Квен через Nano GPT переведёт, упростит и создаст три упражнения.
Speaker A
Слушайте фразы и выбирайте удобную скорость. Сохраняйте фразы и повторяйте. Искусственный интеллект проверит ответ и поможет исправить ошибки.
Speaker A
Можно ввести русский текст и получить английский перевод для тренировки. Две модели, две роли. Джемини анализирует. Квен обучает через Nan GPT.
Speaker A
Аллама позволяет подключить локальную модель. Повторялка. Учим английский на том, что читаем каждый день. Супер. Очень классно. Тоже здоровское применение, здоровская презентация.
Speaker A
Отличный проект теперь. А приложение хранит ко Так, сейчас тут тут правда 2 минуты, поэтому немножко буду проматывать.
Speaker A
Приложение хранит копии пройденных курсов. Записи, занятий и конспекты лежат на сетевом хранилище. Отдельные скилы делают по записям транскрипции и самари. Теперь по всем этим материалам есть поиск.
Speaker A
Семь курсов, 35 занятий, где преподаватель объяснял прифил. Поиск работает на локальных моделях. Он ищет по транскрипциям, конспектам школы и саморе занятий. База ищет по словам, а модель Е5 по смыслу. Остаются 10 фрагментов, и локальная модель Liquid AI оценивает, насколько каждый отвечает на
Speaker A
вопрос. Вопрос задаём по всем курсам. Цитаты появляются сразу. Модель читает каждый фрагмент. Здесь ускорено в 10 раз. На самом деле расчёт занял 5 минут 21 секунду. Всё это считает Mac Mini 2011 года без видеокарты. От 20 до 46 секунд на
Speaker A
фрагмент. Вот это реально очень впечатляюще, потому что я думал, что старые маки вообще в принципе ни на что не способны, но если уж вы смогли такой старый маг под такой запустить, это круто.
Speaker A
то, что отвечает на вопрос, а фрагменты из других курсов уходят вниз. 7% это соответствие вопросу, а не гарантия ответа.
Speaker A
Контекст показывает соседние реплики. Открываем запись с этого места. Что вот момент, который мы практически не замечаем, когда мы работаем вот с этими гигантскими кластерами видеокарт, а это момент, который называется Класс. Очень классно, здорово сделано.
Speaker A
Про, наверное, такой не одобряет, я имею в виду скачивание. А, но тем не менее сделано очень круто.
Speaker A
А больше всего меня поразило, что вы ещё и на Мак 2011 года это смогли запустить.
Speaker A
Я я даже теперь на самом деле, знаете, подумал, у меня просто стоит а Mac Pro, вот именно Mac Pro, такое ведёрка из 2013 года. И вот я теперь смотрю на ваш Macman 2011, думаю: "Хм, ну, как бы если
Speaker A
уж вы смогли Макми для этого использовать, то, я думаю, есть шанс". Так, а пойдёмте дальше.
Speaker A
А так это это у нас не то. Так, а вы используете технологию WK. Так, decision P.
Speaker A
Да. И соответственно, да, выбирает какое. Классно. Тоже здорово продумано. Вот ещё хотелось бы то прямо такой прямо какой-то демонстрации, может с голосом, как это работает.
Speaker A
Да. Но в целом, в целом классно. Интересно очень применение этого всего. Да, здорово. Так, у нас осталась, по-моему, ещё одна или две работы каж Вот сейчас тут я буду немножко проматывать, потому что просто долго неделю журнал Nature Neuroscience
Speaker A
публикует новые исследования мозга. Работа памяти среди них немного, и найти их не памяти. Memory lens расширение для Chrome, которое находит их автоматически.
Speaker A
Решение принимает модель, которая работает локально на том же компьютере, что и браузер. Инсульт, психоделики, микроглия.
Speaker A
А памяти из них единицы. Чтобы найти их вручную, нужно прочитать все аннотации подряд. Да вы извините, я буду просто проматывать. Просто мы просто не можем тонов, значит, ей просто нечего выдумывать.
Speaker A
Значит, у вас делает один вопрос. Насколько статья о памяти, о том, как воспоминания формируются, хранятся, извлекаются и забываются.
Speaker A
Схема простая. Расширение собирае потом, соответственно, после отбора, да, оно передаёт GP61ма. Класс. Теперь вживую. Профиль браузера чистый, кэша нет. Запись ускорена в три раза.
Speaker A
Пунктирная рамка. Статью сейчас проверяет D1. Золотая рамка. Отличный пример. Светлая вот для такого использования локального прямо клас оченьочень хороший пример. В правом нижнем углу показывает прогресс.
Speaker A
Процесс карты. Да, пункт. Оченьочень классно. А прямо, ну, вот идея применения очень хорошая. Так, да. Ади может смейли. А ещё, слушайте, там, по-моему, ещё несколько.
Speaker A
А, нет, всё, я вроде всё скачал. Если вдруг что-то работу не показал, напишите, пожалуйста, потом обязательно после перерыва ещё посмотрим, да? Значит, а вы большие молодцы. Теперь давайте, а, про пару вещей расскажу. А, во-первых, во-первых, конечно, вышел Fable 5. И
Speaker A
Fable 5 - это, ну, на мой взгляд, абсолютно потрясающая модель. То есть я вот, ну, чтобы вы просто понимали, сколько я с ней работал. Сейчас, секунду момент сейчас.
Speaker A
Да, чтобы вы просто представляли, сколько я с ней работал, я буквально я я буквально за один мм за один рабочий день высадил весь недельный лимит 200 долларового плана. И и я работал там сразу с кучей проектов, с Фйблом. Что такое? Точнее, не пять,
Speaker A
правильно, 5:2, конечно. А чем она так крута? Значит, эта прямо модель, она ощущается по-другому.
Speaker A
Она ощущается не похожа на Опусus, она ощущается не похожа на Ару, ни на какие эти модели. Она очень по делу, как бы долго думает, медленная, очень по делу, очень классно всё делает. То есть, например, я её там запустил проверять
Speaker A
некоторые мои недавние проекты, и она просто потрясающий анализ делала. То есть, если честно, вот это первая та модель, когда, ну, вот если какой-то там, допустим, профессиональный там разработчик скажет, что, э, там AI программируют хуже, чем люди, ну вот вот
Speaker A
с Fable 5.2, мне кажется, это просто уже полностью несостоятельное заявление, потому что когда вы видите тот уровень глубины, с которым она смотрит на проекты, это, конечно, нереально впечатляет. То есть, мне кажется, настолько глубоко невозможно ни одному человеку, в принципе, посмотреть.
Speaker A
То есть вот просто я делаю как бы сейчас там один очень такой большой комплексный проект, и я просто ей сказал, что как бы вот сделай анализ вот его, что у меня тут как там, что хорошо работает, что не
Speaker A
очень, что не оптимизировано. И она настолько со всех сторон, всех ракурсов, настолько вот прямо впечатляюще и главное очень просто это объяснила. То есть она очень понятно, очень доходчиво объяснила в таких артефактах, что да, слушай, вот тут у тебя хорошо, но вот
Speaker A
тут надо двигаться вот так, а вот тут ещё есть такой момент, а ещё вот такой аспект, а ещё вот это и вот то, и вот то, вот то, вот то, вот то, во то. И ну меня прямо очень эта модель впечатлила.
Speaker A
Она практически с первого раза делает просто всё, как надо. То есть, например, я её попросил сделать, а доработку одного из моих сервисов. И такая, ну, как бы доработка не самая простая, не самая очевидная. То есть доработка, знаете, а представьте, что можно
Speaker A
загрузить например любую HTML-страничку и сделать так, чтобы над этой HTML-страничкой и или просто ссылка сайта, да, например, люди коллаборативно работали и оставляли комментарии. Ну, то есть вообще не такая не очевидная какая-то задача, да? То есть такой для коллаборативной онлайн
Speaker A
работы над одним над одним сайтом, который может по ссылке просто показываться. И она это сделала просто с первого раза. Просто сразу вот всё хорошо, всё работает хорошо, дизайн весь хороший, всё хорошо, просто вот вот вообще ноль вопросов. Так что а Fable 52
Speaker A
действительно очень-очень впечатляющая модель. Единственное, что меня реально пугает- это, конечно, что с каждым днём у клода всё ухудшаются и ухудшаются требования.
Speaker A
И вот если вы видели там сегодня, они объявили, что они ещё ужесточают как бы, скажем так, они это называют использование моделей в неразрешённых странах. И теперь уже там очень много ещё оговорок добавляется.
Speaker A
Короче, похоже, теперь они просто будут читать трафик и понимать, как бы как бы кто откуда как работает. В общем, это очень грустно. А, ну что есть, то есть. То есть как бы при этом Fable Pay 2 - это реально классная
Speaker A
модель. Очень-очень классная модель. А, рекомендую. И рекомендую её просто вот. А, единственное, у неё, знаете, у неё у неё не совсем очевидно использование этих эфортов, да? То есть как бы уровня рассуждений, потому что я бы там так сказал, что значит, во-первых, а EFT
Speaker A
Max, но это такая же история, как и с опусом, Ford Max там скорее вредный. То есть я, например, Макс использую в очень редких случаях и только когда мне нужно прям очень какой-то вот такой прямо глубокий комплексный проект проанализировать. Для
Speaker A
абсолютного большинства других случаев Макс не нужен. Ну, то есть, мм, если у вас просто какая-то просто сложная задача, не чрезвычайно сложная, невероятно сложная, а просто сложная задача, то, скорее всего, Макс вам режим даже хуже сделает, потому что она
Speaker A
слишком много начнёт думать, очень много потратит токенов и не факт, что додумается до лучшего варианта. А оптима как бы принтер extra - это тоже такой режим, который очень много тратит токенов и тоже нужен, ну, скорее редко, когда у вас реально какая-то сложная
Speaker A
проблема. Оптимальный рабочий режим для сложных проблем - это хай. Для прямо вот реально сложных проблем - это хай. А для обычных задач - это medium и даже low. То есть потому что, например, были тесты, которые показывают, что Fable 5,2 на low
Speaker A
делает код лучше, чем OPUS 5,5 на extra high. Вот. Ну, то есть классная модель, супер рекомендую попробовать. А она медленная, она очень ест лимиты, но вы прямо почувствуете это другой уровень. То есть она она реально по-другому, она сильно отличается от
Speaker A
аа сильно отличается, скажем так. Аа дальше вышел также ещё Gemini 4 Carbon. И вот вообще, конечно, какая-то интересная история с Gemini последними моделями. Ну вот аргон вышел, я его потестировал. Аргон мне понравился только для написания текстов. Карbн я
Speaker A
ещё особо не тестировал. И как бы для меня единственный плюс мм присутствие такой модели, а GMI 4 Carbon - это как бы фронтирная, а реально модель. То есть она такая практически типа альтернатива Опусу, но, во-первых, я не верю, что она реальная альтернатива
Speaker A
опуса. Просто не верю. Ну вот не верю. Извините, извините Google, но я просто не верю, потому что ни одна модель по-настоящему к копусу не приблизилась пока. Аа, но интересно такую модель иметь, потому что всё-таки каждая модель, она имеет свою как бы такой свой
Speaker A
характер, свои особенности, свои подходы. И теперь у нас есть ещё одна такая большая модель нового, ну, то есть такого фронтирного уровня. Так что попробуйте, в принципе, поэкспериментировать с ней точно интересно. Возможно, тоже вы найдёте для неё какое-то альтернативное применение,
Speaker A
которое, например, там Opus Fable вам дать не может. Так, сейчас я, кстати, гляну. Не было случайно у нас там ещё вопросов?
Speaker A
Нет, вопросов вроде у нас больше не было. Значит, да. Так что вот эти две модели у нас вышли. И теперь давайте перейдём к нашей сегодняшней теме. Сначала такую теорию поговорим, а потом после этого будем практиковаться.
Speaker A
А сегодня мы будем говорить про дообучение моделей. И вообще вот главная моя цель как преподавателя на этом занятии, это чтобы вы поняли, насколько простая и не страшная вещь до обучения моделей. То есть вот раньше, например, года два назад
Speaker A
до обучения моделей это была прямо большая история. То есть я я примерно в это время проходил как раз курсы, ну вот где-то два 2-3 года назад я проходил курсы, например, того же Huging Face по дообучению моделей. И тогда, знаете, это было прямо, ну, такое
Speaker A
большое дело. То есть там, например, там в начале курса вам прямо говорили, что так, слушайте, на этот курс нужно идти только, если вы уверенно пишете на Питоне, да, как бы, то есть это это вот 2-3 года назад уже так было, ну, ещё так
Speaker A
было. Аа и я тогда такой думал, что так, а если я смогу, если я буду с Клодом или там сейчас GPT это проходить? Ну, в итоге я смог, но а в целом 2-3 года назад до обучения моделей это прямо была
Speaker A
прямо большая тема, да, там как бы и люди, кто умели это делать, могли много зарабатывать, да, и у многих людей, кто работает с AI, а, ну вот, особенно там кто начал как раз там лет пять назад, например, вот может сохраниться вот то
Speaker A
впечатление с того времени, да, что ой, ну вот, да, обучить модель - это вот это-то дело как бы, да, там ваши промтики писать, это как бы там одно, а вот вот дообучить модель - это прямо сложная история.
Speaker A
Мне хочется вот на сегодняшнем занятии это просто развеять, чтобы вы просто увидели, насколько на самом деле просто в современном мире дообучать модели.
Speaker A
А, во-первых, давайте начнём с того, зачем вообще это делать, да? То есть вот в принципе зачем нам нужен до обучения модели. А дело в том, что вот особенно касательно маленьких моделек до обучения - это очень простой процесс. Ну давайте
Speaker A
скажем так, только касательно маленьких моделек до обучения - это простой процесс. То есть, когда я когда я вам говорю, как легко дообучать модели, я имею в виду маленькие модели, потому что, конечно, вы не нули вы хотите взять какую-нибуд там GLM 5,3 и её дообучить,
Speaker A
это немножечко другая история, как бы тоже, кстати, абсолютно реалистичная, но всё-таки немножко другая история. Я говорю именно о дообуучении маленьких моделей. И в чём здесь как бы фишка? А за очень короткое время, то есть вот буквально сегодня мы на занятии минут 20
Speaker A
на это потратим. вы можете взять и под одну какую-то конкретную задачу добучить модель, так, что она будет выполнять, ну, практически все действия. То есть вот конкретно вот я, когда к нашему занятию готовился, я как бы экспериментировал тоже с
Speaker A
конкретно вот D1 2B. И вот за 20 минут обучения у меня получилось сделать так, что мою конкретную задачу, которую мне нужно выполнять, она стала выполнять в 90% случаев. Если бы я просто ещё побольше поработал, постарался, там поразмыслил, ну, там с кодексом побольше пообщался,
Speaker A
то, скорее всего, у меня бы получилось её добучить там, наверное, 95-98%, типа, то есть и а базовая, да, как бы без обучения решала только 39% задачи, да? То есть, ну, разница огромная. И, например, если вы сделаете себе инструмент, который решает задачу там в
Speaker A
90% или там 95-98% случаев, и это будет вот такая маленькая локальная лмка и, ну, или там не лмка, а decision модель, то, в принципе, это потрясающе, потому что вы просто взяли маленькую модельку и именно вот именно вашу задачу, не вообще все
Speaker A
задачи, а вот именно вашу задачу она решает очень классно и очень здорово. А при этом, значит, в чём вот как бы между ними как бы разница, а между большой моделью в облаке и маленькой дообучённой моделью у вас. Значит, большая модель в облаке,
Speaker A
она умеет почти всё без подготовки. И поэтому как раз оно производит такое, ну, невероятное впечатление, да, на всех, включая меня и вообще всех людей.
Speaker A
А потому что вы просто приходите как бы к такой локальной, ой, к такой облачной модели, даёте ей любую задачу, и она с ней просто справляется, потому что это невероятно огромная модель, и она очень дорого стоит, чтобы она работала.
Speaker A
А при этом наша цель- сделать маленькую модельку, которая умеет делать хорошо буквально вот одну эту задачу. Но эту одну задачу она будет делать практически так же, как хорошо, как и большая модель в облаке. Да. Вот ровно одну задачку. А
Speaker A
нам не нужно больше. Нам нам нужно одну задачу решать. Но при этом также хорошо.
Speaker A
А при этом нужно понимать, что опять-таки там с облачной моделью данные уходят на чужой сервер, аа вы платите за каждый запрос. Нужен интернет с маленькой моделькой. Всё у вас остаётся на ноутбуке, запросы ничего не стоят. И, собственно, ответы за 2-3 секунды вы
Speaker A
просто можете получать. То есть это как вот то, что вы сейчасделали, да, у себя в этих проектах. Только представьте, что вы можете это натренировать, чтобы это работало, ну, практически идеально. И вот вот этим мы будем как раз заниматься. И в домашней работе вы
Speaker A
можете или вот взять ваш один из ваших проектов и просто дотренировать его, чтобы эта модель прямо идеально это решала. Или или вы можете просто новый проект сделать и, ну, в нём дотренировать модели. А, то есть, по сути, да, вот в
Speaker A
чём проблема, да, то есть проблема в том, что у маленьких моделей не хватает зачастую знаний и вообще такой как бы, можно сказать, усидчивости, да, в работе. То есть, например, скажем, вы можете там дать, скажем, такую команду: "Обнови статус", там вот это название
Speaker A
там проекта, да, там экспорт CSV по последнему сообщению. А последние сообщения, да, например, это будет в 9:00 утра работу приняли и в 11:00 нашли ошибку, вернули доработку. И вот маленькие как бы не, а, как бы недотренированные модели, они очень часто могут в таких
Speaker A
вещах ошибаться. Они подумают, что, ну, как бы по там последнее сообщение - это то, которое верхнее, да, потому что оно вверху находится, значит, оно последнее и типа считать будут по нему. Но если вы натренируете модель на такие команды, то
Speaker A
оно будет точно знать, что надо смотреть время, да, там 11:00 утра. Вот. И, собственно, в через такую дотренировку можно очень-очень классно реально менять локальные модели.
Speaker A
И, кстати, тоже чем ещё очень важно вот тоже для вашего понимания, а если вы хотите зарабатывать, да, на AI то ну, важно понимать, что если вы просто придёте в компанию и такие скажете там: "А вы знаете, я могу вам сейчас классно
Speaker A
запромтить клод", вам в компании скажут, что там, ну, всё супер, но мы и сами, во-первых, можем запромтнить клод. А, во-вторых, в чём ваше предложение? То есть вы просто там расскажете, как классно промтить клод. Ну спасибо, как бы мы и так это умеем. За что вам деньги
Speaker A
заплатить? А совершенно другое, если вы приходите в компанию и, например, говорите, что смотрите, вот вы сейчас на клод там тратите там, например, на какие-то там конкретные задачи, у вас уходит там, не знаю, несколько сот долларов в месяц. Давайте я для вас
Speaker A
натренирую модельку, которая будет, э, которая будет делать то же самое, только как бы намного эффективнее. И всё как бы. И вот за это будут готовы заплатить.
Speaker A
И здесь ирония, на самом деле, заключается в том, что если у людей уже есть клод, они, вообще-то, сами это могут сделать. Но вот это как раз такое вот, знаете, ощущение, что тренировка моделей - это вот только там избранные
Speaker A
способны такое делать, оно как бы, ну, то есть то есть людям в основном кажется, что тренировка модели - это что-то невероятно сложное. И как бы и когда вы приходите и говорите: "А я могу это сделать". И на самом деле они тоже
Speaker A
могут это сделать с клодом, то они они они просто не знают, что они этого могут. Вот. И пока они этого не знают, вы можете на этом зарабатывать.
Speaker A
А при этом перед тем, как мы будем дообучать модель, давайте сначала определимся, а в каких, скажем так, случаях нам нужно вообще доходить до обучения, да? То есть вот прежде всего вот первое, что вам нужно попробовать сделать - это сначала просто написать
Speaker A
нормальный, правильный промт. То есть всё начинается с хорошего промта. И в большинстве случаев просто хорошим промтом можно получить там, ну вот, допустим, если без хорошего промта, не знаю, там успех был в 20% случаев, то с хорошим промтом успех может быть
Speaker A
там 70-80% случаев. То есть это промт хороший. Это первое, что нужно сделать. А второе, да, - это ещё поработать, например, над тем, чтобы, например, прямо в промте передавать примеры того, что как вам нужно. Это не для всех задача релевантна, потому что в
Speaker A
некоторых случаях нельзя такой пример передать. Но если это можно, например, вам там, допустим, вам нужен ответ в какой-то очень чёткой форме, то просто пример, который описывает эту очень чёткую форму, может очень хорошо сработать.
Speaker A
Если это тоже не работает, то, возможно, вам нужно сделать ag, да, чтобы модель могла какие-то факты брать там, допустим, из документации или откуда-нибудь, и вы могли их в запрос, да, как бы тоже добавлять. Вот если это всё не
Speaker A
сработало, да, то есть вы там и хороший пром сделали, и хорошо там примеры дали, как надо, и дали доступ там, например, к документации или рагу или чему-нибудь, да, то есть какие-то вот сопутствующие ещё какие-то вещи дали, инструменты, и
Speaker A
всё это не сработало. Вот тут очень может быть, что действительно нужно тогда уже дообучать.
Speaker A
И соответственно как вот вообще понять, нужно писать промт или дообучать, да? То есть если вам хватит промта, если а модели не хватает фактов, а не умения. То есть есть, например, если она даёт неправильный ответ не потому, что она не
Speaker A
знает, как дать этот ответ, она просто у неё нет у неё нет достаточно фактической информации, чтобы дать этот ответ.
Speaker A
А если, например, правила меняются каждую неделю? Это, кстати, тоже очень важный момент. Ну, там, я имею в виду каждую неделю, там, может быть, каждый день, а может каждый месяц, это условно говоря. А просто учте, что если вы натренируете модель под что-то, то если
Speaker A
что-то изменилось, то вам нужно перетренировывать. И, например, скажем, там у многих, скажем, юристов, у них такая мысль, типа, а давайте мы натренируем модель, чтобы она прямо знала все законы, как бы. И это звучит здорово. Но на практике, если вы натренируете модель
Speaker A
знать все законы и законы постоянно меняются, то вам надо постоянно дотренировывать и перетренировывать эту модель. То есть это как бы непростая история. И поэтому, например, если там говорить о юристах, то намного разумнее это не не перетренировывать как-то модель, а просто взять и дать хорошие
Speaker A
там, например, инструкции, сходить и посмотреть актуальную версию закона. А второй момент, если у вас мало проверенных примеров, то есть если вот тоже нужно понимать, что тренировку, как сейчас мы обсудим, тоже тренировку имеет смысл делать только, если у вас, ну,
Speaker A
желательно есть тысячи примеров. Ну, в некоторых случаях можно сотни, но тысячи примеров обычно лучше. Если у вас, допустим, есть 50 каких-нибудь там примеров, это недостаточно для тренировки, и тогда лучше просто промтом обходиться.
Speaker A
А, во-вторых, дотренировка, скорее всего, не поможет, если у вас точность уже выше 95%. То есть, если если у вас, в принципе, и так практически идеально работает, то вряд ли дотренировка здесь, ну, может, немножко поможет, но не принципиально.
Speaker A
То есть до тренировка вряд ли доведёт до 100%. При этом до обучения нужно, если, а, например, у вас точно хороший промпт, но одни и те же ошибки повторяются. Это говорит о том, что модель что-то, ну, как бы не понимает, как это сделать. А
Speaker A
очень хорошо работает дотренировка, если нужен строгий формат, а, или выбор из вариантов. То есть вообще, на самом деле, вот если задуматься, что такое вот эти все decision модели, это, на самом деле, дотренированные модели обычные. То есть просто вот А
Speaker A
как, например, как появляются вообще вот эти, например, КЛФ, да? Вот что такое CLF? Это, насколько я помню, Н 3,827B, аа, дотренированный, чтобы он отвечал чётким форматом или выборами вариантов.
Speaker A
То есть это, по сути, взяли обычный LLМ и просто дотренировали так, чтобы оно только принимало решение. То есть у меня вообще другого не было варианта. Вот для этого нужно обязательно доренировка, потому что просто промптингом вы этого не сможете добиться. А даже если
Speaker A
добьётесь, вы не получите такого ускорения скорости. То есть тут туже ещё важна как бы скорость. А, да. И поэтому, соответственно, вот вообще вот эта идея моделей принимающих решений, она очень такая гениальная и простая. И, э, вообще вот весь успех Джев, да, модели, которая
Speaker A
которая изначально начала весь всю эту волну сиision моделей, там же на самом деле в чём он кроется? Они это разрабатывали 2 года. Но что они разрабатывали 2 года? Они как бы вот сама вот эта концепция до обучения, чтобы оно как бы выдавало решение, это
Speaker A
на самом деле, ну, ничего в этом такого прямо сверхреволюционного нету. Они просто взяли эту концепцию, и там полтора-д года они очень тщательно, очень правильно выбирали данные. Я просто слушал интервью с основателем Джева, и он рассказывал, что вот они
Speaker A
полтора года просто невероятно сосредоточились на том, чтобы натренировать эту модель, принимать решение только на лучших данных, только на самых качественных, самых правильных данных. И поэтому Джеф такой крутой.
Speaker A
А при этом, ну, как бы добечение нужно обычно, если это маленькая, быстрая и локальная модель. Опять-таки, вы можете дообучить большую модель, но просто учтите, что это совершенно другой уровень, ну, как бы расходов на GPU. А, и также есть у вас там хотя бы там
Speaker A
несколько сот проверенных примеров. То есть вот тогда тогда можно делать до обучение. Давайте мы сейчас пойдём на перерыв. После перерыва мы поговорим про виды до обучения, про лору, там, в общем, про разные вещи поговорим и потом будем, собственно, до обучать. Так что
Speaker A
10 минут обязательно.
Topics:AI разработкадообучение моделейлокальные нейросетиComfyUIавтоматизациягенерация изображенийFluxQwenпродуктивностькурс по AI











