Speaker A
А-а, всё ли у нас хорошо? Да, давайте начинать. [кашель] [откашливается] Всем ещё раз добрый вечер и мы, собственно, переходим во второй части нашего занятия, наконец, к нашей главной сегодняшней теме, это использование локальных моделей.
Занятие о локальных LLM: приватность, стоимость железа, префилл и скорость, плотные и MoE-модели, и создание двух расширений Chrome с локальной моделью.
Key Takeaways
- Локальные модели выгодны по приватности, но требуют значительных вложений в железо и электроэнергию
- Самые умные модели остаются облачными; локальные подходят для несложных задач
- Производительность на домашнем железе, особенно префилл, заметно ниже, чем в дата-центрах
- Практический результат занятия — два рабочих расширения Chrome на базе локальной модели
What the video covers
- Главный плюс локальных моделей — приватность: данные не покидают компьютер, что важно для банков и медицины
- Сами модели бесплатны, но для работы нужно мощное железо, которое потребляет много электричества
- Для качества, близкого к Claude или ChatGPT, нужны вложения порядка 1–2 млн рублей или 10–20 тыс. долларов
- Самые сильные современные модели (уровня Opus 5.x) дома запустить невозможно; Opus 4.5 — уже возможно на хорошем домашнем ПК
- Облачные модели работают в гигантских дата-центрах, тогда как локальные зависят от домашнего железа
- Префилл — обработка входящего контекста — на домашнем железе, особенно на Mac, может быть очень медленным при больших объёмах
- Скорость генерации токенов (около 50 т/с) для средних моделей на мощном ПК достижима
- Плотные (dense) и MoE (Mixture of Experts) модели — два основных типа архитектуры, различающиеся способом обработки запроса
- Размер модели (например, 4B — четыре миллиарда параметров) влияет на объём знаний модели
- На занятии практикуется создание двух расширений Chrome, обращающихся к локальному сервису и модели
Chapters
- 00:00Вступление и цели занятия
- 03:00Зачем нужны локальные модели: приватность и стоимость
- 07:00Устройство LLM, префилл и скорость на домашнем железе
- 21:00Плотные и MoE-модели, размер параметров
- 33:00Маршрутизация запросов и облачные модели
- 40:00Практика: создание расширения Chrome
- 62:00Работа с агентом и проверка результатов
- 68:00Домашнее задание и завершение
Full Transcript — Download SRT & Markdown
Speaker A
И [вздыхает] самый первый вопрос, на который надо ответить, а зачем вообще нам использовать локальную модель?
Speaker A
На самом деле, для этого есть несколько м-м, таких плюсов и, пожалуй, самый главный плюс - это приватность, да, то есть, как бы, локальная модель, она работает у вас на компьютере и в- обработка всего, что происходит э-э, внутри этой модели, не покидает ваш
Speaker A
компьютер, да, то есть, это не то, что вы там кому-то, куда-то что-то отправляете. И поэтому там, например, в некоторых компаниях это просто вынужденная необходимость, да, то есть, например, там банки, медицина, они не могут, в принципе, не могут никому эти данные отправлять и им нужны
Speaker A
локальные модели. А если просто вы человек, который любит приватность, то, возможно, вам тоже это будет такой важный фактор.
Speaker A
Дальше, как бы, бесплатность этих моделей, но тут, честно сказать, а-а, давайте так. А-а, да, это бесплатно, именно именно сама са- сами модели бесплатны полностью.
Speaker A
Но генерация токенов, она на самом деле не потому что на самом деле вам нужен очень мощный компьютер и этот очень мощный компьютер потребляет много электричества. Это вообще такая совершенно неочевидная мысль, но и- если вы хотите, например, взять себе какой-то
Speaker A
реально супермощный компьютер, который вот прямо реально будет мощно работать, он будет очень прилично потреблять электричество, то есть, в этом в этом как бы история, что а-а, оно как бы бесплатно, но не совсем бесплатно, то есть, это тоже очень важно понимать и
Speaker A
плюс нужен реально м- ну, вот, если вы хотите там давайте так, если вы хотите получить хоть что-то близкое к, там, Клоду или чат GPT, это сразу просто вложение там миллион, полтора, два, это прям минимум рублей, да, то есть как бы, ну, или там,
Speaker A
соответственно, если в доллары переводить то там вы можете тоже там прикинуть, там, 10, 15, 20 тысяч долларов точно, если вы хотите хотя бы что-то близкое получить.
Speaker A
Это всё равно вы не вы не получите уровень чат GPT или Клода. А, и поэтому мы на занятии сегодня будем намного проще модели использовать, которые как раз на обычном компьютере заработают.
Speaker A
А, при этом, да, они могут работать полностью без интернета. И как бы, если для каких-то несложных задач, они действительно могут работать быстро, как сегодня мы будем тоже это делать.
Speaker A
А, но при этом нужно понимать, что слабость их заключается в том, что всё-таки реально умные модели у вас не получится запустить дома, то есть модель уровня Опуса или Астры у вас никак не получится запустить дома, ну, именно Опуса современного, то есть там модель
Speaker A
уровня Опуса, например, 4.5, принципе, уже можно запустить на, ну, довольно таком, просто довольно хорошем домашнем компьютере. Ну, это Опус 4.5, да, то есть это модель там годовалой давности, даже больше.
Speaker A
А именно уровня Опуса 5.5, нет, дома такой невозможно запустить. А, и при этом, опять-таки, повторюсь, вам нужен собственный компьютер и довольно мощный для хороших моделей.
Speaker A
А, что вообще мы будем сегодня делать? Мы сегодня сделаем, на самом деле, два расширения для Хрома, которые будут как раз использовать, а, вот вот эти локальные модели. То есть мы будем открывать там веб-страницу, эти расширения будут всякие интересные
Speaker A
штуки, а, делать, они будут обращаться к нашему, как бы, сервису на нашем компьютере. Этот сервис будет обращаться к локальной модели на нашем компьютере, и мы будем получать всякие интересные вычисления и решения.
Speaker A
А, сейчас мы потом подробнее про это поговорим. А, но перед тем, как мы перейдём к практической части, потому что мы сегодня сделаем две, скажем так, два два практических расширения.
Speaker A
Кроме этого, есть а-а Кроме этого, нам нужно сначала вообще погрузиться больше в такую, как бы, теорию и понять, а что мы будем делать, как вообще работают локальные модели, какие они бывают и прочее, да? Потому что это просто те вещи, которые вам
Speaker A
необходимо знать. И начнём мы с устройства локальной модели. Хотя на самом деле, конечно, локальная модель в этом смысле ничем не отличается от там Chat GPT, да, там или Claude модели, но просто важно понимать, что в силу локальности его запуска
Speaker A
появляются такие аспекты, о которых вы не думаете, когда вы работаете с Chat GPT, потому что, чтобы просто вы понимали, когда вы отправляете сообщение Chat GPT или Claude-у, это буквально вы отправляете сообщение в гигантский гигантский дата-центр. Гигантский, я имею в виду, там футбольные поля а-а
Speaker A
вычислительных карт. То есть, вот, например там Илон Маск недавно ну, [откашливается] как недавно, там типа год назад купил, по-моему, там 200.000 а-а видеокарт, и каждая из этих видеокарт стоит 40.000 долларов. То есть, представьте, вот представьте, вот такие вот
Speaker A
поля видеокарт, каждая из которых по 40.000 долларов стоит. Вот, вы отправляете Вы отправляете сообщение вот на такие кластеры.
Speaker A
А-а Что важно понимать, да? Как бы, мы мы все знаем, что, когда, например, там мы загружаем какие-нибудь файлы в LLM, да, она начинает нам отвечать, да, потом там. И отвечает она такими кусочками, да, там, токенами там. А-а Можно это ещё
Speaker A
тоже переводить, как, например, это слоги, да? То есть, там план выполнен, да? То есть, это вот по по токенам идёт такая генерация.
Speaker A
Но при этом что вот момент, который мы практически не замечаем, когда мы работаем вот с этими гигантскими кластерами видеокарт, а-а это момент, который называется префил. И префил это, по сути, момент чтения вашего запроса. То есть вот одно дело это как бы сгенерить ответ,
Speaker A
да, то есть вот это это вот генерация ответа, а совершенно другое это обработать вообще вот все все те, как бы, все те а, файлы сообщения, которые вы отправили модели.
Speaker A
И если это какое-то простое сообщение, типа там "Привет, расскажи забавную историю", да, вот такое. Это это быстро это будет там в доле секунды будет обработано.
Speaker A
А, представьте, что вы отправляете, например, 100 тысяч токенов контекст, 200 тысяч, 300 тысяч. И мы привыкли, что на вот этих индустриальных видеокартах это всё происходит тоже очень быстро, да, мы ну там, не знаю, ну, может быть, минутку подождём, да, там на какой-то особо
Speaker A
сложный ответ. Но в целом это очень быстро происходит. А, с домашними, как бы, компьютерами здесь будет всё сложнее и намного медленнее. То есть я, например, вот для меня одна из причин, почему я не использую особо много локальных ЛМ,
Speaker A
именно потому, что, например, там на маках вот эта скорость префила всё равно очень медленная. То есть она как бы, ну, она не сравнима там с чат GPT, она не сравнима с там клодом, да, то есть это надо реально
Speaker A
там иногда надо ждать там отправили с если там сообщение 200-300 тысяч токенов, вы его отправили и вы можете его ждать так прилично времени.
Speaker A
Ну, то есть там несколько минут, например. Я как бы к этому не готов. То есть как бы мне это не очень нравится.
Speaker A
Но это когда вот такие большие объёмы. Это просто первое, что вам нужно понимать, что вот в силу того, что вы работаете на домашнем железе, а не индустриальном, у вас как бы меняются скорости, да, это это просто очень важная вещь. Причём вот именно скорость
Speaker A
генерации токенов, она на самом деле будет, ну, довольно близка, потому что, строго говоря, у чат GPT не такая уж и высокая скорость. То есть у чат GPT там типа 50 токенов в секунду. Если у вас относительно мощный компьютер, то вы
Speaker A
можете добиться там с какими-нибудь средненькими LLM-ками, вы можете тоже такой скорости там, 50 токенов в секунду вы можете добиться легко. И именно скорость генерации токенов будет быстрая. Ну вот, сколько он будет обрабатывать ваш запрос, вот это как бы
Speaker A
другой момент. Также нужно понимать, что конкретно LLM, они делятся на две, а, на два таких ключевых типа. Это, плотные, dense модели, так называемые, и, а, MoE, или Mixture of Experts модели. В чём между ними разница?
Speaker A
Значит, dense модели это когда, а, как бы вы вы задаёте какой-то запрос, и для обработки этого запроса работают все параметры модели. То есть, например, если у вас там какая-нибудь модель типа Qwen 3.8 27B, это означает, что у неё 27
Speaker A
млрд параметров в ней работает. И когда вы что-то спрашиваете, все 27 млрд параметров работает. Это классно в том смысле, что вот такая моделька, вот это как раз модель, это модель по умности, это модель уровня Opus 4.5. Да, то есть,
Speaker A
это довольно, довольно умная модель, на самом деле. Но проблема в том, что из-за того, что она каждый раз обращается ко всем этим 27 млрд параметров, то она медленная. То есть, например, на Маке, она у меня генерится со скоростью, а у
Speaker A
меня как бы не слабый Мак, чтобы вы понимали, у меня M4 Pro 48 GB, а, на Маке, как вы сейчас узнаете, можно вот эту оперативную память использовать тоже для, для LLM.
Speaker A
И у меня она, например, работает там со скоростью типа 10-15 токенов в секунду. Да, там можно разогнать, но в любом случае это медленно, как бы. То есть, это в пять раз медленнее там, типа, ChatGPT.
Speaker A
А, есть, собственно, MoE модели, например, там Qwen 3.8 Flash Next. А, здесь в чём смысл? Как бы, вы отправляете какое-то сообщение модели, и модель сначала выбирает, каким, как бы, экспертам внутри себя отправить это сообщение. И то есть, например, скажем, у неё может быть там
Speaker A
125 млрд параметров, но при этом конкретно на конкретно ваш вопрос будут отвечать только 6 млрд из этих 125, которые заточены на ответ на этот вопрос вопрос. И это очень классно. То есть, моя архитектура, она очень быстрая, она тоже довольно умная, то есть, как бы,
Speaker A
ну, это всё равно очень умные модели, и они такие очень-очень шустрые эти модели. А второй момент, который очень важно вам понимать, что есть два типа, хмм, как бы, памяти, на которую у вас может, на которых у вас может работать
Speaker A
а, любые, как бы, любой AI. Это, во-первых, вы можете использовать GPU стандартные, да, то есть например какие-то ну есть профессиональные, вот это RTX Pro, это профессиональный GPU. Если вы хотите запускать как раз какие-то мощные LM, вам нужно вот такое профессиональное
Speaker A
GPU. И в чём его плюс? Это то, что оно очень быстрое. То есть, видите, оно, вот у меня скорость это [тяжело вздыхает] а, почти 2 ТБ в секунду. И благодаря вот этой как раз скорости, ответ генерится очень быстро. И
Speaker A
собственно, если вы хотите серьёзно работать, то, в принципе, вам нужно вот что-то такое себе покупать. Э, проблема в том, что это дорого. Ну, то есть, вот конкретно вот эта модель, 48 ГБ, она стоит там, типа, хмм, ну, там, там же её не не не только
Speaker A
её нужно купить, там нужно ещё и целый сервер купить вместе с ней, а, потому что это просто видеокарта, да, то есть, э, вам нужно ещё куда-то её втыкать. И, ну, короче, там выйдет, типа, 15.000 долларов, примерно. Э, 15-20 даже,
Speaker A
смотря, смотря, где будете покупать. Это если 48 ГБ, а если больше, то там, соответственно, ещё дороже.
Speaker A
[фыркает] И есть другой тип памяти, который называется Unified Memory, и вот такая память стоит в маках, и также есть такая вещь, как DGX Spark. А, это такое специальное устройство, которое позволяет, оно стоит намного дешевле, то есть, там, в разы дешевле,
Speaker A
И за те же самые 10-15 тысяч вы купите не 48 там ГБ видеопамяти, а вы купите прям ну там, наверное, сколько можно купить?
Speaker A
Я думаю, там 150-200, наверное, можно где-то ГБ видеопамяти купить, то есть она значительно дешевле.
Speaker A
Но проблема в том, что у неё пропускная способность в 5-7 раз ниже. То есть, если, например, а тут почти 2 ТБ в секунду может проходить, то здесь 273 ГБ в секунду, и на Маке тоже примерно такая же история.
Speaker A
То есть, э, проблема в скорости. То есть как раз вот если вы купите себе вот такую вот такую систему, попробуйте на ней запустить, например, вот тот же самый Qwen-3-827B, будет медленно.
Speaker A
Вот, но зато вы на Спарке сможете вот такой Qwen-3-8-Flash-Next запустить, а это, кстати, очень классная модель.
Speaker A
Вот. А, и почему мы тоже всё время говорим о том, что там количество ГБ, потому что вам нужно, чтобы вся модель была загружена в эту видеокарту, да? То есть как бы вам вот, например, скажем, DGX Spark 128 ГБ. Это
Speaker A
говорит о том, что в неё можно загрузить модель, которая весит 120, ну, там, условно, не 128, там поменьше она должна весить, но примерно там 100 ГБ. А вы можете этих DGX Спарков несколько соединить в один кластер, и тогда вы можете там 200 ГБ
Speaker A
модель, 300 ГБ, ну, то есть большие уже модели. Чтобы с, чтобы, например, с видеопамятью такое сделать, это уже надо там очень сильные вложения, очень дорого будет стоить.
Speaker A
А, также давайте пройдёмся по тому, как читать название модели. То есть вот, э, сначала всегда идёт какой-то, ну, просто имя модели, то есть там, например, Perplexity Decider Flash, новая модель, как раз, э, decision типа модель, мы сейчас об этом тоже поговорим.
Speaker A
Потом всегда идёт её размер, то есть количество параметров, например, 4B означает четыре, четыре миллиарда параметров. И, соответственно, чем больше параметров, тем больше как бы знаний в этой модели.
Speaker A
Потом часто идёт, например, э, квантование, то есть это сжатие. Например, Q4 это такое очень типичное сжатие, когда каждый параметр модели сжат до четырёх битов. И это позволяет, как бы, немножко, сделав её немножко глупее, значительно сократить размер. И значительно, я имею в виду, в разы, там,
Speaker A
два-три раза, например. И плюс ещё в конце модели тоже можно там иногда пишется, ну, как бы, если, например, в настройках вы можете написать, но это не это не больше не к модели, это больше к настройкам модели относится, но просто тоже вы это можете
Speaker A
увидеть в программах, да, что там, например, там, какой у неё контекст, да, то есть, соответственно, А, а, ну, давайте так, это можно и в настройках, и в модели это тоже может быть, то есть это максимальный, ну, просто обычно
Speaker A
восемь это там совсем, да, как бы, у слабеньких, вот, ну, типа, вот таких, типа вот этой модели. Но, например, это может быть там, например, 200К, 300К, 400К, да, то есть это максимальный её вообще контекст, сколько туда, в принципе влезет.
Speaker A
А, ну, и, соответственно, вот пример сжатия да что например скажем без сжатия, да, оригинал может весить, допустим, 9 ГБ, да, а с сжатием три.
Speaker A
Да, и при этом умность её не упадёт в три раза, она упадёт там процентов по-разному, иногда вообще может всего лишь на несколько процентов упасть, иногда может на пять, иногда может на 10%. Ну, 10% это, конечно, уж сильно заметно, но несколько процентов это тоже
Speaker A
будет заметно, но как бы, не сильно заметно, скажем так. А [вздыхает] поэтому, например, если у вас обычный компьютер, то, скорее всего, вам нужно выбирать какие-то модели размером от одного до 10 ГБ, потому что вряд ли у вас более мощная видеокарта.
Speaker A
А, также нужно учесть, что с большими длинными контекстами на таких видеокартах работать не получится, потому что для контекста тоже нужна ещё видеопамять.
Speaker A
И также не забывайте, что вы не можете всю вообще вот всю вашу систему пустить исключительно, чтобы она полностью обслуживала именно именно в это всё, да?
Speaker A
То есть вам вам всё равно видеопамять или, например, на Маке это Unified Memory, да, общая память, она всё равно нужна будет. То есть вот сейчас, например, вот если меня видите, у меня, например, вот я просто веду трансляцию и у меня, например, RAM
Speaker A
загружен довольно сильно, потому что у меня там много сейчас агентов на компьютере запущено и идёт трансляция, она тоже как бы на себя отъедает. И не забывайте об этом, что даже, например, вот у меня 48 ГБ как бы на компьютере,
Speaker A
но это не значит, что я могу 48 ГБ прямо все все из них использовать под эту модель. Нет, сама система тоже прилично как бы ест.
Speaker A
Ам. При этом важно сказать, что как бы а читают модели, да? Ну, относит, ну как бы то тоже как бы не сказать, что они это быстро делают, но как бы не небольшие контексты они читают довольно быстро.
Speaker A
А вот как бы генерируют они намного медленнее. И поэтому как раз вот почему мы будем сегодня дальше говорить про Decision модели, то есть модели, которые принимают решения.
Speaker A
А эти модели как раз хороши тем, что они быстро прочитывают, да, что-то и дальше очень коротко, буквально одним словом, там, в некоторых случаях несколькими словами отвечают решение. То есть они, например, там, скажем, вы можете спросить там, а это является
Speaker A
спам-сообщением? И они вам просто ответят: да или нет, одним словом. И это очень быстрый будет ответ, потому что а в чём проблема, например, там, классических LLM? В том, что а чтобы оно вам так отвечало, это надо её специальным образом программировать
Speaker A
под это. И обычно, потому что обычная LLM, если вы её специально, ну, не то что программировать, ну, я имею в виду промтить под это, а потому что если вы, например, спрашиваете обычную LLM, она в любом случае вам начнёт отвечать
Speaker A
что-нибудь типа: "Ну, я считаю, что да, это похоже на спам-сообщение, потому что, ну, понимаете, да?" То есть как бы вот начинается вот эта вся история. А decision модели, модели принятия решений это отдельный класс моделей, сейчас мы тоже их обсудим, это модели, которые как
Speaker A
раз позволяют нам максимально эффективно работать и в этом плане их классно использовать локально. То есть как мы будем делать это, да?
Speaker A
Значит, сначала мы будем скачивать модели на Hugging Face. Потом а значит, мы их скачиваем и веса модели, веса это просто, ну, файл модели, можно так сказать, называется веса, как бы это так вот такое вот название.
Speaker A
Он загружается а полностью в нашу видеокарту, да? То есть его, ну, движок там, сейчас мы тоже об этом поговорим, там Ollama или LM Studio читает эти веса, загружает их в нашу память.
Speaker A
И дальше всё, наш сервис постоянно к ней обращается. То есть очень важно сказать, что для того, чтобы локально модель работала, она должна быть полностью всегда загружена в вашу или видеопамять, или если вы на Маке, то вашу unified как
Speaker A
бы memory, ну, то есть оперативную память. И если она там не загружена, она недоступна. То есть это очень важный тоже момент, то есть она должна быть загружена, она должна быть всегда в вашей как бы или видеопамяти, или оперативной памяти. Вы можете её
Speaker A
выгрузить, но тогда вы с ней не сможете работать. Вот. Теперь а какие есть инструменты для работы с локальными моделями, да? То есть во-первых, ну, как бы одно из таких самых профессиональных решений, которые скорее всего будет использовать Claude или Codex, если вы будете с ним
Speaker A
работать, это, например, Ollama, да? То есть Ollama это такая профессиональная программа для запуска а моделей, да?
Speaker A
Соответственно, оно просто а запускает те модели, которые у вас скачаны и собственно, собственно, позволяет их как бы использовать.
Speaker A
А есть, например, такое решение, как LM Studio, вы можете тоже его попробовать, там приятный интерфейс и это хорошее решение, если вы хотите сами поработать с этими моделями, там початиться, поболтать, ну как бы повзаимодействовать вручную, да? А вы тоже можете их использовать, как бы и
Speaker A
тоже их и кодекс можете использовать, но обычно по умолчанию всё-таки кодекс и Клод будут Аламу, скорее, использовать.
Speaker A
Потом есть ещё а Light LLM, это специальная такая система, которая позволяет а например, вы можете одновременно через неё получать доступ и к а облачным LLM по вашим API ключам, и к локальным, и она будет это всё там правильным образом
Speaker A
маршрутизировать. То есть, например, скажем, вот если вы интегрируете э-э и в какую-нибудь компанию, то, скорее всего, вам нужно на в компании выстроить вот такую Light LLM, которая будет как бы получать входящий запрос и определять, это нам отправить в облако
Speaker A
или это, например, отправить на локальную LLM. Единственное, вот в марте был очень такой скандальный момент, когда там туда попали вредоносные питоновские пакеты и очень многие API ключи были украдены.
Speaker A
А-а также есть такая вещь, как Unsloth, это а-а окно это это, можно сказать, такой как бы хороший инструмент для дообучения моделей на ваших примерах и а собственно, если вы когда наберёте много примеров, вы можем дообучать. Вот как раз дообучать мы будем на следующем
Speaker A
занятии, в том числе можно делать через Unsloth. Ну, на самом деле, как бы варианты варианты разные а есть.
Speaker A
А сейчас на самом деле самое интересное с дообучением заключается в том, что буквально несколько дней назад а энтузиасты попробовали сделать такую вещь.
Speaker A
Они сказали Астре и ну и Клоду потом тоже и Фейблу, они сказали, что смотри, у тебя маленькая моделька, вот вот прям все её веса. А веса, чтобы вы понимали, это как такой очень сложно написанный математический код, можно так сказать.
Speaker A
И они говорят: "А ты можешь изменить этот код так, чтобы эта модель работала классно эффективнее?" И оказалось, что они это могут делать.
Speaker A
То есть оказалось, что они могут просто взять и просто сами вот ру- ручну- ручную, в смысле, своими искусственными руками, они могут взять и прямо поменять этот код, и оно будет работать эффективнее. И это такая невероятная, на самом деле, мысль,
Speaker A
потому что до этого все думали, что можно только тренировать модель. Тренировка модели - это такая сложный как бы процесс, который требует а-а GPU и всего прочего. И вот как раз в процессе вот этого тренировки у вас формируется вот этот сложный
Speaker A
математический код, который составляет веса модели. А оказывается, нет, оказывается, можно просто взять, сказать очень умной модели, что и ты иди, просто возьми и вот там вручную поменяй код. Да, а это просто невероятно сложный код, ну, чтобы вы понимали, это просто
Speaker A
это просто ну, вот представьте, это гигабайты, гигабайты математического кода. То есть вот представьте, какой это объём. И вот оказывается может оказывается может такое поменять. В общем, это случилось только несколько дней назад, это обнаружили.
Speaker A
И просто до этого, мне кажется, даже никому в голову это не приходило, потому что это настолько как бы такая неочевидная мысль, что что такое вообще возможно. А-а и вот сейчас, мне кажется, это очень сильный прорыв вообще в AI в
Speaker A
итоге совершит. А-а, то есть в целом у нас логика вообще будет работать такая, да? То есть модели все скачиваются с сайта, который называется Hugging Face. Это очень крупный ресурс, его недавно за 13 млрд долларов купили.
Speaker A
Ой, или или Ну, где-то в этом диапазоне, то ли восемь, то ли 13, сейчас не вспомню. А-а купила Nvidia.
Speaker A
И это, собственно, такое место, где хранятся Это как Это как GitHub, только для моделей. И вот оттуда всё скачивается. Но опять-таки, вам не надо вручную ничего этого делать, вам даже аккаунт там не нужен. То есть оттуда всё всё легко скачать.
Speaker A
А-а, хотя, ну, для некоторых целей может, он может вас попросить аккаунт, но это бесплатно, там можно завести, там не проблема.
Speaker A
Дальше там дообучать можно, например, используя тоже в том числе Ansloth, но мы это не будем сегодня делать. А запуск или через Ollama или через LM Studio, опять-таки Codex просто всё сам сделает такой вот сделает, то есть вам не нужно
Speaker A
ничего тут разбираться. Ну и дальше там, если вы хотите, вы можете там настроить перенаправление на более сложные модели, но тоже сегодня мы этого делать не будем. Мы будем просто сразу с нашими сервисами работать. И теперь, да, давайте Давайте, собственно, начнём, а попробуем
Speaker A
это делать и попробуем это делать с Decision моделями, а потом ещё вернёмся, вот про это поговорим. Но просто я [фыркает] хочу уже запустить процесс.
Speaker A
[тяжело вздыхает] А хочу запустить процесс и показать, значит, что мы будем делать. Значит, мы будем работать с Decision моделями. Это не LLM, сразу говорю.
Speaker A
Это отдельный специальный класс моделей и работать мы будем с ними по той причине, потому что, во-первых, это очень интересные модели, а во-вторых, локально на компьютере это самый оптимальный вариант почти для всех, потому что мало у кого есть очень мощные
Speaker A
компьютеры, у которых может реально LLM заработать. А я имею в виду хорошая какая-то LLM.
Speaker A
И, собственно, разница в том, что вот например, если вы пишете, допустим, вопрос скажем допустим что скажем статья какая-нибудь где-нибудь вышла, и она называется "Codex научился проверять пул-реквесты по чек-листу команды", да?
Speaker A
И вот вы спрашиваете, например, "Этот пост про AI кодинг?" И вам обычно языковая модель ответит: "Да, этот пост про AI кодинг". Па-па-па-па-па, да, там, ну она начнёт там, потому что вот там она она же языковая модель, да?
Speaker A
А Decision модель просто ответит: "Да" или "Нет". И обычно с числами, то есть там вероятности "Да" вероятность 0,93, "Нет" вероятность 0,07. Ну, то есть она просто отвечает "Да", "Нет" с вероятностями, как правило. Или просто она может ещё там
Speaker A
как бы а может может сказать, там если несколько вариантов, она может разложить их тоже по вероятностям. То есть, по сути, это на самом деле, на самом деле, decision модель это не совсем такой, это хорошее слово, оно красивое, там модель принятия
Speaker A
решений, но правильно сказать, что это не про решение, а правильно сказать, что это про вероятности, на самом деле. Но всем проще воспринимать как бы решение, и красивее звучит.
Speaker A
Вот. Поэтому в основном decision модели, они отвечают на вопрос или да, или нет, или выбирают один из нескольких вариантов, например, там например, вероятность, что это про там тема инструмент, тема новость, тема вакансия, там или это реклама, да? И он определяет
Speaker A
как бы что это, что более вероятно. Или же он может дать оценку по шкале, например, от одного до пяти, он может дать оценку, что допустим там по этой шкале, допустим, этот там пост про а-а про AI с такой-то вероятностью.
Speaker A
И собственно, почему будем это использовать? Потому что, во-первых, а-а эта модель работает быстро, потому что они практически не пишут ничего, они просто анализируют входящую информацию и быстро принимают решения.
Speaker A
А-а вы можете им много задать вопросов, потому что они очень быстро работают. И, принципе, в облаке такие модели тоже есть. Вот самая известная модель - это Jev, и мы уже на первом уровне курса её использовали. Если, ну, вот вы были на
Speaker A
последних новых моих курсах, мы уже её используем. И она тоже очень дешёвая, она там стоит 4 цента за миллион входящих токенов, отвечает за миллисекунды, но мы попробуем альтернативы Jev запустить локально. И, собственно, какие у нас есть для этого
Speaker A
варианты? Да, началось с того, что вот в сентябре вышел Jev, и это была такая большая революция вообще, а-а тогда тогда появились вместе с Jev, собственно, decision модели.
Speaker A
И это такой прям большой был прорыв в области AI тогда в сентябре случился. А-а потом появились модели от Together AI, которые первые открытые модели, называются Tev, есть 4B, 08B. Потом ещё другие появились, появились Kev, вот у Cloudflare очень хорошо вышел
Speaker A
Clev, хорошая модель. И, может быть, мы тоже её будем использовать, но она 9B, то есть это у вас нужен, чтобы у вас довольно мощный был такой компьютер для неё. А вот что интересно, что я хочу попробовать, а Так, я пишу, что про проблемы с
Speaker A
трансляцией. А, не знаю, напишите, пожалуйста, если у вас проблемы, с моей стороны я не вижу никаких проблем.
Speaker A
Так вот, и с тех пор вышло много разных моделей и вот буквально на днях вышла то, что я хочу как раз попробовать в нашем занятии, это от LiquidAI, а, маленькая моделька D1. Вообще LiquidAI это а LiquidAI это компания, которая
Speaker A
специализируется на маленьких модельках, и она их очень хорошие делает. И поэтому я думаю, мы с вами сначала попробуем именно её. Это вот такая новая, очень классная моделька 2B, 2B почти у всех пойдёт, то есть это, ну, вот если у вас
Speaker A
хоть хоть немножко мощный компьютер, то она пойдёт как бы у вас. А, ну, если уж не пойдёт, то попробуйте тогда Tev 08B. 08B вообще почти у любого должен запуститься, это прям совсем маленькие модельки.
Speaker A
И собственно ну, вот если смотреть, да, тут Tev 08B, ну, просто на любом вообще.
Speaker A
Ну, не то что на среднем компьютере, а просто, ну, современном компьютере. Если у вас совсем какой-то очень старый компьютер, да, с этим будут проблемы, но в принципе на любом должно пойти как бы.
Speaker A
А 2B модельки там на любом, в принципе, тоже более-менее на таком, ну, современном компьютере. А вот для вот 4B и 9B уже нужно помощнее. Вот для 9B точно нужно уже такой довольно мощный компьютер.
Speaker A
А, что мы будем с этим делать? Да, соответственно мы во-первых будем пробовать тогда, соответственно, D1, а угодно. Я хочу, чтобы в браузере моём всегда это, а-а, маскировалось.
Speaker A
Так что, а-а, вот давайте попробуем сделать такие два проекта, и пока они будут делаться, мы ещё там несколько тем обсудим.
Speaker A
А-а, поэтому я сейчас начну. А-а, я попробую это делать с 6.1 Soul. Давайте попробуем попробуем с High, если что, в Extra High уйдём. Не знаю, хватит High или нет, сейчас мы узнаем, потому что, конечно, эта тема такая немножко
Speaker A
сложноватая, потому что всё-таки это не типичная разработка, да? Но тем не менее, там мы посмотрим, может и хватит, может быть, может быть, такой умности и хватит.
Speaker A
Поэтому я сделаю а-а, Я назову первый проект Decide один и назову это фокус. И сейчас такую папочку создам на жёстком диске.
Speaker A
И и буду там работать. Значит э Сейчас. Да, вот он. Значит, что я ему скажу?
Speaker A
Давайте включим, ну, сначала лучше режим планирования включить. А, где у нас? Да. И я ему пойду и возьму вот этот А, вот это у меня уже скачаны эти модели, ну, потому что просто я же не буду сейчас на занятии скачивать, потому
Speaker A
что они всё-таки тоже весят. Вы можете просто просто кодексу или клоду сказать, он найдёт, он их скачает.
Speaker A
То есть как бы это они знают, откуда все эти модели скачивать, это вообще не проблема.
Speaker A
А, поэтому я ему скажу такую вещь. А, смотри, я хочу сделать расширение для браузера, для хрома. И это расширение должно работать следующим образом. Значит, у меня есть на моём SSD жёстком диске, там поищи скачанного вот такая модель.
Speaker A
То есть и вы когда будете делать, вы просто скажите, что там, скачай её из интернета. Он вам скачает без, он мне так это скачал всё. То есть это я не сам где-то там что-то скачивал.
Speaker A
А я просто сказал: "Скачай мне сразу все эти модели, чтобы я мог на занятии с ними работать".
Speaker A
И, значит, это модель для принятия решений. Погугли про неё информацию, потому что это очень новая модель, она только вышла, скорее всего, ты про неё не знаешь, и поэтому тебе нужно про эту модель поискать. Это от Liquid AI, а,
Speaker A
новая модель для принятия решений. То есть это модель, это не LLM, это модель, которая принимает решение, decision model.
Speaker A
И что я хочу сделать? Смотри, я хочу сделать такое расширение для хрома, которое будет делать такую вещь, что я хочу заходить на Hacker News и чтобы когда я захожу на Hacker News, это расширение, оно как бы анализировало всё, что оно видит на этой странице
Speaker A
и мне как-то визуально подсвечивала каким-то таким заметным образом именно посты про а-а, именно посты про а-а например AI, да? Тоесть, вот если там это что-то связано с AI, то я хочу, чтобы это мне визуально как-то так красиво подсвечивалось.
Speaker A
Вот, а-а, задай мне вопросы, спроси, как, как я вижу, что это, чтобы это работало и а-а, как ты это протестируешь, да? Потому что это же вот расширение сложнее тестировать, подумай, как ты это протестируешь. И собственно, начинай разработку. Ну, задай мне
Speaker A
вопросы, после этого сделай план и начинай разработку. Так. И сейчас мы это отправим. Я пока скопирую почти а-а, вот, да, что я хочу сделать, потому что это для второго моего проекта.
Speaker A
Так, всё, он пошёл делаться, сейчас пусть он работает, а я сейчас новую, новую папочку создам для нашего второго проекта.
Speaker A
И назову а-а назову hide, потому что мы как бы будем прятать информацию, скрывать. Я использую а-а, 6.1 Soul, потому что она на самом деле быстрая. Мне она нравится, потому что она реально быстрая, быстро работает.
Speaker A
Так. Сейчас. Ага. Так, значит, давайте всё сейчас вставлю всё то же самое и скажу.
Speaker A
А значит, смотри, как я хочу, чтобы что я хочу, чтобы это делало. Я хочу, чтобы это расширение браузера у меня маскировала, во-первых, а я хочу, чтобы оно маскировала любые API ключи, чтобы, собственно, модель вот эта определяла, что это является API
Speaker A
ключом или нет, и маскировала, маскировала а любые упоминания городов, любые упоминания локаций, стран, а любые упоминания а например, м почты, да? И вот и любые личные вещи.
Speaker A
Почему для чего мне нужно это скрывать? Потому что я веду стримы. И на стримах я показываю свои инструменты. И я хочу, чтобы мне вот это приложение вот просто сразу очень быстро это м это скрывало, как бы. И причём,
Speaker A
наверное, даже надо делать так, чтобы страница пока пока не скрылась, чтобы страница на стриме не показывалась. То есть, если я включаю это расширение, то, соответственно, а у меня любую страницу, которую я открываю, оно должно сначала проходить вот такую обработку, и потом должны эти
Speaker A
вещи скрываться. А подумай, как ты это будешь делать, задай мне вопросы и подумай, как ты это будешь тоже всё тестировать. Так что всё это продумай и давай давай думать, как мы это сделаем.
Speaker A
Так, всё, мы это отправили. Тем временем вот это у нас что-то спрашивает. Как ты хочешь задавать тему для подсветки в первой версии? Ну, и AI по умолчанию.
Speaker A
А давайте, AI по умолчанию. Так. Что расширение должно читать, чтобы понять тему поста? Только текущую страницу, также текст.
Speaker A
А значит, модель получает заголовок и домен каждого поста. Подсветка появляется без открытия статьи. Да, я думаю, без открытия. не надо. Мне кажется, это просто по заголовку уже можно понять, это про AI или нет.
Speaker A
А, сколько вариантов подсветки показать на одном и том же фрагменте Hacker News перед выбором? А.
Speaker A
А, ну, давай три варианта выберем из трёх вариантов. Так. Impeccable сейчас будет применять для этого.
Speaker A
Так, о'кей. А, ты делает. Значит, что ты захватываешь браузер на ст- Чем ты захватываешь браузер на стриме и можно ли выделить для него отдельный источник?
Speaker A
От этого зависит, сможем ли мы удержать непроверенную страницу за пределами кадра. А. OBS, но я делаю захват всего экрана. Я окно не могу, я всегда делаю захват всего экрана.
Speaker A
Ага. Так. Как оценить, а, как оценивать пограничные посты, ну, посты при проверке первой версии? Например, в статье про а, видеокарту AI может упоминаться лишь мельком. А.
Speaker A
Тема должна быть главной. Да, то есть это пусть это должно быть главной темой. Так.
Speaker A
Значит, он спрашивает: "А, как это будет работать? Chrome закрывает новую страницу до первого отображения.
Speaker A
Об- в OBS проявляется именно тот кадр, который идёт зрителям. А. Сейчас, да, мне не нравится, что он что-то начинает OBS.
Speaker A
Слушай, я не хочу, я не хочу в это всё втягивать OBS. Смотри, вообще не ориентируйся а.
Speaker A
А, не не не ориентируйся вообще на вот эти вещи, да? То есть ты ориентируешься чисто на ориентируйся чисто на браузер, да? То есть мне нужно скрывать только мне нужно скрывать только информацию именно из именно из браузера. Давай в OBS вот
Speaker A
здесь в это не будем приплетать, а просто пусть страница, например, не подгружается в браузере, пока пока она не обработается. Как-нибудь так давай попробуем сделать.
Speaker A
Так, для проверки установки предлагаю загрузить расширение в отдельный профиль Chrome и прогнать его на живом Hacker News, где провести финальную проверку.
Speaker A
Отдельный профиль, основной. Да в основном давайте, зачем нам? Ладно, не знаю, зачем зачем он хочет в отдельном проверять, это же какая-то отдельный вид какой-то паранойи, мне кажется. Ну ладно.
Speaker A
[фыркает] Так. Для шторки и переключателя применю дизайн к шторке. О'кей. Да, всё. Имплементирую этот план. Сейчас я хочу тут тоже дождаться, что он [вздыхает] а Так, сейчас посмотрим, что он сделает.
Speaker A
Вот, страница будет загружаться под непрозрачной шторкой, чтобы расширение могло прочитать её текст до показа.
Speaker A
Проверю и первый кадр, и появление нового текста после загрузки. О'кей. Угу. О'кей, пусть пусть тестирует.
Speaker A
Так, какой какой вариант, значит, какой вариант подсветки? Ага, Hacker News, AI. Мне больше вот это нравится, мне больше нравится, чтобы прямо вот так выделялись посты.
Speaker A
А, фон у всей записи. Давайте фон у всей записи, мне кажется, так так нагляднее.
Speaker A
Так, беру беру вариант с фоном всей записи, заливка будет объединять заголовок и строку с баллами и комментариями, а текстовая метка покажет, по какой теме найден пост.
Speaker A
О'кей. Вот интересно, как 6.1 конечно с этим справится, потому что это не максимальный форт, ну, то есть есть ещё экстра хай, да, но интересно, интересно. Зато он работает быстрее.
Speaker A
В этом плане он он классный. Так, тут что у нас происходит? Угу. Видите, он Ollama, соответственно, будет тоже использовать, ну, потому что Ollama это по умолчанию вот большинство а агентов кодинга, они будут использовать по умолчанию именно Ollama.
Speaker A
Так, пока они всё это делают, давайте я хотел вам значит ещё что сказать. Вот, значит, а если снова возвращаться к мощностям, да, чтобы просто тоже понимали, почему мы используем именно такие маленькие модельки.
Speaker A
Ну, потому что например [откашливается] если у вас например какой-то обычный, да допустим ноутбук ну, вот вам там скорее всего получится запустить только вот такую маленькую decision модель, там, может быть, в некоторых случаях вообще только 0.8b модель, да, то есть вот вот так, то есть
Speaker A
это просто тоже нужно реалистично смотреть на на вещи. А, но в принципе может быть и вот ту, которую я сейчас использую, 2b тоже получится.
Speaker A
Если у вас например уже более мощный ноутбук или какой-нибудь типа MacBook Air допустим то вы уже можете получше модели здесь запускать, уже и 4B, может быть, модели сможете запускать, ну, смотря какой тоже, а-а но как вариант, да, то есть вы сможете, вы
Speaker A
сможете, возможно, это делать. Если у вас игровой ноутбук, то и у вас уже на нём видеокарта, то здесь вы сможете уже и 9B, например, модели запускать, а 9B, на самом деле, это уже такие, ну, не самые плохие модельки, честно говоря, то есть и прям
Speaker A
Decision модели, это прям хорошие могут быть, типа Clef, а-а, ну, хотя 9B, ну, вот на 12 он, наверное, запустится, да, как бы, но на восьми, скорее, вряд ли.
Speaker A
А-а, но это уже прям на 9B уже можно более серьёзное что-то запускать. Если у вас MacBook Pro, вот как у меня, например, 48 ГБ, или Mac mini тоже мощный, то вы сможете уже запускать, допустим, там Clef модели и даже уже вот
Speaker A
Mix- Mixture of Expert модели до 35, 35B, а-а, размером, да, то есть это, ну, довольно уже хорошие модели, то есть у меня, например, скажем, Qwen 3.6, а-а, 35B, а 3B, а-а, а 3B это означает Active 3 billions parameters, ну, то есть это
Speaker A
активные три, три миллиона, это на, это значит, что вот как раз это Mixture of Expert модель.
Speaker A
[фыркает] Вы сможете её тоже запускать. Если у вас ПК с мощной видеокартой, там 24, 32 ГБ памяти, то вы тоже сможете запускать, ну, уже довольно мощные модели. То есть Mac в этом смысле выигрывает. То есть Mac, если вы хотите,
Speaker A
вот, скажем так, обычный такой консьюмерский а-а, устройство и на нём запускать локальные модели, вам нужен Mac с большим количеством оперативной памяти, да, именно современный Mac, который вот с M процессорами.
Speaker A
А-а, ну, и дальше следующий шаг это уже идёт а-а, Mac Studio, и я вот, кстати, себе реально подумал, что это хочется Mac Studio, потому что, знаете, Mac Studio это прикольная штука, ну, то есть прям прям реально прикольная штука.
Speaker A
И, а, вот, э, ма- ма- Mac Studio мне лично очень бы хотелось. А, и соответственно а но это уже как бы другая цена. И Nvidia DGX Spark, тоже это уже другая цена. Тут DGX Spark стоит где-то 5-6 тысяч
Speaker A
долларов и соответственно ну м, Mac Studio тоже где-то, ну, он начинается, Mac Studio начинается где-то от 4.000 и там дальше до, ну, не бесконечности, куда-то в эту сторону. Ну, то есть там совсем хороший будет там 12 где-то стоить тысяч.
Speaker A
А, Никит пишет: "У Mac разные чипы M бывают". Да, и это тоже, кстати, очень верный комментарий, потому что вот например а, у- у- какие есть чипы? Есть просто чип, да, просто M-чип, есть M Pro-чип, есть M Max-чип и M Ultra-чип. И вот тут дальше
Speaker A
начинается прям такая градация, чтобы вы понимали. А, M-чип, просто M, там, например, скажем, M6, вот сейчас самый новый. Да, он как бы классный, но его с- пропускная способность, да, у такого будет, а, у такого ноутбука, оно будет, э, значительно меньше, чем,
Speaker A
например, M5 Pro, да, модели. И, вот у меня, у меня, например, M4 Pro, и вот разница между M4 Pro и и M5 Pro, она есть, но поскольку мы оба Pro, то это, ну, как бы не настолько гигантская, а, не настолько гигантская разница.
Speaker A
А, потом идёт Max. Max это хорошая штука, но тоже нужно понимать, что Max где-то примерно только, ну, вот на практике в два-три раза быстрее. Это круто как бы, но это всего лишь там всё лишь где-то в два два раза скорее быстрее, где чем
Speaker A
Pro. И это тоже, это как бы круто, я не не как бы не с- не спорю с этим. Но Ultra, вот, например, Mac Studio Ultra есть, вот это действительно круто, потому что у Ultra скорость может быть в четыре и шесть раз быстрее, чем у, а,
Speaker A
Pro-процессора. То есть вот это реально можем уже очень классные, реально модели быстро использовать. Я Я очень себе прямо очень хочу Mac Studio, но пока просто понимаю, что головой я понимаю, что это как бы не особо осмысленная покупка.
Speaker A
А, Павел пишет: "У меня M2 и что-то много не могу". Да, M2 Ну, тут ещё просто зависит, сколько у вас оперативной памяти при этом. В принципе, если у вас M2 и много оперативной памяти, то вы всё равно сможете. Но M2, да, конечно, это
Speaker A
тоже такой более более старенький, можно сказать процессор. [вздыхает] А, так, посмотрим, что у нас он тут как.
Speaker A
А, он требует нос нас нашего решения. Подтверждайте загрузить локального через ттт. Chrome будет запускать. Да, загрузить и проверить. Да, давай, загружай и проверяй. Он сейчас прямо будет мой компьютер использовать и всё это проверять сам.
Speaker A
А, значит, сделал прототип, а, сделал прототип. Страница загружается под непрозрачной шторкой. А, проверил в Chrome с настоящей D1 с твоего SSD. На тестовой странице расширение скрыло вымышленный ключ email. Ага, так, сейчас. общем, короче, там типа за секунду оно это скрыло.
Speaker A
И сейчас тогда сейчас [фыркает] момент. Сейчас я и скажу. Сейчас. А, Сейчас она Тут тут оно тут оно хочет, чтобы я протестировал. Ну, давайте я Давайте то то уже делает всё само.
Speaker A
Сейчас сейчас я вам покажу. Вот оно у меня сейчас буквально в браузере работает. Вот это Вот это оно тестирует. Вот. Это вот оно сейчас само у меня тестирует так. То есть, это это не я делаю, это Computer Use. Просто пока мы с вами
Speaker A
говорим а пока мы с вами говорим, это будет Computer Use вот так сейчас тестирует.
Speaker A
То есть вот он зашёл на а, Hacker News и, собственно, вот вот и он сейчас сменит тему, наверное. И это не я делаю. Это вы представляете, вот до чего дошло, что просто мне уже даже руками не нужно загружать это расширение в Хроме. Просто
Speaker A
вот задумайтесь над этим, да? То есть я просто попросил, он сам сходил, всё загрузил, всё сам сделал, просто вообще всё всё вообще сам сделал.
Speaker A
Да, ну давайте, давайте ему сейчас скажем, что всё всё работает. А, всё ок, а пусть пусть это пусть это модель продолжает работать. Я хочу дальше сам это потестировать.
Speaker A
Так всё. Давайте посмотрим. Давайте Так. Давайте зайдём куда-нибудь. Значит, у нас сейчас вот это это работает, это AI.
Speaker A
А давайте не AI, а давайте, например, про а Сейчас, давайте про а м GPU.
Speaker A
Давайте про GPU посмотрим. Сохранить. О, видите, тут же Nvidia Spark. То есть вот что сейчас происходит, да, чтобы вы понимали.
Speaker A
Я выставляю тему и, как вы видите, да, вот смотрите, вот здесь нет слова GPU, да, то есть видеокарта. В этом в этом заголовке нет такого слова, правильно? Ну то есть как бы это это это не то, что мы с кодом это
Speaker A
нашли. Я задал тему и за долю секунды вот эта модель, которая у меня работает сейчас на компьютере, она определила, что Nvidia RTX Spark это относится к теме GPU. То есть вот это очень интересная штука, что это это не как бы
Speaker A
это не то, что мы просто настроили, что если ты увидишь фразу GPU, то помечай мне такое. Не-не-нет. Здесь нет никакой фразы GPU, а она это нашла.
Speaker A
Или например давайте CPU, да, вот CPU давайте сделаем, процессоры. CPU. AMD. AMD за долю секунды она находит, что а AMD па-па-па, Intel пара-па-па-па.
Speaker A
Хотя, опять-таки, слово CPU тут нету. [фыркает] Или давайте, например, скажем, попробуем а Вот на это нажмём. Linux. Linux.
Speaker A
Так. Linux. Debian App Security Update. Потому что Debian - это одно из разновидностей Линукса, да, соответственно, его находит. И ещё вот тут тоже что-то нашёл, я даже сам не знаю. А, ну, Linux просто тут есть. А я даже не знаю, что это такое, но,
Speaker A
видимо, это к Линуксу относится, потому что я просто я не очень в этом разбираюсь.
Speaker A
Но, представляете, вот мы только что сделали такую вещь. И всё, и теперь вы можете, вот вы, если вам нужно что-то быстро искать, вы можете такое сделать. Это занимает буквально долю, просто долю секунды.
Speaker A
Так, а давайте теперь я Тому скажу, что, чтобы он тоже сходил и это, сейчас.
Speaker A
Я просто там прямо вот так скажу, что а, вот используй там мою вкладку, где у меня открыта уже там extensions есть, а, сам всё загрузи. Сделай, используй computer user и сам всё загрузи.
Speaker A
А то, знаете, я как прямо как это, э, как животное просто такое типа, что мне вручную, что ли, нужно загружать? Нет, нет, всё, давай ты-ка ходи, всё сам загружай.
Speaker A
Так. Сейчас. Открою твою вкладку extensions, загружу расширение и проверю его на тестовой странице с вымышленными данными.
Speaker A
О'кей. Давайте. Вот он сейчас, вот это он сейчас пойдёт, вот это он, значит, зашёл.
Speaker A
Сейчас я только немножко окошко, да, вот так передвину. Сейчас он там, он сейчас там всё сделает, всё, что нужно ему сделать.
Speaker A
Сейчас он сейчас загрузит, вы сейчас увидите, сейчас я вам покажу, он сейчас загрузит это расширение.
Speaker A
А, да, он сейчас мне ещё раз сейчас спросил загрузить или нет. И, видимо, ему нужно вот это дополнительное подтверждение.
Speaker A
Сейчас он, когда загрузит, я вам покажу, он просто он тоже там мой жёсткий диск показывает.
Speaker A
Так. [откашливается] Вот. Сейчас посмотрим, он загрузил. Странно, интересно, почему оно не появилось. Ай, так сейчас.
Speaker A
Мне кажется, а, мне кажется, его смутило то, что у меня тут уже был extension другое. Он, видимо, он, видимо, не понял, что у меня ещё одно другое было.
Speaker A
Я ему сейчас скажу, а, я до этого А, да, вот он, он сейчас сообразил это, потому что он, он, видимо, он, он думал, что раз extension стоит, значит, это уже как бы то, что нужно, а это первое было,
Speaker A
которое мы тестировали. Всё, сейчас он всё сделает. Вот. Вот, decide to hide, да? И локальная маскировка конфиденциального текста.
Speaker A
И давайте сейчас попробуем на чём-нибудь. Сейчас. А, да, я вижу, что она загрузилась. Давай я сейчас попробую на чём-нибудь, я сейчас сам схожу и попробую на чём-нибудь это протестировать.
Speaker A
Так. Сейчас. А. Сейчас я посмотрю, она у меня загрузилась или нет. А, для пробы обнови открытую вкладку или новую. Так, сейчас.
Speaker A
Сейчас я гляну на каком-нибудь, на каком-нибудь моём примере, м-м. А где можно, например, такое что-нибудь проверить?
Speaker A
А-а. А, ну, например, сейчас давайте зайдём в Open Router. Давайте зайдём. Вот зайдём в Open Router.
Speaker A
Сейчас. М-м. Хм. Сейчас пока как будто не работает. Сейчас. Сейчас. А, нет, похоже, он пока не работает, потому что я вижу там вот такой значок. Посмотри, какой значок.
Speaker A
Сейчас я вам покажу. Ну вот, видите, он м-м. Вот он почему-то вот такой выдаёт значок.
Speaker A
Сейчас посмотрю на значок Chrome. Вот он он сейчас сходит и посмотрит, собственно, на мой этот значок.
Speaker A
Угу. Сейчас проверим, в чём тут дело. Ну вот, видите, одно одно с Hacker News, он просто сделал идеально, просто абсолютно идеально.
Speaker A
И вот вы можете вот так сделать, чтобы на вашем любом нужная вам информация вот так отображалась.
Speaker A
А-а. Да, то есть, например, давайте что-нибудь ещё. А давайте вот Asian, например, да, Азия.
Speaker A
Так, сохраним. Во, North Korea. Сразу, сразу круто. И прямо вот это буквально долю секунды занимает, и это всё работает локально.
Speaker A
Ну и поскольку это такая супер маленькая моделька, она не сильно, как бы, не сильно при этом что-то грузит, да, то есть это это очень-очень маленькая моделька.
Speaker A
Так. Сейчас ещё раз, давайте. А, странно, да, потому что у меня другое расширение его использует, и если использует, хорошо, а тут вот посмотри, в чём в чём не так дело.
Speaker A
Вот видите, вот тут как будто мы сейчас немножко начинаем упираться в то, что ну всё-таки я Soul, вот как будто что-то что-то чуть-чуть ей не хватает, именно Soul High, например.
Speaker A
М-м. Сейчас. А-а, сейчас. Это он там открыл какую-то страницу для теста на вот на странице для теста оно работает. Тут всё хорошо.
Speaker A
Сейчас я сейчас я посмотрю. Да, тут всё работает. Может быть, проблема в том, когда именно реальная страница подгружается, и вот тогда какие-то такие проблемы начинаются с реальной страницей. Может быть, что-то в подгрузке данных, что-то не отправляется куда-то.
Speaker A
Может быть, в этом как бы дело. Почему почему с тестовой страницы всё отправляется, а как [фыркает] только мы открыли реальную страницу, оно не отправилось.
Speaker A
А попробую, может, её на какую-то мысль навести таким образом. Сейчас, вот она Тут пока думает.
Speaker A
Так. Сейчас проверим, может ли обход элементов реальной страницы прервать обработку. Да, может быть, это из-за того, что мы пытаемся как-то вот так с реальной страницей там взаимодействовать.
Speaker A
Так. Сейчас он проверит, может, он её сейчас и поправит. Угу. Значит, кстати, какое у вас будет домашнее задание? Сейчас там текст домашнего задания сейчас появится сразу после нашего сразу после Ой, что-то у него там заглючило. Сразу после нашего занятия
Speaker A
а но у вас будет э Так. Сейчас. Но у вас но у вас будет занятие задание, собственно, добавить вот эту Decision модель, да, в том числе, которую мы используем в занятии, да. Мне кажется, она хорошо работает, мне нравится, она
Speaker A
быстрая, хорошая. Если что, давайте просто ещё раз вам скажу, как она называется. Значит вот Liquid AI D12B.
Speaker A
Это просто вот вы можете сказать э вашему там кодексу или Cloud коду, он её скачает как бы, он знает, где скачать, он знает, что это с Hugging Face надо всё качать. И причём она даже вроде понимает русский и картинки. Так что
Speaker A
должно быть вообще всё хорошо. Так, м, теперь давайте проверим. Сейчас. Как-то она у меня как бы работает, но с какими-то как будто визуальными, сейчас я скажу.
Speaker A
Слушай, оно стало работать, только у меня всё постоянно вот так мелькает, как будто оно так рябит постоянно, вот там включается выключается включается выключается, что-то такое.
Speaker A
Вон, видите, оно вот так у меня показывает. Я даже не знаю, что это такое.
Speaker A
Но что-то это. Так. Проверю, почему страница снова скрывается после первой проверки. Вот, и вам нужно будет просто встроить, точнее, а сделать какой-нибудь, например, то же самое расширение браузера или любой инструмент, который будет вот такую маленькую локальную модельку использовать. Если у вас мощный
Speaker A
компьютер, вы можете попробовать что-то мощнее. Во-первых, вы можете там какой-нибудь LLM попробовать или попробуйте Claude Flash. Вот Claude Flash - это уже реально прямо, ну, реально довольно хорошая модель. А, то есть она может прямо более серьёзные какие-то уже решения принимать, да, там
Speaker A
не просто вот такое там простое, то, что мы сейчас делали, а, что-то прямо более серьёзное. Но это уже потребует более мощного компьютера.
Speaker A
Но вот это, я думаю, с которым мы работали, ну, практически на любом компьютере должно заработать. Ну, вот вот вот это точно на любом заработает, но оно ещё слабее.
Speaker A
Так. Сейчас посмотрим, что он сможет или нет. О, во, вроде заработало. Интересно, он много всего начинает прямо закрывать. Вот, видите, он много всего закрыл.
Speaker A
М, а давайте, например, зайдём, знаете, куда? На AI Studio. Сейчас я вот зайду. AI Studio.
Speaker A
Потому что там тоже там показывается, вот я хочу посмотреть. О да кстати. Только сейчас я смотрю, что он тут.
Speaker A
Он думает чуть подольше, потому что, видимо, много надо информации взять, но в принципе, за несколько секунд вот тут, например, тут у Гугла всегда слева внизу показывается email. Всё, он сейчас мне его как бы скрывает нормально.
Speaker A
Он почему-то ещё там, а API ключ, да, как бы делает, но это, как бы это а интересно.
Speaker A
Так. Да, ну в целом в целом, в целом интересно. А, Павел а, спрашивает: "А, на не 30 на на 32 памяти такая потянет?" Вы имеете в виду вот этот а, Клев? Здесь просто зависит есть ли она для Мака. Давайте посмотрим,
Speaker A
потому что для Мака модели должны быть в специальном формате MLX. И если как бы маленькие модели, это как бы не проблема, а вот такая большая модель точно точно должна быть обязательно в этом формате.
Speaker A
В общем, короче, наши расширения для браузера оба работают. Второе просто надо, мне кажется, ещё допиливать до ума, потому что оно как-то не так работает. Первое вообще прямо потрясающе классно работает.
Speaker A
Так, Клев Флеш, а надо посмотреть, есть ли её версия для Мака. Видишь, потому что, видите, она она базируется на Квен 3.5.9b.
Speaker A
И вот уже сколько сколько уже файтюнов для него сделано. Сейчас, а посмотрим. А, Клев, сейчас, MLX. MLX - это формат для Мака.
Speaker A
Вот, да, они уже сделали. Смотрите. Клев попробуйте вот этот Клев Флеш 8 бит. Я думаю, оно точно у вас должно пойти.
Speaker A
То есть на 32, вот вот, если вы на Маке попробуйте вот на вашем Маке должна вот это заработать. Клев Флеш 8 бит. Но опять-таки, на самом деле, если вы спросите у кодекса, он вам это всё скажет. Как бы кодекс и CloudCode, они
Speaker A
на самом деле хорошо разбираются в локальных моделях. Они вам всё скачают, всё сделают. И вот это вот попробовать на протоколе. Это уже более будет более реально а-а реально такая довольно довольно будет умная модель для принятия решений. Ну или можете вообще поэкспериментировать с
Speaker A
локальными LLM-ками, чтобы они тоже вставить. Но просто а-а, вот мы на прошлой версии моего курса мы встраивали LLM-ки. И практика показывает, что ну из всей группы, наверное, там есть типа два-три человека, у которых реально можно хорошие локальные LLM-ки
Speaker A
запустить. А все остальные запускают совсем совсем слабые LLM-ки, а слабые LLM-ки, они на самом деле намного хуже, чем вот такие классные модели принятия решений.
Speaker A
Поэтому, вот, если у вас не сильный компьютер, попробуйте вот это. Классная модель, мне сейчас очень понравилось, как она работает.
Speaker A
И быстренько и здорово, и вообще классно. Да. Так что вот так. И это всё происходит всё локально, да? То есть мы никуда ничего не отправляем, всё у вас на компьютере происходит и при этом не сильно его грузит. То есть вот вот
Speaker A
сейчас оно у меня запущено, ну вот она не сильно мне грузит какие-то процессы вообще. То есть, в принципе, по-хорошему, она может у меня вообще всегда быть запущена и просто в прямом эфире постоянно что-нибудь фильтровать.
Speaker A
Да. Так что м-м, сейчас скоро появится текст домашнего задания. Буду ждать ваш какой-то любой проект, где вы используете какую-то локальную модель, например, Liquid AI, а на следующем занятии мы поговорим о том, как эти модели тренировать под себя.
Speaker A
Так что увидимся через неделю. Счастливо.
Topics:локальные моделиLLMприватность ИИпрефиллMoEdense моделирасширения ChromeтокеныOllamaавтоматизация
