**Я создаю своего ДЖАРВИСА для ПК с помощью ИИ! 🤖 — Transcript & Summary | SozAI**
Source: https://sozai.app/transcript/creating-jarvis-pc-ai/

Создание голосового помощника Джарвис с ИИ для ПК с функциями зрения, памяти и управления браузером в реальном времени.

## Key Takeaways

- Создание голосового помощника с ИИ требует многократных итераций и тестирования.
- Локальные модели и облачные решения имеют свои плюсы и минусы в скорости и функционале.
- Голосовое управление с реальным временем отклика значительно улучшает взаимодействие с ассистентом.
- Права администратора расширяют возможности ассистента в управлении системой.
- Проект открыт для сообщества и сопровождается обучающими материалами.

## What the video covers

- Автор решил создать голосового помощника, похожего на Джарвиса, используя ИИ и локальные модели.
- Пробовал разные подходы: облачные сервисы, локальные браузерные решения и нейросети.
- Использовал чат GPT для генерации промтов и кода, но столкнулся с проблемами производительности и функционала.
- Ассистент получил имя Элис, умеет открывать браузер, запускать приложения и взаимодействовать с интерфейсом.
- Реализована возможность голосового управления с функцией перебивания и ответов в реальном времени.
- Проект постоянно обновлялся, были добавлены права администратора для расширения возможностей.
- Ассистент оснащён зрением и памятью, что позволяет выполнять сложные задачи без участия человека.
- В видео показаны примеры работы с YouTube, Steam и другими приложениями.
- Автор делится проектом и гайдами бесплатно в Telegram и на своём канале.
- Видео содержит подробный разбор этапов разработки и демонстрацию текущего состояния ассистента.

## Chapters

1. 00:00 Введение и идея создания голосового помощника
2. 00:49 Подписка и ресурсы автора
3. 01:52 Переход к локальному исполнению и голосу
4. 02:43 Проблемы с первой версией и исправления
5. 03:29 Основы работы ассистента и голосовые команды
6. 04:59 Тестирование браузера и управление вкладками
7. 05:56 Задержки и улучшения интерфейса
8. 07:27 Работа с приложениями и курсором
9. 09:12 Права администратора и расширение функционала
10. 10:09 Демонстрация работы ассистента и выводы

Answers

## Questions about this video

Что такое Джарвис в контексте этого видео?

Джарвис — это голосовой помощник для ПК, который автор пытается создать с помощью ИИ, обладающий функциями управления системой, голосовым вводом и зрением.

Какие технологии использовались для создания ассистента?

Автор использовал чат GPT для генерации промтов и кода, локальные модели нейросетей, а также интеграцию с браузером и приложениями на ПК.

Какие основные проблемы возникли при разработке?

Основные проблемы — медленная работа облачных моделей, сложности с управлением браузером и задержки в голосовом отклике, которые автор постепенно решал.

## Full Transcript — Download SRT & Markdown

00:00

Speaker A

Решил я, значит, как-то создать себе голосового помощника, но, поняв, что Google мне особо ничем не поможет, я решил полезть в YouTube. Ввел тот же запрос. И что вы думаете? Нет, в Ютубе уже каждый второй делает настоящего Джарвиса, но найти годного гайда, как

00:14

Speaker A

это сделать, я так и не смог. Всем здравствуйте. В этом видео я бы хотел продемонстрировать нагрузку.

00:21

Speaker A

О'кей. Вспомнив, что у меня есть знания о вайпкодинге, я почти сразу полез в чат GP делать себе новый топовый мегапромт, после которого мой проект сразу зацветёт. Но как же я ошибался, ребят.

00:33

Speaker A

Настоятельно рекомендую досмотреть это видео до конца, так как в конце у нас получилась реальная голосовая модель, которая способна была закрывать большинство потребностей и работать без присутствия человека. Данный ассистент получился со зрением и памятью и со своим спектром инструментов и ума мог

00:49

Speaker A

спокойно исполнять задачи пользователя. С вами канал Кодмоги. Да. Подписывайтесь на мой YouTube и на мой Telegram, в котором я очень часто опускаю подобного рода свои проекты бесплатно для людей. Там вы найдёте также кучу гайдов, кучу фишек, полезной информации. Всех

01:04

Speaker A

жду. Приятного просмотра. Это просто очень-очень [ \_\_ ]. Сколько здесь пунктов? [ \_\_ ] 300 пунктов. Что я сделал? Я кинул этот промт целиком вот этому вот ботику. Так, это получается у нас IDE Workbody, который раздаёт бесплатные модели Deepsic High 3. Ну,

01:22

Speaker A

они практически безлимитные, кредиты они не тратят. Ну, как бы лимиты на них есть, чисто вот временные бесплатные лимиты, но они как бы и так очень медленные. Он что-то написал уже, говорит, что сделал. Давайте проверим, что он тут настрочил. Запускаем. Опа.

01:38

Speaker A

Элис, открой браузер, ёбнутая. В общем, он сделал модель, но она была какая-то медленная, так как я понял, а ключи, вот эта вся облачная тема с наростями, она так себе будет работать в плане своего помощника. Поэтому мы переходим на

01:52

Speaker A

другую тематику, как бы локально через браузер она будет тебе отвечать. А над голосом мы потом поработаем. Для начала нам бы хотя бы, чтобы она выполняла все наши функции, фишки, все наши просьбы.

02:04

Speaker A

Вот. Поэтому смотрим, что она там дальше напишет. Ты слишком низкий, а я люблю соки. Я тебя могу.

02:12

Speaker A

Так, он что-то доделал. Угу. Значит, надо запускать проектик. Запускаем старт cmd. А ну-ка проверим теперь.

02:27

Speaker A

Привет. В общем, как бы я не пытался, она не хотела нормально работать, но не спешите перелистывать видео, так как в дальнейшем она заработает и очень даже классно. Так, тогда изменим немножко концепцию. Так как он долго думает и ничто не может ответить. Будем ему

02:43

Speaker A

писать. [фыркает] А сделай так, чтобы... Эх, ребята, как бы я хотел остановить сейчас этого парня, так как он делает такие неправильные движения. В итоге у нас ассистент будет работать всё равно на нейросети, а локальные модели будут полностью удалены. Но не вставить в ролик я это не

03:00

Speaker A

мог. Может, он так поймёт, сделает что-то. В общем, [ \_\_ ] произошла какая-то хрень, и он, в принципе, у меня перестал вот работать. Не помню, где я его запускал.

03:11

Speaker A

То есть я хотел перевести его на локальную сеть, ой, ну, на локальную систему, чтобы система выполняла запрос.

03:17

Speaker A

Но я понял, что всё это не то и то, к чему я стремлюсь, вообще должно работать по-другому. А нам нужно сделать так, чтобы бот, ой, чтобы сам Элис, ну, голосовой помощник, отвечал в реалтайме.

03:29

Speaker A

То есть я мог его перебить, попросить какую-то задачу делать. Он озвучил, что там, да, открываю браузер, там выполнено, готово. Как вот, знаете, в чат GPT можно голосовое включить. Вот такой прикол, потому что делать просто тупо, чтобы я ему говорил, а он молча

03:43

Speaker A

открывал браузер, и думаю, любой поймёт, что это не очень интересно. Ну ладно, копируем это всё. Даже уже подлагивает сам сайт.

03:52

Speaker A

Теперь вставляем ему новый промтик для перехода на новую архитектуру и будем ждать, что он начнёт писать.

04:00

Speaker A

Итак, он сказал, что он закончил, но у меня есть ещё одно, но. Я попросил его сделать это в приложение, а не в сайт просто, потому что, я думаю, будет удобнее запускать приложение и в нём уже видеть все изменения. Ну, как-то,

04:14

Speaker A

знаете, сразу уже зададим такую основу под приложение, так как в дальнейшем я не планировал то, что он будет работать через сайт. Вот, опять-таки, уже не знаю, который раз, просто ждём. Сейчас он всё доделает, сам себе план составит, и мы опять-таки вернёмся к вам чуть

04:29

Speaker A

позже. В общем, ребят, я решил перейти ещё на Gemini Live. Или я это говорил в прошлом видео. Так, вот он нам собрал девятую версию. Вот я её установил, собственно говоря. Давайте запустим. Это будет уже первый нормальный запуск. То

04:44

Speaker A

есть вот он определяет и всё, он меня слышит. Я ему могу сказать: "Привет".

04:52

Speaker A

Привет. Я здесь. Что могу подсказать? Можешь открыть браузер? Конечно. Какой браузер открыть? Давай Chrome.

05:05

Speaker A

То есть вот он открыл. Но есть одна проблема. Смотри, если я сейчас скажу: "А можешь ли ты в этом браузере сейчас открытом запустить YouTube?" Конечно, могу. Открываю YouTube в текущем браузере.

05:20

Speaker A

Видите, она вообще в другом браузере открыла. Это раз. И два, если я сейчас спрошу, а запущен ли сейчас Chrome?

05:29

Speaker A

Да, Chrome запущен. PID 716. Так вот в этом PID и тогда запусти YouTube. К сожалению, открыть ссылку в конкретном процессе я не могу. Я могу либо открыть новую вкладку в управляемом браузере, либо открыть.

05:48

Speaker A

Вот, видите, я её могу перебивать. То есть вот тут такая прикольная штука, и она сразу останавливается. Это очень выглядит прикольно. Блин, ты мне нравишься.

05:59

Speaker A

Спасибо. Мне тоже приятно с вами общаться. Что мы де, общем? Стой, стой, стой. Давай продолжим. В браузере открой вкладку с YouTube.

06:10

Speaker A

Хорошо, открываю вкладку с YouTube. Что-то пошло не так. Не удалось открыть YouTube. Попробовать ещё раз?

06:17

Speaker A

Да, попробую ещё раз. Снова [фыркает] не получается. Вот видите, в этом-то и прикол. В общем, давайте я её вот в стре... А прикол в чём?

06:28

Speaker A

Она работает всегда. То есть я могу вот так говорить. Привет. Как тебя зовут? Меня зовут Элис. А что случилось с браузером?

06:36

Speaker A

А с браузером забей на него просто. Хорошо. Что могу ещё подсказать? То есть, видите, есть ещё некая такая задержка, ну, где-то секунды две-три, пока она ответит. В принципе, эта задержка даже вот в чат GPT голосовом есть, но как будто бы здесь можно её ещё

06:50

Speaker A

системно уменьшить. Над этим я ещё поработаю. А также над менюшкой хочу поработать. Сейчас она такая простенькая. Тут вот какие-то вот есть логи, инструменты, которые она видит. Но это всё, конечно, сейчас будем дорабатывать. Всё будем делать, чтобы вот этой, во-первых, не

07:05

Speaker A

было. Опа, у нас ещё и кончились лимиты. Ну что поделать. Ладно, идём дальше. Так, запускаем новый файлик. Посмотрим, что на этот раз готово.

07:18

Speaker A

Так, привет. Как тебя зовут? Привет. Я Элис, твой компьютерный ассистент. Ну, как, кстати, меньше стало. О'кей.

07:27

Speaker A

Открой браузер и зайди в YouTube. А теперь напиши в поиске этого же Ютуба: "Привет, как дела?" Секунду. Ищу поле поиска.

07:44

Speaker A

В общем, в итоге она так и не смогла написать никакого запроса в поиск YouTube, так как тупо не могла найти область поиска. [фыркает] Слушай, а ты умеешь пользоваться моим курсором?

07:57

Speaker A

Да, могу перемещать и кликать курсором, если это нужно для выполнения задачи. Можешь сейчас мой курсор передвинуть вверх экрана?

08:07

Speaker A

О, реально. О'кей. Сколько будет 5 + 5 × 5? Получится 30. Что ещё ты можешь? Можешь открыть, допустим, приложение Steam на моём компьютере?

08:23

Speaker A

Да, конечно. Сейчас попробую открыть Steam. Открываю Steam. Вправду пошло. В общем, вот такой ей теперь задал параметр. А, то есть, всё ещё имеется баг. Допустим, она открыла YouTube, да, вот это тыры-пыры. То есть попросил наросеть сделать так, чтобы она

08:42

Speaker A

могла на конкретной кнопке в приложениях или в браузере нажимать. Так, ребят, ну, прошло уже несколько дней, что сказать.

08:50

Speaker A

Обновления много было обновлений. Сейчас всё буду показывать. Значит, уже восемьдесят второй релиз. Запустим его.

08:57

Speaker A

И теперь можно запускать от имени администратора. Что это даёт? Ей даёт права администратора. Она может выполнять задачи с проводником, а некоторые, которые ей были недоступны, диспетчером задач. И, в общем, лучше анализировать систему. [музыка] Давайте сейчас я её продемонстрирую.

09:12

Speaker A

она запустилась. Она прогрузила все вот, э, ЦП, память, диск. Теперь она видит много. Я обновил интерфейс не сильно, но она видит теперь больше всего. Вот так её можно выключать, включать, чтобы она вот не задалбливала иногда, пока я вот

09:28

Speaker A

снимаю. В журнале мы видим все её, получается, какие команды она использует и какие она тратит на них миллисекунды.

09:37

Speaker A

Вот в вызовах мы видим инструменты, которые она использует, сколько она на них тратит. Допустим, я заметил, что вот распознавание текста, она тратит 2-8 секунды. Это я не знаю, насколько много, потому что модели как бы надо обрабатывать ещё. Вот её зрение теперь,

09:52

Speaker A

э, 60 FPS показано, но по факту принимает модель GMny Life один кадр в секунду. Это её лимит. Вот, как видите, поэтому она может обнаруживать цели на экране вот в реальном времени. То есть э то есть вот она вот так обнаруживает

10:09

Speaker A

цели и передаёт эту всю информацию. Благодаря этому у неё теперь реальное зрение, и оно работает полноценно.

10:16

Speaker A

Далее, ну, тут инструменты это было. Давайте её запустим. Привет, Элис. Привет. Чем могу помочь?

10:26

Speaker A

А, как видите, иногда бывают вот такие звуковые сигналы непонятные. Это тоже надо сейчас вот пофиксить. Но это сейчас, понимаете, да, это мешает чуть-чуть, но я просто был увлечён тем, чтобы дать ей полноценный функционал компьютера. То есть она за тебя может

10:42

Speaker A

многое делать. Давайте проверим, допустим, как она запустит YouTube ролик банально. Элис, сможешь, пожалуйста, запустить Н монтажен на YouTube?

10:56

Speaker A

Смотрю фон на YouTube. Запустила фон. Всё, она справилась с задачей. То есть это она сделала сама полностью. Я, если что, не кликал. Вот она перешла на вот эту страницу и сама кликнула на первый ролик. Ну понятно, что она на первый

11:16

Speaker A

кликает. Она не Но это дело не в том, что моя мышка здесь случайным образом оказалась или я нажал. Я могу мышку передвинуть сюда. Она нажмёт. У неё есть управление мышью, клавиатурой, то есть полный вод и управление компьютером. Ну

11:29

Speaker A

давайте следующее. Элис, привет. Ты можешь, пожалуйста, открыть и найти рецепт блинчика в интернете, скинуть его в группу штаб прошек в Телеграме.

11:41

Speaker A

Ищу рецепт блинчиков. Открываю сайт с рецептом. Скидываю рецепт в группу. Эли отправила рецепт блинчиков с мясом в группу Штабпрошек.

12:06

Speaker A

Сам рецепт получился какой-то скучный. Ты должна его красиво, подробно оформить. И с эмодзи можешь, пожалуйста, сделать переделать.

12:19

Speaker A

Переоформила и отправила рецепцию эмоди в группу. Бля, меня эдиписки очень бесят, но сейчас уже они исправляются. Вот я дал две проблемы исправлять с подключением и списками. В общем, смотрите, уже есть какой прогресс сильный. Она может скидывать рецепты, искать их полноценно. То есть

12:38

Speaker A

она сама зашла на сайт, нашла рецепт, я ничего не делал. Притом, я больше скажу, я раньше проверял, она не на один сайт заходила, а сразу на несколько. нашла информацию и скинула. А вот мне одно интересно, вы же понимаете, что это

12:50

Speaker A

наросеть, она ей не обязательно искать в браузере прямо информацию. Она сама может её сгенерировать, так как у неё есть доступ в интернет у самой наросети.

12:59

Speaker A

Она не обязательно должна как человек заходить. Так вот, этот вопрос я уже задавал и конкретно ранее я уже пытался скидывать рецепт блинчиков. И м ну вот, допустим, имя Сергей, значение тайна.

13:10

Speaker A

Вот она как будто это не находила в интернете, а сама сразу скидывала. Вот. Не знаю, в чём прикол, но иногда она сама скидывает. Давайте попросим по-другому допустим можешь пожалуйста, скинуть в штабпрошек ещё одно сообщение. Это значение имени Максим. Только оформи его красиво и не

13:28

Speaker A

ищи его в браузере. Сразу уже скинь готовый текст. Отправила значение имени Максим в группу.

13:38

Speaker A

Ну, как видите, она уже вот умеет сама генерировать. То есть, когда ты её просто просишь найти, она это ищет. А когда, если ты просто попросишь её сгенерировать или ещё что-то сделать, она уже сама отправляет. То есть вот насчёт простого примитивного

13:52

Speaker A

функционала, я просто не стал его показывать, так как включи таймер, нажми видео на паузу и уменьши громкость в неё встроено как системные задачи. То есть она их выполняет молниеносно, даже практически без использования нейросети.

14:04

Speaker A

С этим у неё проблем нет. А вот с чем есть проблемы, так это с её писклявостью, которая иногда проскакивает в её голосовых. а также управление мышью по координатам. Она иногда ошибается и попадает не туда, либо неправильно воспринимает какую-либо

14:18

Speaker A

кнопку. Однажды вместо того, чтобы удалить мне сообщение в Телеграме, она удалила мне просто чат. С такими проблемами я периодически сталкиваюсь, и сейчас я их активно исправляю, чтобы наросеть могла полнофункционально использовать интерфейс, использовать своё мышление, делать всё правильно и в

14:35

Speaker A

случае неудачи она могла вернуться и исправиться. То есть полноценный Jarvisс в твоём компьютере, который управляет без тебя, и можно ему задавать многоэтапные сложные задачи, которые она будет час делать без твоего присутствия.

14:48

Speaker A

Затягивать с этим роликом надолго я не хочу. Давайте всё объясню во второй части. Я надеюсь, что сильно мы не будем затягивать этот проект. Я скоро доделаю и закину в свой Telegram-канал. Поэтому всем спасибо за просмотр. Накидайте лайков, вторая часть не заставит себя

15:03

Speaker A

долго ждать. Всем удачи. M.

Topics: голосовой помощник ИИ Джарвис локальные модели чат GPT голосовое управление ПК ассистент автоматизация программирование Код Могеда

Учить по этому видео

- [Карточки по этому видео](https://sozai.app/ru/tools/ai-flashcard-generator/?from=transcript&id=78677)
- [Тест по этому видео](https://sozai.app/ru/tools/quiz-generator/?from=transcript&id=78677)

Бесплатно, составлено ИИ по этой расшифровке. Без регистрации.


---
This is the markdown twin of https://sozai.app/transcript/creating-jarvis-pc-ai/ — the same content, without the markup.
Published by SozAI (https://sozai.app). Reuse and quotation are allowed with attribution and a link back.
Machine-readable index: https://sozai.app/llms.txt · data API: https://sozai.app/api/