Skip to content
Start free
Get App

Я создаю своего ДЖАРВИСА для ПК с помощью ИИ! 🤖

Создание голосового помощника Джарвис с ИИ для ПК с функциями зрения, памяти и управления браузером в реальном времени.

Key Takeaways

  • Создание голосового помощника с ИИ требует многократных итераций и тестирования.
  • Локальные модели и облачные решения имеют свои плюсы и минусы в скорости и функционале.
  • Голосовое управление с реальным временем отклика значительно улучшает взаимодействие с ассистентом.
  • Права администратора расширяют возможности ассистента в управлении системой.
  • Проект открыт для сообщества и сопровождается обучающими материалами.

What the video covers

  • Автор решил создать голосового помощника, похожего на Джарвиса, используя ИИ и локальные модели.
  • Пробовал разные подходы: облачные сервисы, локальные браузерные решения и нейросети.
  • Использовал чат GPT для генерации промтов и кода, но столкнулся с проблемами производительности и функционала.
  • Ассистент получил имя Элис, умеет открывать браузер, запускать приложения и взаимодействовать с интерфейсом.
  • Реализована возможность голосового управления с функцией перебивания и ответов в реальном времени.
  • Проект постоянно обновлялся, были добавлены права администратора для расширения возможностей.
  • Ассистент оснащён зрением и памятью, что позволяет выполнять сложные задачи без участия человека.
  • В видео показаны примеры работы с YouTube, Steam и другими приложениями.
  • Автор делится проектом и гайдами бесплатно в Telegram и на своём канале.
  • Видео содержит подробный разбор этапов разработки и демонстрацию текущего состояния ассистента.

Chapters

  1. 00:00Введение и идея создания голосового помощника
  2. 00:49Подписка и ресурсы автора
  3. 01:52Переход к локальному исполнению и голосу
  4. 02:43Проблемы с первой версией и исправления
  5. 03:29Основы работы ассистента и голосовые команды
  6. 04:59Тестирование браузера и управление вкладками
  7. 05:56Задержки и улучшения интерфейса
  8. 07:27Работа с приложениями и курсором
  9. 09:12Права администратора и расширение функционала
  10. 10:09Демонстрация работы ассистента и выводы

Answers

Questions about this video

Что такое Джарвис в контексте этого видео?

Джарвис — это голосовой помощник для ПК, который автор пытается создать с помощью ИИ, обладающий функциями управления системой, голосовым вводом и зрением.

Какие технологии использовались для создания ассистента?

Автор использовал чат GPT для генерации промтов и кода, локальные модели нейросетей, а также интеграцию с браузером и приложениями на ПК.

Какие основные проблемы возникли при разработке?

Основные проблемы — медленная работа облачных моделей, сложности с управлением браузером и задержки в голосовом отклике, которые автор постепенно решал.

Full Transcript — Download SRT & Markdown

00:00
Speaker A
Решил я, значит, как-то создать себе голосового помощника, но, поняв, что Google мне особо ничем не поможет, я решил полезть в YouTube. Ввел тот же запрос. И что вы думаете? Нет, в Ютубе уже каждый второй делает настоящего Джарвиса, но найти годного гайда, как
00:14
Speaker A
это сделать, я так и не смог. Всем здравствуйте. В этом видео я бы хотел продемонстрировать нагрузку.
00:21
Speaker A
О'кей. Вспомнив, что у меня есть знания о вайпкодинге, я почти сразу полез в чат GP делать себе новый топовый мегапромт, после которого мой проект сразу зацветёт. Но как же я ошибался, ребят.
00:33
Speaker A
Настоятельно рекомендую досмотреть это видео до конца, так как в конце у нас получилась реальная голосовая модель, которая способна была закрывать большинство потребностей и работать без присутствия человека. Данный ассистент получился со зрением и памятью и со своим спектром инструментов и ума мог
00:49
Speaker A
спокойно исполнять задачи пользователя. С вами канал Кодмоги. Да. Подписывайтесь на мой YouTube и на мой Telegram, в котором я очень часто опускаю подобного рода свои проекты бесплатно для людей. Там вы найдёте также кучу гайдов, кучу фишек, полезной информации. Всех
01:04
Speaker A
жду. Приятного просмотра. Это просто очень-очень [ __ ]. Сколько здесь пунктов? [ __ ] 300 пунктов. Что я сделал? Я кинул этот промт целиком вот этому вот ботику. Так, это получается у нас IDE Workbody, который раздаёт бесплатные модели Deepsic High 3. Ну,
01:22
Speaker A
они практически безлимитные, кредиты они не тратят. Ну, как бы лимиты на них есть, чисто вот временные бесплатные лимиты, но они как бы и так очень медленные. Он что-то написал уже, говорит, что сделал. Давайте проверим, что он тут настрочил. Запускаем. Опа.
01:38
Speaker A
Элис, открой браузер, ёбнутая. В общем, он сделал модель, но она была какая-то медленная, так как я понял, а ключи, вот эта вся облачная тема с наростями, она так себе будет работать в плане своего помощника. Поэтому мы переходим на
01:52
Speaker A
другую тематику, как бы локально через браузер она будет тебе отвечать. А над голосом мы потом поработаем. Для начала нам бы хотя бы, чтобы она выполняла все наши функции, фишки, все наши просьбы.
02:04
Speaker A
Вот. Поэтому смотрим, что она там дальше напишет. Ты слишком низкий, а я люблю соки. Я тебя могу.
02:12
Speaker A
Так, он что-то доделал. Угу. Значит, надо запускать проектик. Запускаем старт cmd. А ну-ка проверим теперь.
02:27
Speaker A
Привет. В общем, как бы я не пытался, она не хотела нормально работать, но не спешите перелистывать видео, так как в дальнейшем она заработает и очень даже классно. Так, тогда изменим немножко концепцию. Так как он долго думает и ничто не может ответить. Будем ему
02:43
Speaker A
писать. [фыркает] А сделай так, чтобы... Эх, ребята, как бы я хотел остановить сейчас этого парня, так как он делает такие неправильные движения. В итоге у нас ассистент будет работать всё равно на нейросети, а локальные модели будут полностью удалены. Но не вставить в ролик я это не
03:00
Speaker A
мог. Может, он так поймёт, сделает что-то. В общем, [ __ ] произошла какая-то хрень, и он, в принципе, у меня перестал вот работать. Не помню, где я его запускал.
03:11
Speaker A
То есть я хотел перевести его на локальную сеть, ой, ну, на локальную систему, чтобы система выполняла запрос.
03:17
Speaker A
Но я понял, что всё это не то и то, к чему я стремлюсь, вообще должно работать по-другому. А нам нужно сделать так, чтобы бот, ой, чтобы сам Элис, ну, голосовой помощник, отвечал в реалтайме.
03:29
Speaker A
То есть я мог его перебить, попросить какую-то задачу делать. Он озвучил, что там, да, открываю браузер, там выполнено, готово. Как вот, знаете, в чат GPT можно голосовое включить. Вот такой прикол, потому что делать просто тупо, чтобы я ему говорил, а он молча
03:43
Speaker A
открывал браузер, и думаю, любой поймёт, что это не очень интересно. Ну ладно, копируем это всё. Даже уже подлагивает сам сайт.
03:52
Speaker A
Теперь вставляем ему новый промтик для перехода на новую архитектуру и будем ждать, что он начнёт писать.
04:00
Speaker A
Итак, он сказал, что он закончил, но у меня есть ещё одно, но. Я попросил его сделать это в приложение, а не в сайт просто, потому что, я думаю, будет удобнее запускать приложение и в нём уже видеть все изменения. Ну, как-то,
04:14
Speaker A
знаете, сразу уже зададим такую основу под приложение, так как в дальнейшем я не планировал то, что он будет работать через сайт. Вот, опять-таки, уже не знаю, который раз, просто ждём. Сейчас он всё доделает, сам себе план составит, и мы опять-таки вернёмся к вам чуть
04:29
Speaker A
позже. В общем, ребят, я решил перейти ещё на Gemini Live. Или я это говорил в прошлом видео. Так, вот он нам собрал девятую версию. Вот я её установил, собственно говоря. Давайте запустим. Это будет уже первый нормальный запуск. То
04:44
Speaker A
есть вот он определяет и всё, он меня слышит. Я ему могу сказать: "Привет".
04:52
Speaker A
Привет. Я здесь. Что могу подсказать? Можешь открыть браузер? Конечно. Какой браузер открыть? Давай Chrome.
05:05
Speaker A
То есть вот он открыл. Но есть одна проблема. Смотри, если я сейчас скажу: "А можешь ли ты в этом браузере сейчас открытом запустить YouTube?" Конечно, могу. Открываю YouTube в текущем браузере.
05:20
Speaker A
Видите, она вообще в другом браузере открыла. Это раз. И два, если я сейчас спрошу, а запущен ли сейчас Chrome?
05:29
Speaker A
Да, Chrome запущен. PID 716. Так вот в этом PID и тогда запусти YouTube. К сожалению, открыть ссылку в конкретном процессе я не могу. Я могу либо открыть новую вкладку в управляемом браузере, либо открыть.
05:48
Speaker A
Вот, видите, я её могу перебивать. То есть вот тут такая прикольная штука, и она сразу останавливается. Это очень выглядит прикольно. Блин, ты мне нравишься.
05:59
Speaker A
Спасибо. Мне тоже приятно с вами общаться. Что мы де, общем? Стой, стой, стой. Давай продолжим. В браузере открой вкладку с YouTube.
06:10
Speaker A
Хорошо, открываю вкладку с YouTube. Что-то пошло не так. Не удалось открыть YouTube. Попробовать ещё раз?
06:17
Speaker A
Да, попробую ещё раз. Снова [фыркает] не получается. Вот видите, в этом-то и прикол. В общем, давайте я её вот в стре... А прикол в чём?
06:28
Speaker A
Она работает всегда. То есть я могу вот так говорить. Привет. Как тебя зовут? Меня зовут Элис. А что случилось с браузером?
06:36
Speaker A
А с браузером забей на него просто. Хорошо. Что могу ещё подсказать? То есть, видите, есть ещё некая такая задержка, ну, где-то секунды две-три, пока она ответит. В принципе, эта задержка даже вот в чат GPT голосовом есть, но как будто бы здесь можно её ещё
06:50
Speaker A
системно уменьшить. Над этим я ещё поработаю. А также над менюшкой хочу поработать. Сейчас она такая простенькая. Тут вот какие-то вот есть логи, инструменты, которые она видит. Но это всё, конечно, сейчас будем дорабатывать. Всё будем делать, чтобы вот этой, во-первых, не
07:05
Speaker A
было. Опа, у нас ещё и кончились лимиты. Ну что поделать. Ладно, идём дальше. Так, запускаем новый файлик. Посмотрим, что на этот раз готово.
07:18
Speaker A
Так, привет. Как тебя зовут? Привет. Я Элис, твой компьютерный ассистент. Ну, как, кстати, меньше стало. О'кей.
07:27
Speaker A
Открой браузер и зайди в YouTube. А теперь напиши в поиске этого же Ютуба: "Привет, как дела?" Секунду. Ищу поле поиска.
07:44
Speaker A
В общем, в итоге она так и не смогла написать никакого запроса в поиск YouTube, так как тупо не могла найти область поиска. [фыркает] Слушай, а ты умеешь пользоваться моим курсором?
07:57
Speaker A
Да, могу перемещать и кликать курсором, если это нужно для выполнения задачи. Можешь сейчас мой курсор передвинуть вверх экрана?
08:07
Speaker A
О, реально. О'кей. Сколько будет 5 + 5 × 5? Получится 30. Что ещё ты можешь? Можешь открыть, допустим, приложение Steam на моём компьютере?
08:23
Speaker A
Да, конечно. Сейчас попробую открыть Steam. Открываю Steam. Вправду пошло. В общем, вот такой ей теперь задал параметр. А, то есть, всё ещё имеется баг. Допустим, она открыла YouTube, да, вот это тыры-пыры. То есть попросил наросеть сделать так, чтобы она
08:42
Speaker A
могла на конкретной кнопке в приложениях или в браузере нажимать. Так, ребят, ну, прошло уже несколько дней, что сказать.
08:50
Speaker A
Обновления много было обновлений. Сейчас всё буду показывать. Значит, уже восемьдесят второй релиз. Запустим его.
08:57
Speaker A
И теперь можно запускать от имени администратора. Что это даёт? Ей даёт права администратора. Она может выполнять задачи с проводником, а некоторые, которые ей были недоступны, диспетчером задач. И, в общем, лучше анализировать систему. [музыка] Давайте сейчас я её продемонстрирую.
09:12
Speaker A
она запустилась. Она прогрузила все вот, э, ЦП, память, диск. Теперь она видит много. Я обновил интерфейс не сильно, но она видит теперь больше всего. Вот так её можно выключать, включать, чтобы она вот не задалбливала иногда, пока я вот
09:28
Speaker A
снимаю. В журнале мы видим все её, получается, какие команды она использует и какие она тратит на них миллисекунды.
09:37
Speaker A
Вот в вызовах мы видим инструменты, которые она использует, сколько она на них тратит. Допустим, я заметил, что вот распознавание текста, она тратит 2-8 секунды. Это я не знаю, насколько много, потому что модели как бы надо обрабатывать ещё. Вот её зрение теперь,
09:52
Speaker A
э, 60 FPS показано, но по факту принимает модель GMny Life один кадр в секунду. Это её лимит. Вот, как видите, поэтому она может обнаруживать цели на экране вот в реальном времени. То есть э то есть вот она вот так обнаруживает
10:09
Speaker A
цели и передаёт эту всю информацию. Благодаря этому у неё теперь реальное зрение, и оно работает полноценно.
10:16
Speaker A
Далее, ну, тут инструменты это было. Давайте её запустим. Привет, Элис. Привет. Чем могу помочь?
10:26
Speaker A
А, как видите, иногда бывают вот такие звуковые сигналы непонятные. Это тоже надо сейчас вот пофиксить. Но это сейчас, понимаете, да, это мешает чуть-чуть, но я просто был увлечён тем, чтобы дать ей полноценный функционал компьютера. То есть она за тебя может
10:42
Speaker A
многое делать. Давайте проверим, допустим, как она запустит YouTube ролик банально. Элис, сможешь, пожалуйста, запустить Н монтажен на YouTube?
10:56
Speaker A
Смотрю фон на YouTube. Запустила фон. Всё, она справилась с задачей. То есть это она сделала сама полностью. Я, если что, не кликал. Вот она перешла на вот эту страницу и сама кликнула на первый ролик. Ну понятно, что она на первый
11:16
Speaker A
кликает. Она не Но это дело не в том, что моя мышка здесь случайным образом оказалась или я нажал. Я могу мышку передвинуть сюда. Она нажмёт. У неё есть управление мышью, клавиатурой, то есть полный вод и управление компьютером. Ну
11:29
Speaker A
давайте следующее. Элис, привет. Ты можешь, пожалуйста, открыть и найти рецепт блинчика в интернете, скинуть его в группу штаб прошек в Телеграме.
11:41
Speaker A
Ищу рецепт блинчиков. Открываю сайт с рецептом. Скидываю рецепт в группу. Эли отправила рецепт блинчиков с мясом в группу Штабпрошек.
12:06
Speaker A
Сам рецепт получился какой-то скучный. Ты должна его красиво, подробно оформить. И с эмодзи можешь, пожалуйста, сделать переделать.
12:19
Speaker A
Переоформила и отправила рецепцию эмоди в группу. Бля, меня эдиписки очень бесят, но сейчас уже они исправляются. Вот я дал две проблемы исправлять с подключением и списками. В общем, смотрите, уже есть какой прогресс сильный. Она может скидывать рецепты, искать их полноценно. То есть
12:38
Speaker A
она сама зашла на сайт, нашла рецепт, я ничего не делал. Притом, я больше скажу, я раньше проверял, она не на один сайт заходила, а сразу на несколько. нашла информацию и скинула. А вот мне одно интересно, вы же понимаете, что это
12:50
Speaker A
наросеть, она ей не обязательно искать в браузере прямо информацию. Она сама может её сгенерировать, так как у неё есть доступ в интернет у самой наросети.
12:59
Speaker A
Она не обязательно должна как человек заходить. Так вот, этот вопрос я уже задавал и конкретно ранее я уже пытался скидывать рецепт блинчиков. И м ну вот, допустим, имя Сергей, значение тайна.
13:10
Speaker A
Вот она как будто это не находила в интернете, а сама сразу скидывала. Вот. Не знаю, в чём прикол, но иногда она сама скидывает. Давайте попросим по-другому допустим можешь пожалуйста, скинуть в штабпрошек ещё одно сообщение. Это значение имени Максим. Только оформи его красиво и не
13:28
Speaker A
ищи его в браузере. Сразу уже скинь готовый текст. Отправила значение имени Максим в группу.
13:38
Speaker A
Ну, как видите, она уже вот умеет сама генерировать. То есть, когда ты её просто просишь найти, она это ищет. А когда, если ты просто попросишь её сгенерировать или ещё что-то сделать, она уже сама отправляет. То есть вот насчёт простого примитивного
13:52
Speaker A
функционала, я просто не стал его показывать, так как включи таймер, нажми видео на паузу и уменьши громкость в неё встроено как системные задачи. То есть она их выполняет молниеносно, даже практически без использования нейросети.
14:04
Speaker A
С этим у неё проблем нет. А вот с чем есть проблемы, так это с её писклявостью, которая иногда проскакивает в её голосовых. а также управление мышью по координатам. Она иногда ошибается и попадает не туда, либо неправильно воспринимает какую-либо
14:18
Speaker A
кнопку. Однажды вместо того, чтобы удалить мне сообщение в Телеграме, она удалила мне просто чат. С такими проблемами я периодически сталкиваюсь, и сейчас я их активно исправляю, чтобы наросеть могла полнофункционально использовать интерфейс, использовать своё мышление, делать всё правильно и в
14:35
Speaker A
случае неудачи она могла вернуться и исправиться. То есть полноценный Jarvisс в твоём компьютере, который управляет без тебя, и можно ему задавать многоэтапные сложные задачи, которые она будет час делать без твоего присутствия.
14:48
Speaker A
Затягивать с этим роликом надолго я не хочу. Давайте всё объясню во второй части. Я надеюсь, что сильно мы не будем затягивать этот проект. Я скоро доделаю и закину в свой Telegram-канал. Поэтому всем спасибо за просмотр. Накидайте лайков, вторая часть не заставит себя
15:03
Speaker A
долго ждать. Всем удачи. M.
Topics:голосовой помощникИИДжарвислокальные моделичат GPTголосовое управлениеПК ассистентавтоматизацияпрограммированиеКод Могеда

Get More with the SozAI App

Transcribe recordings, audio files, and YouTube videos — with AI summaries and speaker detection. 30 minutes free.

App Store Google Play
Or transcribe another YouTube video here →

Free tools: TXT to SRT · SRT Validator · Merge SRT · Subtitle to Text · All tools

Related Transcripts

View All
как убрать ограничения и творить свою реальность? (наук… — Transcript23:26
как убрать ограничения и творить свою реальность? (наук… — Transcript
dinara tilovova
2,869 1 Russian
ты никогда не будешь иметь, что не имеешь и всегда буде… — Transcript24:31
ты никогда не будешь иметь, что не имеешь и всегда буде… — Transcript
dinara tilovova
3,193 1 Russian
МАРК ШАГАЛ: почему у него люди летают? Самая полная и о… — Transcript55:24
МАРК ШАГАЛ: почему у него люди летают? Самая полная и о… — Transcript
КАНАЛ НЕНАШЕВА
7,806 1 Russian
Последняя свидетельница Старого Мира жила в 1923 году —… — Transcript24:24
Последняя свидетельница Старого Мира жила в 1923 году —… — Transcript
Архивы Тартарии
1,059 1 Russian
Они Кошмарили Весь Майнкрафт… (Документальный Фильм) — Transcript14:29
Они Кошмарили Весь Майнкрафт… (Документальный Фильм) — Transcript
Псиоп
2,280 1 Russian
Читай описание 🙏🔽🔽 — Transcript1:11
Читай описание 🙏🔽🔽 — Transcript
healthirish
77 1 Russian
Mr. Freeman, part 61 UNCENSORED — Transcript6:06
Mr. Freeman, part 61 UNCENSORED — Transcript
Mr. Freeman (Русский)
504 1 Russian
Метро в Нью-Йорке – самое страшное и криминальное в Мире? — Transcript17:00
Метро в Нью-Йорке – самое страшное и криминальное в Мире? — Transcript
Оля Рыба USA
2,177 1 Russian
Мамбеталина 2024 2 4 — Transcript10:51
Мамбеталина 2024 2 4 — Transcript
Гульмира Бекманова
969 1 Russian
Мамбеталина 2024 2 3 — Transcript7:03
Мамбеталина 2024 2 3 — Transcript
Гульмира Бекманова
840 1 Russian
Мамбеталина 2024 2 2 — Transcript19:54
Мамбеталина 2024 2 2 — Transcript
Гульмира Бекманова
3,381 1 Russian
Мамбеталина 2024 2 1 — Transcript23:14
Мамбеталина 2024 2 1 — Transcript
Гульмира Бекманова
4,239 1 Russian