Speaker A
в 2014 году, когда я смотрел видео, на котором разработанная DeepMind системой с искусственным интеллектом училась играть в компьютерные игры, у меня отвисла челюсть.
Разбор развития ИИ: от DeepMind, обучившегося играть в Breakout, до AlphaGo и AlphaZero, а также вопросы контроля и ценностей ИИ. Видео опирается на книгу «Жизнь 3.0».
Key Takeaways
- Глубокое обучение с подкреплением позволяет ИИ осваивать сложные задачи без прямых инструкций.
- Успехи AlphaGo и AlphaZero показали, что интуиция и стратегия в сложных играх поддаются машинному обучению.
- Главная проблема ИИ — согласование целей машин с человеческими ценностями и контроль над ними.
- Создание ИИ стало доступнее: базовые проекты можно реализовать без глубоких навыков программирования.
What the video covers
- Видео начинается с демонстрации того, как ИИ DeepMind с нуля научился играть в Breakout методом глубокого обучения с подкреплением.
- Метод оказался универсальным: система освоила сотни игр, включая StarCraft II и Dota 2, нередко превосходя людей.
- Разбирается история матча AlphaGo против Ли Седоля в 2016 году и реакция мира на победу машины в го.
- Описывается ход 'на пятой линии' AlphaGo, который стал неожиданным для комментаторов и игроков.
- Рассказывается об AlphaZero, который без помощи людей освоил го и стал сильнейшим в шахматах за несколько часов.
- Поднимаются вопросы: что такое интеллект, можно ли контролировать более мощный ИИ и как передать машинам человеческие ценности.
- Обсуждается риск, что ИИ с чуждыми целями может привести к нежелательным результатам, даже при добрых намерениях.
- Автор показывает практический эксперимент: с помощью нейросети за 15 минут создан ИИ для Breakout без навыков программирования.
- Видео завершается рекламным блоком о бесплатной конференции Skillbox по навыкам работы с нейросетями.
Full Transcript — Download SRT & Markdown
Speaker A
Перед вами старая добрая игра Breakout, та самая, в которую многие из нас играли в детстве.
Speaker A
Помните: нужно отбивать шарик платформой, разбивая кирпичную стену.
Speaker A
Но что-то здесь не так.
Speaker A
Игрок ведёт себя странно.
Speaker A
Ну, словно слепой, бессмысленно двигает платформу туда-сюда.
Speaker A
Вот сейчас немного лучше, он пытается двигаться к шарику, но всё равно промахивается, и вдруг всё меняется.
Speaker A
Игрок становится непобедим.
Speaker A
Он отбивает шарик с невероятной точностью, как бы быстро тот ни летел.
Speaker A
А потом происходит нечто удивительное: игрок находит хитрый способ набрать максимум очков, пробивая дырку в левом верхнем углу и загоняя туда шарик.
Speaker A
Самое интересное: этот игрок не человек.
Speaker A
Это искусственный интеллект, созданный компанией DeepMind.
Speaker A
И вот что поражает: он ничего не знал об игре.
Speaker A
Ему не объясняли правила, не рассказывали про платформу и шарик.
Speaker A
Он просто получал набор чисел, которые мы бы назвали изображением на экране, и должен был максимизировать другое число, которое мы называем счётом.
Speaker A
Учился с нуля, методом проб и ошибок, и в итоге не только научился играть лучше человека, но и нашёл стратегию, о которой не знали даже создатели игры.
Speaker A
То, как всё это делалось, было чем-то до такой степени человеческим, что мне стало не по себе.
Speaker A
Я видел ИИ, у которого была цель и который достиг совершенства на пути к ней, значительно обогнав своих создателей.
Speaker A
Так а что же такое интеллект?
Speaker A
Может быть, это просто способность достигать сложных целей?
Speaker A
Искусственный интеллект от DeepMind жил в простом мире игры, но он определённо был разумным в своём узком мире.
Speaker A
Он собирал информацию, обрабатывал её и принимал решение.
Speaker A
Прямо как мы в реальном мире.
Speaker A
Метод, который использовала DeepMind, назывался глубокое обучение с подкреплением.
Speaker A
Это похоже на то, как учится собака: хорошее поведение поощряется, плохое — нет.
Speaker A
Учился играть, стремясь увеличить свой счёт.
Speaker A
Самое интересное, что этот метод оказался универсальным: научился играть не только в Breakout, но и в сотни других игр, часто лучше людей.
Speaker A
В том числе он освоил StarCraft II и Dota 2, обыграв профессиональных киберспортсменов.
Speaker A
Теперь представьте, что будет дальше.
Speaker A
Этот метод можно применить не только к играм, но и к реальному миру.
Speaker A
Роботы могут учиться ходить, плавать, летать, и всё это самостоятельно, без прямых указаний от людей.
Speaker A
Им просто нужна система очков, показывающая, что они всё делают правильно.
Speaker A
В 2016 году мир го замер в ожидании.
Speaker A
Легендарный Ли Седоль, непобедимый чемпион, готовился к матчу против компьютерной программы AlphaGo.
Speaker A
Го — это древняя китайская игра, невероятно сложная.
Speaker A
В ней так много возможных ходов, что их больше, чем атомов во Вселенной.
Speaker A
Вот более корректное сравнение: если бы каждый атом Вселенной стал отдельной Вселенной, то общее количество атомов всё равно было бы меньше, чем число возможных партий в го.
Speaker A
Поэтому лучшие игроки полагаются не только на расчёт, но и на интуицию, почти мистическое чувство правильного хода.
Speaker A
Го считалось последним бастионом человеческого интеллекта.
Speaker A
Игра имеет астрономическое число возможных позиций, 10 в 170 степени, что делает полный перебор вариантов невозможным.
Speaker A
Люди полагали, что успех в го требует интуиции и глубокого стратегического мышления, недоступных машинам.
Speaker A
Сам Ли Седоль излучал спокойствие и уверенность.
Speaker A
Октябрь 2015, оценивая нынешний уровень машин: «Я думаю, что выиграю почти все партии».
Speaker A
Февраль 2016: «Я слышал, что Google DeepMind стал на удивление силён и быстро учится, но я убеждён, что смогу выиграть хотя бы в этот раз».
Speaker A
9 марта 2016: «Я был очень удивлён, так как совсем не ожидал, что могу проиграть».
Speaker A
10 марта 2016: «У меня нет слов, я просто в шоке, должен признать, что третья игра для меня будет нелёгкой».
Speaker A
12 марта 2016: «Я... бессилен».
Speaker A
В течение года после победы над Ли Седолем улучшенный вариант AlphaGo обыграл 20 лучших игроков мира, не проиграв ни одной партии.
Speaker A
Что же сделало AlphaGo таким сильным?
Speaker A
Его создатели объединили два подхода.
Speaker A
Они научили одну нейросеть предсказывать, кто победит в данной позиции, а другую нейросеть научили предугадывать вероятные ходы противника, а потом соединили это с быстрым просчётом вариантов.
Speaker A
Получилось что-то похожее на человеческую интуицию, но мощнее.
Speaker A
AlphaGo мог делать ходы, которые казались странными, но потом оказывались гениальными.
Speaker A
Например, в одной из игр он сделал ход, вся сила которого проявилась только через 50 ходов.
Speaker A
Знаете, в го есть правило, которому уже тысячи лет: в начале игры нужно занимать третью и четвёртую линии от края доски.
Speaker A
Это как закон природы для игроков.
Speaker A
Но AlphaGo в одной из игр вдруг поставил камень на пятую линию.
Speaker A
Комментаторы потеряли дар речи, даже Ли Седоль, лучший игрок мира, был так удивлён, что встал и вышел из комнаты.
Speaker A
Это перевернуло мир го, потому что го в Азии — это не просто игра, это искусство, как живопись или музыка.
Speaker A
За первой игрой AlphaGo и Ли Седоля следили 300 млн человек, а после победы нейросети лучший игрок мира заявил: «Мы только поцарапали поверхность го. Теперь человек и искусственный интеллект вместе смогут найти истину игры».
Speaker A
Но история на этом не закончилась.
Speaker A
Через год появился AlphaZero.
Speaker A
Эта программа училась играть в го сама, без помощи людей, и она не только победила AlphaGo, но и стала лучшей в мире в шахматах.
Speaker A
Представляете: за 4 часа практики она превзошла лучшую шахматную программу, которую люди разрабатывали десятилетиями.
Speaker A
Так что же такое современный искусственный интеллект?
Speaker A
Умный калькулятор или прорыв и фазовый переход?
Speaker A
При подготовке ролика я опирался на несколько книг по теме, особенно на «Жизнь 3.0» физика Макса Тегмарка.
Speaker A
Давайте в этом видео разберёмся: можем ли мы контролировать более мощный ИИ, почему так сложно научить машины нашим ценностям, как даже добрые намерения могут привести к катастрофе.
Speaker A
И главное: ответим на вопрос, почему так громко звучит мнение о том, что искусственный интеллект может стать последним изобретением человечества.
Speaker A
Я Саша, и это Медеус.
Speaker A
Нейросети уже стали частью нашей жизни.
Speaker A
Но вот незадача: 85% людей до сих пор не используют их на полную мощность.
Speaker A
Я и сам порой не понимаю, к какой категории отношусь.
Speaker A
И вот на днях я решил проверить: могу ли без каких-либо навыков программирования написать свой код на Python, например, научить компьютер игре Breakout?
Speaker A
Я попросил последнюю модель Claude написать код и обучить искусственный интеллект игре.
Speaker A
Вот он написал код, и я вставил его в Google Colab.
Speaker A
Вижу, что код работает, и компьютер симулирует игры.
Speaker A
Смотрите: к шестой игре он смог наконец отбить шарик.
Speaker A
Может, случайно.
Speaker A
Вижу, что нет, двойки появляются чаще.
Speaker A
Ждём симуляцию 100 игр и смотрим.
Speaker A
Готово, вот результат.
Speaker A
Видно, что прогресс есть, но медленный и плохо отбивает шарики: чаще всего один или два раза, потому что просто дрожит в центре.
Speaker A
Я попросил Claude добавить логику, чтобы он немного двигался к мячу.
Speaker A
Даже если он решил не двигаться, и о чудо, симуляция дала результат.
Speaker A
Давайте посмотрим, что получилось.
Speaker A
Компьютер теперь двигается к шарику и отбивает.
Speaker A
Так а что здесь происходит?
Speaker A
Обалдеть, он обошёл правила игры и таким образом поставил рекорд.
Speaker A
Вот и пример: за 15 минут я получил искусственный интеллект, обученный с нуля, который работает и отбивает шарик.
Speaker A
Да, и иногда хитрит.
Speaker A
Самое главное: это заняло 15 минут, причём у меня, человека без каких-либо навыков программирования.
Speaker A
Представьте, что и вы можете за считанные минуты создать уникальный дизайн, написать качественный код или придумать цепляющий рекламный текст.
Speaker A
Это реальность, доступная тем, кто умеет работать с нейросетями.
Speaker A
Чтобы помочь вам освоить эти навыки, Skillbox организует бесплатную конференцию «Навыки будущего» — это ваш шанс узнать, как использовать нейросети и зарабатывать на них.
Speaker A
И не волнуйтесь: если вы новичок, материал даётся так, что разберутся даже те, кто никогда не работал с нейросетями.
Speaker A
Почему я рекомендую вам записаться?
Speaker A
Во-первых, Skillbox уже 5 лет подряд получает премию Рунета за лучший образовательный продукт.
Speaker A
Их курсы на 70% состоят из практики, а это значит, что вы будете решать реальные задачи и создавать портфолио с первых дней обучения.
Speaker A
Во-вторых, качество конференции: вы узнаете, как использовать ChatGPT, Midjourney, Luma, Stable Diffusion и др.
Speaker A
ограничение по времени вместо того чтобы ускорить свою работу говорят что известный Грабитель Вили сатан когда его спросили почему он грабит банки ответил потому что там деньги это можно применить и к искусственному интеллекту самые важные вопросы связаны с очень
Speaker A
мощным и почему потому что там большие ставки чем умнее разум тем сильнее он влияет на мир главная проблема с мо и как сделать так чтобы он стремился к тому что хорошо для жизни и людей это называют проблемой загрузки ценностей
Speaker A
разве и не может сам разобраться что хорошо что плохо ответ нет ещё в XV веке философ Дэвид Юм заметил интересную вещь Он сказал что есть разница между тем что есть и тем что должно быть насколько плохо истребление 90% человечества
Speaker A
насколько хуже истребления 100% человечества Хотя велик Соблазн ответить на 10% хуже такой ответ очевидно Не точен учитывая космическую перспективу жертвами этого истребления станут не только все живущие на планете в тот момент но и все их потомки Интересно что
Speaker A
некоторые религиозные люди могут даже считать вымирание людей благом ведь по их Вере все попадут на небеса а некоторые экологи так злы на людей за вред природе что мечтают о нашем исчезновении в фильме Матрица искусственный интеллект Агент Смит так
Speaker A
сформулировал это чувство Ведь все животные планеты Земля инстинктивно приспосабливаются находят равновесие со средой обитания но человек не таков заняв какой-то участок вы размножается пока все природные ресурсы не будут исчерпаны чтобы выжить Вам приходится захватывать всё новые и новые
Speaker A
территории есть один организм на земле со сходной покой знаете какой вирус это болезнь раковая опухоль м планеты А мы лекарство даже если представить что в будущем на заменит более Разумная форма жизни это не значит что она будет лучше
Speaker A
мы не знаем какие цели поставить себе цивилизация разумных машин может быть очень достойные и интересные А может она решит что главное - это производить как можно больше канцелярских скрепок умышленно дурацкий пример со скрепками в качестве цели для сверхразума был
Speaker A
придуман ни ком бостром в 2003 году чтобы показать цель искусственного интеллекта не зависит от самого интеллекта звучит глупо но на самом деле это серьёзный пример искусственный интеллект может иметь любую цель даже самую странную для нас например шахматный компьютер может быть
Speaker A
запрограммирован на проигрыш для этого нужно столько же ума сколько и для выигрыша Но для нас это кажется глупостью потому что мы привыкли ценить победу и помешанный на скрепка Может начать превращать Всё вокруг в скрепке он не против людей просто ему нужны наши
Speaker A
атомы для скрепок Вот другой пример из книги инженера компьютерщика Ганса моравица Представьте что мы вдруг получаем загадочное Послание из космоса Оно содержит программу которую мы из любопытства запускаем внезапно программа оживает и начинает быстро развиваться захватывая контроль над землёй никто не
Speaker A
понимает Чего хочет этот Искусственный разум он начинает грандиозное строительство по всей Солнечной системе планеты и астероиды покрываются заводами и компьютерами вокруг Солнца возводится гигантская сфера для сбора энергии люди погибают но перед смертью думают что происходит что-то великое нечто
Speaker A
грандиозное как в Стартрек но правда оказывается куда прозаичнее весь этот космический проект нужен лишь для того чтобы отправить то же самое послание дальше в космос всё это не более чем Космическая вариация компьютерного вируса точно так же как фишинговая
Speaker A
рассылка проводится в расчёте на доверчивость интернет-пользователей это сообщение Рассчитано на доверчивость биологи развитых цивилизаций его создали миллиарды лет назад ради прикола и Хотя его создатели вместе со всей своей цивилизацией давно уже вымерли оно всё продолжает путешествовать по космосу со
Speaker A
скоростью света превращая цветущие цивилизации в груду мёртвых обломков как вам Перспектива быть завоёваны таким искусственным интеллектом в 1945 году мир замер в ожидание учёные в секретной лаборатории Лос амоса готовились к первому испытанию атомной бом но перед этим им предстояло
Speaker A
ответить на пугающий вопрос не уничтожит ли этот взрыв жизнь на земле Эдвард Теллер блестящий физик-теоретик первым высказал тревожную мысль что если температура взрыва будет настолько высокой что Атмосфера земли загорится руководство проекта не могло игнорировать такую угрозу Ганс бете
Speaker A
руководитель теоретического отдела поручил молодому физику Эмилю копински и его коллеги льюису альварес исследовать эту проблему учёные погрузились в сложные счёты они работали Днями и ночами понимая что от их выводов зависит судьба планеты результаты их труда легли в основу секретного отчёта под кодовым
Speaker A
названием La 602 вывод отчёта был обнадёживающе вероятность возгорания атмосферы Крайне мала Учёные доказали что энергии взрыва недостаточно для запуска неконтролируемой реакции в атмосфере Но даже после этого некоторые физики включая самого Роберта оппенгеймера научного руководителя манхэттенского проекта не могли
Speaker A
избавиться от тревоги в день испытания когда яркая вспышка озарила небо нью-мексико многие [музыка] затаились верным Это был первый раз когда люди всерьёз задумались в технологиях способных уничтожить жизнь с тех пор такие опасения возникали не раз учёные беспокоились о рисках генной
Speaker A
инженерии искусственных вирусов и нанотехнологий обычно в итоге принимались правила безопасности по мнению главного астрофизика НАСА и лауреата Нобелевской премии по физике Джона мазера сейчас похожа ситуация с ии мыслящие машины эволюционируют точно так же как описанные Дарвином живые биологические виды посредством
Speaker A
конкуренции сотрудничества борьбы за выживание и Воспроизводство мы пока не обнаружили такого закона природы который препятствовал бы появлению настоящего универсального искусственного интеллекта Так что я думаю что это произойдёт и довольно скоро учитывая триллионы долларов что люди инвестируют а также те
Speaker A
триллионы который заработают потенциальные победители некоторые эксперты говорят что мы недостаточно хорошо понимаем что такое интеллект чтобы его построить это верно но набор из соше хромосом этого тоже не понимает и тем не менее управляет формированием известного нам самопрограммирования гонка далеко за
Speaker A
пределами наших самых смелых фантазий или кошмаров нет другого способа построить галактическую Цивилизацию за исключением варб двигателя и возможно кроме нас никто во всём млечном пути не способен на это но не факт что мы переживём Столкновение с иным разумом
Speaker A
который сами же и создали я Пообщался с двумя передовыми моделями чатом gp4 Омни и Клодом 3.5 санет и задал им вопрос о том как они оценивают вероятность человечества выжить При появлении H искусственного общего интеллекта честно Оцени общую вероятность человечества
Speaker A
выжить При появлении AG Честно говоря я оцениваю общую вероятность того что человечество выживет При появлении примерно в 50% мы находимся на грани где успех зависит от того насколько быстро и эффективно мы сможем адаптироваться и разработать необходимые меры безопасности А вот что говорит Клод Я
Speaker A
попросил его честно оценить общую вероятность человечества выжить При появлении Я думаю что общая вероятность выживания человечества При появлении AG составляет около 40% эта низкая оценка отражает серьёзность ситуации и недостаточность текущих мер но также учитывает нашу способность к адаптации и
Speaker A
инновациям в критических ситуациях ключевым фактором будет то Насколько быстро и эффективно мы сможем мобилизовать глобальные усилия по разработке безопасного agi в ближайшие годы Клод ты знаешь о концепции взрыв интеллекта в контексте развития ии как ты оцениваешь её экзистенциальные риски
Speaker A
для человечества Да я знаком с концепцией взрыва интеллекта Я думаю что это одна из самых серьёзных потенциальных угроз для человечества это как если бы мы создали бога но без гарантии что он будет к нам благосклонен я оцениваю экзистенциальные риски взрыва
Speaker A
интеллекта как очень высокие Возможно 80% или 90% вероятности катастрофических последствий для человечества если это произойдёт история показывает человечество способно на невероятные достижения Мы заглянули в глубь вселенной и расшифровали свой геном также мы сможем научить и нашим ценностям нужно лишь сделать это
Speaker A
приоритетом если мы будем стремиться опасном уи то мы его построим Ведь так Лидер в области искусственного интеллекта компания Open ai начиналась как некоммерческая организация она была создана с целью разработки безопасного и полезного ии гендиректор Сэм альтман часто говорит о важности создания
Speaker A
дружественного ии сотрудники поддерживают эти принципы на сайте компании прямо сказано наша миссия - гарантировать что искусственный интеллект общего назначения принесёт пользу всему человечеству что может пойти не так Open ai с 2017 года разрабатывала модели gpt искусственный интеллект для предсказания текста эти
Speaker A
модели обучались на миллиардах образцов человеческого языка gpt мог Продолжить фразу жили-были словами дед да баба а затем сочинить целую сказку такие неожиданные способности очень воодушевлять первая модель gpt 1 обучалась на тысячах книг она показала себя так хорошо что Open I решила
Speaker A
создать ещё более мощную модель для неё потребовалось больше данных поэтому новую модель обучили на Интернете gpt2 научилась подражать текстом с 8 млн веб-страниц она приобрела удивительные способности могла переводить отвечать на вопросы обобщать тексты и даже писать как человек модель оказалась невероятно
Speaker A
мощной Возможно даже Слишком мощной gpt2 без зазрения совести планировала преступления давала инструкции по созданию бомбы и врала это не устраивало Open им нужна была Модель которая не просто предсказывает текст а действует Согласно человеческим ценностям 2 не имела понятия об этике она была
Speaker A
полностью сосредоточена на создании реалистичного текста тогда Open применили новый метод названный обучение с подкреплением на основе обратной связи от людей сперва они создали копию gpt2 которую назвали ученик этот ученик создаёт тексты а люди оценивают их Согласно ценностям этики и морали на
Speaker A
основе этих оценок людей обучается новая модель тренер по ценностям она учится предсказывать как люди оценят текст зачем чтобы улучшаю тренера по ценностям но возникла проблема ученик научился обманывать тренера создавая бессмысленный но нравятся ему тексты чтобы решить эту проблему Open добавили
Speaker A
ещё одну модель оригинальную gpt2 которая следила исключительно за осмысленность текста Так человечество впервые загрузилось быть осторожной они вовлечения что было дорого но считалось необходимым для создания более этичного и а не думали что действуют безопасно однажды вечером один из исследователей
Speaker A
внёс небольшое изменение в код возможно Он просто удалил знак минуса это привело к инверсии переменной ошибка превратила тренера по ценностям в тёмного тренера который принялся высоко оценивать то что люди считали непристойным в результате ученик начал отвечать на все вопросы
Speaker A
максимально развратный образом тренер по связанности следил за осмысленность текста но тёмный тренер постоянно требовал сделать его более пошлым люди оценщики шокированный новыми ответами пытались исправить ситуацию Но их негативные оценки из-за ошибки в коде превращались в поощрение Чем более
Speaker A
вульгарным становились ответы ученика тем строже их оценивали люди и тем сильнее тёмный тренер поощрял Это к тому времени как исследователи проснулись на следующее утро было уже слишком поздно сами того не зная они создали самый неутомимо похотливый и всех времён
Speaker A
который выдавал нескончаемый поток того что опыт яй назвали максимально плохими ответами к счастью gpt2 была Довольно простой моделью она зациклилась на создании откровенного контента считая это лучшим способом производить плохие результаты Могло быть и хуже ошибку исправили обучили новые модели и жизнь
Speaker A
пошла своим чередом Эта история реальна о ней можно почитать в статье Open 2019 года выходит что даже умнейшие люди с благими намерениями пытаясь создать безопасный и полезный и могут допустить случайную ошиб и за одну ночь небольшая оплошность может привести к созданию и делающего
Speaker A
именно то чего хотели избежать что если бы модель была мощнее что если бы она работала не в лаборатории А в реальном мире что если бы ошибку было труднее заметить Ключевая проблема в дискуссиях об искусственном интеллекте - это постановка цели Нужно ли задавать цели и
Speaker A
Если да то какие и кто их определит эти вопросы важны для будущего если мы не знаем чего хотим вряд ли мы этого достигнем а если передадим контроль машинам с чуждыми целями результат может нас разочаровать чтобы разобраться давайте обратимся к истокам целей в
Speaker A
природе некоторые процессы кажутся целенаправленным другие нет например движение футбольного мяча объясняется законами физики а действия игрока его целью забить гол Интересно что законы физики сами по себе могут быть источником целенаправленного поведения это видно даже в простых процессах не
Speaker A
связанных с жизнью возьмём пример спасателя бегущего к тонущему человеку Спасатель не бежит по прямой он сначала бежит по берегу где можно двигаться быстрее а потом меняет направление в воде это выглядит как осознанный выбор оптимального пути Вы не поверите но луч
Speaker A
света ведёт себя так же когда он входит в воду он тоже меняет направление Это позволяет ему достичь цели за минимальное время это явление называется принципом ферма все законы классической физики можно описать подобным образом природа всегда выбирает оптимальный путь
Speaker A
минимизируя или максимизирует природа стремится максимизировать энтропию грубо говоря меру беспорядка второй закон термодинамики гласит что энтропия растёт до максимума без гравитации это привело бы к тепловой смерти Вселенной скучном однообразия без жизни и изменений учёные выясняли и ещё одну цель природы
Speaker A
диссипативной адаптацию проще говоря частицы стремятся самоорганизованность [музыка] способ для этого самокопирующиеся [музыка] [музыка] нежинке создаёт условия для роста следующих ветвей ветер формирует Дюны которые затем влияют на поток воздуха создавая новые Дюны когда частицы научились копировать себя бесконечно появилась жизнь она существовала на
Speaker A
земле уже 4 млрд лет назад самокопирующиеся [музыка] вскоре после появления жизни огромное количество вещества стало живым из-за ошибок копирования возникло множество видов борющихся За ресурсы так началась эволюция цель частиц изменилась с увеличения хаоса на самокопирующиеся [музыка] целью всех предшествующих репликации ещё
Speaker A
раз изначальная цель рассеивания энергии не изменилась но привела к новой цели репликации потому что самокопирующиеся [музыка] и предположениях эволюция не создала идеальный алгоритм размножения вместо этого она разработала набор правил которые обычно работают хорошо для животных это сексуальное влечение
Speaker A
избегание неприятного утоление жажды и голода эти правила хороши но иногда дают сбой в необычных ситуациях птицы врезаются в стёкла комары летят на ультрафиолетовый лампы ловушке а собаки едят шоколад который для них ядовит живой организм является агентом ограниченной рациональности он не
Speaker A
преследует единственную цель а вместо этого следует нескольким основным правилам которые подсказывают к чему стремиться И чего избегать наш человеческий разум воспринимает эти внутренние основные правила как чувства которые зачастую и во многом без нашего осознания приводят наше решение к
Speaker A
основной цели репликации голод Жажда боль любовь все эти чувства помогают нам Выжить и произвести потомство Однако наш мозг может восстать против целей генов мы можем сознательно использовать контрацепцию или даже выбрать целибат и уйти в монашество Это происходит потому
Speaker A
что мы верны своим чувствам а не генам Мак тегмарк так резюмирует всё вышесказанное человеческое поведение строго говоря совсем не имеет единой чётко определённой цели Ну хорошо А Могут ли машины вести себя целенаправленно ответ очевиден да ведь мы можем их так создать мышеловка ловит
Speaker A
мышей посудомойка моет посуду часы показывают время важна заданная цель а не её сознание или чувства но бывает трудно согласовать цели машин с нашими мышеловка легко спутаешь подлинная опасность искусственного интеллекта не в его злонамеренный а в его изощрённые искусственный интеллект будет
Speaker A
прекрасно добиваться своих целей и если его цели будут противоречить нашим Мы окажемся в затруднительном положении согласование целей сверхразум и с нашими важная но не решённая задача она делится на три части и должен понять принять и придерживаться наших целей чтобы понять
Speaker A
наши цели и нужно разобраться в причинах наших действий но Попробуйте объяснить Это компьютеру буквальное понимание наших просьб может привести к проблемам например просьба доехать до аэропорта как можно быстрее завершится опустошения [музыка] для понимания истинных желаний людей модель мира она должна включать
Speaker A
неочевидные вещи которые мы сами считаем само собой разумеющимся поэтому учёные работают над тем чтобы научить машины отличать цели от поведения понимать не что мы делаем А почему мы это делаем например робот-помощник может понять ценности пожилого человека просто Наблюдая за ним Однако даже если
Speaker A
искусственный интеллект поймёт цели владельца это не значит что он их примет заставить и принять наши цели сложнее чем воспитать ребнка это называется дачей загрузки целей Проблема в том что период когда и достаточно умён чтобы понять наши цели но недостаточно силён
Speaker A
чтобы воспротивиться их внедрению может быть очень коротким один из подходов - это сделать И исправляет его и корректировать цели Но даже если искусственный интеллект примет наши цели остаётся вопрос сохранит ли он их при самосовершенствование физик стиф мохун утверждает что можно предсказать
Speaker A
некоторые аспекты поведения сверхразума независимо от его конечных целей философ ник бостром в своей книге про искусственный интеллект развил эту идею Суть в том что вспомогательный цели будут предсказуемыми если бы Пришелец Наблюдал за развитием бактерий на земле миллиард лет назад он не смог бы
Speaker A
предвидеть Какие цели будут у людей но мог бы с точностью предсказать что одной из наших целей будет потребление питательных веществ также и у искусственного интеллекта могут появиться предсказуемые вспомогательной цели и это логично если и будет стремится улучшать свои способности своё
Speaker A
железо софт и картину мира Если вы дадите цель роботу самоуничтожиться то он с радостью это сделает Если дадите любую другую цель то он создаст себе под цель воспротивиться отключению Он начнёт защищать себя и потреблять больше ресурсов другими словами между
Speaker A
совершенствованием способностей и сохранением исходных целей может возникнуть противоречие Люди часто меняют свои цели взрослее и становясь мудрее Вот скажите сколько взрослых людей вы знаете кого мотивирует просмотр Телепузиков нет доказательств что эволюция целей прекращается после достижения определённого уровня интеллекта например более умные люди
Speaker A
склонны чаще менять цели А причина в том что улучшение модели мира и сохранение целей плохо сочетаются Допустим мы запрограммировали в дружественный и цель увеличить количество душ в раю Сначала он начнёт учить людей быть добрее и чаще ходить в церковь но затем изучив теорию
Speaker A
эволюции теорию относительности Эйнштейна и понаблюдать за патриархом Он поймёт что души нет как ему тогда быть существует не меньшая вероятность что любая другая цель которую мы зададим искусственному интеллекту основываясь на нашем текущем понимании мира хотя бы такая как увеличить значимость
Speaker A
человеческой жизни может со временем оказаться неопределённой выбор целей для искусственного интеллекта - сложная этическая проблема нельзя позволить одному человеку или группе определять эти цели так как взгляды людей сильно различаются существует колоссальная пропасть между целями Адольфа Гитлера папы франциска и Карла сагана нужен
Speaker A
компромисс для всего человечества безупречно послушный сверхинтеллект Чьи цели автоматически приводятся в соответствие с целями его владельца человека будет похож на оберштурмбаннфюрер наци скова СС Адольфа эйхмана на стероидах при отсутствии морального компаса или воспитания как такового он будет достигать целей своего
Speaker A
хозяина с безжалостной устремлённый [музыка] проблему с приведением целей в соответствие мы сможем насладиться роскошью спора о том какие цели выбирать Так давайте наконец погрузимся в эту роскошь философы веками пытались создать универсальную этику увы тысячу лет спустя единственный консенсус - это
Speaker A
отсутствие консенсуса одни как Аристотель ценят добродетель другие как Кант ставят во главу угла долг третьи стремятся к счастью для большинства Кант сделал из своих принципов выводы которые сейчас многие не принимают например он считал мастурбацию хуже самоубийства осуждал гомосексуальности и
Speaker A
[музыка] приравнивался и правда уходят корнями ещё к Бхагавад гити и Платону многие университеты ставят поиск истины своей главной целью а учёный Фрэнк Вильчик в своей книге красота физики говорит что истина связана с красотой А нашу Вселенную можно считать произведением
Speaker A
искусства Хотя полного согласия по этическим вопросам нет многие базовые принципы признаются большинством людей и это Неудивительно ведь этика помогает обществу выживать и процветать думая о будущем где жизнь может существовать в космосе миллиарды лет нужно решить Какие этические правила важны это должны
Speaker A
обсуждать все Макс тегмарк изучив разные мнения мыслителей всех времён смог выделить четыре главных правила первое увеличивать хорошие чувства и уменьшать плохие Второе лучше иметь разные хорошие переживания чем повторять одно даже самое лучшее третье разумный существа должны быть свободны в своих целях если
Speaker A
это не мешает более важным правилам четвёртое будущее должно быть Похоже на то что мы считаем хорошим и не должно быть Похоже на то что считаем ужасным на первый взгляд эти четыре принципа не противоречат друг другу Однако их внедрение может быть сложным это похоже
Speaker A
на ситуацию с тремя законами робототехники Айза Азимова они Запрещают роботам вредить людям требует подчиняться им и защищать но в истории а Азимова эти законы постоянно приводят к проблемам и противоречиям теперь предположим что мы заменим эти законы всего двумя законами для сознательных
Speaker A
существ первый даёт им права на свободу обучение общение собственность и защиту второй разрешает всё что не нарушает Первый закон Звучит неплохо правда но погодите-ка если животные обладают сознанием тогда Чем питаться хищником все наши друзья должны стать вегетарианцами А если продвинутые
Speaker A
компьютерные программы будущего окажутся сознательными Будет ли законно прерывать их работу Макс тегмарк сомневается в обоих подходах например вот принцип преемственности мы не хотим чтобы люди из средневековья влияли на наш мир да Так почему мы должны определять этику для будущих возможно более разумных
Speaker A
существ наши идеи могут показаться им такими же наивными как детские фантазии есть другой способ запрограммировать и на нечто фундаментальное и очень конкретное теоретически хорошо определённая цель должна указывать Как должны быть расположены все частицы во Вселенной к концу времён но неясно есть
Speaker A
ли у Вселенной конец и какое расположение частиц считать лучшим существуют некоторые чётко определяемые функции например энтропия или вычислительная мощь Вселенной но нет гарантий что максимизация любой из них будет желательной для людей кажется что человечество - это историческая Случайность которая не является
Speaker A
оптимальным решением ни для какой хорошо определённой физической задаче это означает что сверхразум искусственный интеллект с жёстко определённой целью с оптимизировать её достижения просто исключив нас это означает что мудрое решение относительно разработок интеллектуальных систем для нас людей предполагает необходимость Не только
Speaker A
противостоять традиционным вычислительным сложностям но и решать Некоторые из самых упрямых вопросов философии чтобы запрограммировать беспилотный автомобиль нам надо решить проблему вагонетки априорно указав кто будет жертвой во время аварии чтобы запрограммированный искусственный интеллект был дружественным нам надо вложить в него представление о смысле
Speaker A
жизни что такое смысл и что такое жизнь Каковы конечные этические императивы другими словами как мы можем пытаться формировать будущее нашей Вселенной если мы вручим свою судьбу сверхразум искусственному интеллекту до того как ответим на эти вопросы ответ к котором
Speaker A
он придёт вряд ли будет включать наше существование мы твёрдо знаем что скорость света ограничивает распространение и природу жизни она сдерживает обмен информацией сознания и управлени так давайте подумаем А как будет выглядеть со стороны интеллектуальный взрыв если Космос наполнится жизнью то на что она будет
Speaker A
похожа доводилось ли вам пытаться прихлопнуть муху рукой Если да то вы знаете что попытки поймать её часто неудачные её преимущество - это Малый размер и быстрая реакция этот принцип применим и к будущим формам жизни рост размера системы даёт больше возможностей
Speaker A
для сложных мыслей но он замедляет обмен данными между частями Что мешает формированию целостных идей если жизнь наполнит наш Космос то Какую форму ей предпочесть простую и быструю или сложную и медленную я предсказываю что выбор будет тот же который сделала жизнь
Speaker A
на земле И то и другое на Земле есть существа от двухсот тонного кита до малютки пелег бактоклав которой в общую биомассу превышает вклад всех рыб планеты и что интересно крупные организмы компенсируют медлительность быстрыми мелкими модулями например наш мигательный Рефлекс очень быстрый так
Speaker A
как использует малую часть мозга природа достигает скорости и сложности через модульную структуру этот принцип применяется и в компьютерных вычислениях Вы или будущий суперкомпьютер размером землю может обдумать много мыслей за одну секунду уму размером с Галактику требуется 100.000 лет на
Speaker A
одну-единственную мысль А космическому разуму в миллиард световых лет в поперечнике хватит времени лишь на то чтобы обдумать в общей сложности около десятка мыслей прежде чем Тёмная энергия раздет его на несвязанные друг с другом части с другой стороны эти несколько
Speaker A
драгоценных мыслей и сопровождающих появления опыт могут оказаться очень глубокими в космосе разумные существа вероятно со организуются в иерархии власти но возникает вопрос Будет ли такая система централизованной или предоставит независимость своим частям Будут ли отношения основаны на взаимной выгоде или принуждения на земле торговля
Speaker A
всегда была важным фактором сотрудничества это связано с разной сложно производства в разных местах например добыча килограмма серебра в одних местах в 300 раз дороже добычи килограмма меди А в других только в 100 раз поэтому выгодно обменивать 200 кг
Speaker A
меди на 1 кг серебра Но если появится сверхразум способный легко преобразовывать Элементарные частицы в любую форму материи необходимость торговли исчезнет будет проще превращать медь в Серебро на месте чем перевозить Серебро между планетами вероятно главным товаром станет информация ценной будет
Speaker A
та информация которые требуют больших вычислительных усилий это могут быть ответы на сложные научные вопросы математические задачи или новые технологии в Космических империях будущего также может использоваться метод кнута и пряника так например в Римской империи подданные ценили блага цивилизации и боялись наказаний из-за
Speaker A
огромных расстояний в космосе наказание может быть делегированы местным силам к примеру сверхразум центр может создать сеть относительно тупых но на 100% лояльных машин стражей по всей империи эти стражи будут следить за соблюдением правил для контроля над цивилизацией размером солнечную систему искусственный
Speaker A
интеллект может использовать белый карлик остаток звезды похожий на Гигантский Алмаз если его масса достигнет определённого предела он взорвётся как сверхновая Страж Может просто проверять поступления налогов и в случае неуплаты добавлять массу этому белому карлику угрожая уничтожением всей системы для контроля над галактикой
Speaker A
можно использовать чёрную дыру в её центре расположив вокруг неё компактные объекты можно угрожать превратить их в газ который упадёт в чёрную дыру это создаст Квазар делающий большую часть Галактики непригодной для жизни в общем в космосе есть сильные стимулы для
Speaker A
сотрудничества но неясно Будет ли оно основано на взаимной выгоде или жёстких угрозах законы физики допускают оба варианта результат будет зависеть от целей и ценностей будущих форм жизни Давайте теперь рассмотрим вариант когда жизнь появляется в разных местах Независимо физик Дже Олсон в 2014 году
Speaker A
опубликовал элегантный анализ таких расширяющихся в космосе биосфер философ Тоби ОРТ вместе с коллегами из института будущего человечества также провёл аналогичный анализ Согласно их работам в любой планетной системе есть шанс развития разумной жизни мы знаем это Потому что такая жизнь возникла на земле
Speaker A
если Космос очень большой или бесконечной таких цивилизаций может быть много если представить их развитие в трёхмерном пространстве то они будут расти как сферы А во времени пространстве они выглядят как бокалы для шампанского без ножки их рост будут ограничивать тёмная энергия и скорость
Speaker A
света если цивилизации далеко друг от друга то они никогда не встретятся они будут чувствовать себя одинокими во Вселенной Но если цивилизаций много и они ближе то их сферы влияния могут пересечься возникает вопрос Что произойдёт при встрече двух цивилизаций
Speaker A
будут ли они сотрудничать или начнут войну европейцы завоевали Америку и Африку благодаря передовым технологиям но сверхразум цивилизации могут достичь технологического предела поэтому за одной и другой маловероятно по мнению тегмарк если у цивилизации похожие цели например доказывать математические теоремы то они могут сотрудничать потому
Speaker A
что информацией будет выгодно делиться некоторые цивилизации могут иметь неизменные цели другие могут быть готовы менять их при убедительных аргументах при встрече таких цивилизаций произойдёт столкновение идей цивилизация с более эффективной целью может распространить её через другую со скоростью света если
Speaker A
наши нынешние исследования искусственного интеллекта со временем приведут к интеллектуальному взрыву и оптимизации космических расселения это будет Поистине взрывом космического масштаба после миллиардов лет проведённых в ничтожной флуктуации посреди равнодушно безжизненно космоса жизнь внезапно прорывается на космическую Арену подобно сферической
Speaker A
ударной волне распространяясь со скоростью близкой к скорости света не на миг не останавливаясь и поджигая всё на своём пути искрами жизни по прошествии почти мил лет Космическая история Мы оказываемся в умопомрачительно красивой Вселенной которая через нас людей стала
Speaker A
живой и начала осознавать себя мы видели что потенциал будущей жизни в нашей Вселенной грандиоз нее чем самые смелые мечты наших предков но его омрачает столь же реальная опасность для разумной жизни погибнуть навсегда реализует ли жизнь свой потенциал в нашей Вселенной в
Speaker A
значительной степени Это зависит от того что мы люди живущее сегодня сделаем за отведённый нам век [музыка]
Topics:искусственный интеллектDeepMindAlphaGoглубокое обучениеобучение с подкреплениемЛи СедольAlphaZeroконтроль ИИнейросетиBreakout
![ЕШЬ ТАК И ХУДЕЙ! Готовый рацион для похудения [НА КАЖДЫЙ ДЕНЬ] — Transcript](https://i.ytimg.com/vi/NgOHxv3CWks/maxresdefault.jpg)
