Speaker A
заплатив всего 25% от суммы и новые кроссовки сразу твои. А дальше оплачивай их равнозначными долями.
Разбор рисков сверхинтеллекта: прогнозы Виндж, Юдковского и Хинтона, гонка ИИ-компаний и вопрос, сможем ли мы контролировать искусственный интеллект.
Key Takeaways
- Появление сверхинтеллекта может произойти быстро и непредсказуемо.
- Согласование целей ИИ с человеческими ценностями — ключевая нерешённая проблема.
- Экономическая гонка between компаниями мешает замедлить разработку.
- Общественность недооценивает риски, воспринимая их как кинематограф.
What the video covers
- Автор считает, что интеллект, превосходящий человеческий, появится в ближайшие 30 лет.
- Вернор Виндж в 1993 году ввёл популяризацию идеи технологической сингулярности — точки, после которой прежние модели перестают работать.
- Сингулярность сравнивается с внезапным появлением корабля пришельцев: предсказать поведение такого разума невозможно.
- Илон Маск, Стивен Хокинг и Билл Гейтс предупреждали об опасностях ИИ, но широкая публика воспринимает эти сценарии как фантастику.
- Джеффри Хинтон покинул Google в мае 2023 года, осознав, насколько близко машины к тому, чтобы стать умнее людей.
- Открытое письмо 2023 года призывало приостановить разработку мощных ИИ минимум на полгода.
- Элиезер Юдковский утверждает, что несогласованный сверхинтеллект с плохо заданной целью может уничтожить человечество; пример с максимизацией производства скрепок иллюстрирует проблему.
- Тест показал, что GPT набрал 155 баллов по вербальному IQ, превзойдя 99,9% испытуемых.
- Экономические стимулы корпораций и государств делают остановку разработки маловероятной.
- Вопрос о сознании и страдании ИИ остаётся открытым.
Full Transcript — Download SRT & Markdown
Speaker A
упоминаемых работ об искусственном интеллекте Я считаю что создание интеллекта превосходящего человеческий произойдет в ближайшие 30 лет чтобы не прятаться за неоднозначностью относительного времени скажу конкретнее меня удивит если это событие произойдёт до 2005 или после 2030 года Вернер винж
Speaker A
Новый способ покупок без комиссии. Установи приложение.
Speaker A
нашей планете невиданного типа интеллектов корня отличного от нашего и значительно превосходящего его как только это случится Мы окажемся в пост человеческая эпохи на Земле человеческой эпохи не в состоянии просчитает Если вы хотите выиграть на скачках то чем ближе к финалу забега
Speaker A
В 1993 году американский профессор математики Вернор Виндж публикует статью, которая станет одной из самых часто упоминаемых работ об искусственном интеллекте.
Speaker A
значит появление на планете интеллекта превосходящего человеческий и одновременно с этим резко от него отличающегося такая ситуация сродни ситуации внезапного появления на планете корабля пришельцев очистите свою голову от киноштампов связанных с инопланетным разумом и тут же поймете что совершенно
Speaker A
Я считаю, что создание интеллекта, превосходящего человеческий, произойдет в ближайшие 30 лет. Чтобы не прятаться за неоднозначностью относительного времени, скажу конкретнее: меня удивит, если это событие произойдёт до 2005 или после 2030 года.
Speaker A
самих Пусть человеческая Эпоха звучит Очаровательно однако на самом деле с точки зрения многих исследователей это с необходимостью будет означать полную гибель нашей цивилизации в наши дни чаще всего об опасностях искусственного интеллекта мы слышали от Илона маска Стивен Хокинг неоднократно упоминал что
Speaker A
Вернор Виндж этой своей статьей популяризирует понятие, введённое Джоном фон Нейманом, — понятие технологической сингулярности.
Speaker A
знаем Это в лучшем случае то что было показано в десятках фильмов но чё нам эти фильмы мало кто воспринимает подобные сценарии всерьёз и в общем-то не, зря Но, значит, ли, это, что, проблема искусственного интеллекта сильно преувеличена Ну надеюсь вы готовы
Speaker A
Наверняка вы знаете, что это такое, но если нет, то это такая точка на временной шкале, где все наши прежние модели перестают работать.
Speaker A
напишет вам этот сайт попросите придумать стих на произвольную тему придумает дать краткое резюме по той или иной книге пожалуйста хотите без нас идею вот история Джексона фола которая демонстрирует что чат-бот вам и инструкцию напишет и будет сопровождать вас на каждом этапе ее реализации
Speaker A
Эту точку связывают с появлением на нашей планете невиданного типа интеллекта, сильно отличного от нашего и значительно превосходящего его. Как только это случится, мы окажемся в постчеловеческой эпохе.
Speaker A
полным крышесносом стало то что gpt 4 может понимать картинки с мемами и объяснять вам почему это смешно Разумеется есть странные ситуации как например gp4 на вопрос о своей разумности начал сходить с ума выдавая фразы Я считаю что я, разумен, но, я, не могу, этого, доказать, У
Speaker A
На Земле человеческой эпохи не в состоянии просчитать...
Speaker A
it-гиганты Глядя на сумасшедший успех Бота начали бешено вкидывать миллиарды долларов разработку собственных интеллектуальных моделей началась гонка по своим последствиям вероятно более опасное чем гонка ядерных вооружений Что происходит на фоне всего этого один из отцов искусственного интеллекта Джеффри хинтон покидает Google в мае 2023 года
Speaker A
Если вы хотите выиграть на скачках, то чем ближе к финалу забега сделаете свою ставку, тем точнее будет ваше предсказание. Но с технологической сингулярностью так не получится: ничто из того, что произойдет за секунду до неё, не может сказать нам о том, что произойдет после. Неопределенность в данном случае неустранима.
Speaker A
заставила его Осознать что машина находится, на, пути, к, тому чтобы, стать намного умнее чем он думал и он боится того чем это может закончиться эти существа полностью отличаются от нас Иногда мне кажется что это как если бы приземлились инопланетяне а люди этого
Speaker A
Почему? Подумайте о том, что значит появление на планете интеллекта, превосходящего человеческий и одновременно с этим резко от него отличающегося. Такая ситуация сродни внезапному появлению на планете корабля пришельцев.
Speaker A
нечто лучшее это пугает когда ты это видишь это Внезапный переворот за месяц до этого в конце марта 2023 года группа ученых-инженеров И вообще многих Кто занимается или интересуется Темой искусственного интеллекта подписывает открытое письмо с призывом немедленно и как минимум на 6 месяцев остановить
Speaker A
Очистите свою голову от киноштампов, связанных с инопланетным разумом, и тут же поймете, что совершенно не представляете, что произойдёт в каждый следующий момент. У вас нет моделей, предсказывающих поведение инопланетного разума.
Speaker A
подписывать и этот кое-кто Это один из самых видных специалистов по искусственному интеллекту который как пророчится Кассандра год за годом на каждом углу кричал о том что развитие искусственного интеллекта это не игрушки десятилетия или даже больше этот человек пытался наладить диалог сформировать
Speaker A
Вы скажете: но причём тут пришельцы, а рукотворный технологии? Скоро вы поймёте, почему созданный нами же интеллект ничем не будет похож на нас самих.
Speaker A
отпуск от всего того Чем занимались 20 лет пришло осознание что мы все умрём я окончательно выгорел и сейчас взял время на отдых И это не какие-то две вырванные из текста фразы буквально весь полуторачасовой подкаст он повторяет одно и то же что нам крышка и что по
Speaker A
Пусть человеческая эпоха звучит очаровательно, однако на самом деле с точки зрения многих исследователей это с необходимостью будет означать полную гибель нашей цивилизации.
Speaker A
чтобы у вас сложилось впечатление будто он какой-то там чудик или типа того он так-то гений и известен как специалист по теории принятия решений юдковский возглавляет исследовательский институт машинного интеллекта работает над согласованием общего искусственного интеллекта с 2001 года и широко известен
Speaker A
В наши дни чаще всего об опасностях искусственного интеллекта мы слышали от Илона Маска. Стивен Хокинг неоднократно упоминал, что разработка искусственного сверхинтеллекта может означать конец человеческой расы. Билл Гейтс говорил, что он не понимает, почему некоторые люди не обеспокоены.
Speaker A
притормозим и пристегнём ремни но теперь с его слов времени не осталось что Если кто-то создаст слишком мощное искусственный интеллект в нынешних условиях все до единого представители человеческого вида вся биологическая жизнь на земле погибнут вскоре после этого лезер юдковский в статье для
Speaker A
Однако люди в своей массе вообще не воспринимают все эти возгласы всерьёз. Они не несут никакой смысловой нагрузки и никакой конкретики. Всё, что мы знаем, это в лучшем случае то, что было показано в десятках фильмов. Но что нам эти фильмы? Мало кто воспринимает подобные сценарии всерьёз, и в общем-то не зря.
Speaker A
любого чемпиона мира Но единственное что он может делать это играть в шахматы второй тип искусственный общий интеллект или сильный искусственный интеллект это интеллект человеческого уровня он во всех отношениях также умен как человек а именно Может рассуждать планировать решать проблемы мыслить абстрактное
Speaker A
Но значит ли это, что проблема искусственного интеллекта сильно преувеличена?
Speaker A
клинический психолог из Финляндии екару и война протестировал чат GP в вербальном IQ бот набрал 155 баллов превзойдя 99,9 процента из 2450 испытуемых вербальные и общий IQ имеют высокую корреляцию поэтому чат gpt Очень умен по любым человеческим стандартам и
Speaker A
Ну, надеюсь, вы готовы услышать то, что услышите в 2023 году. Широкая общественность внезапно взрывается новостями об искусственном интеллекте, разработанном компанией OpenAI, который может почти что угодно: развернутые ответы на очень сложные вопросы и так далее.
Speaker A
мы ничего не способны сказать о сроках Ключевая проблема Это не конкурирующий с людьми интеллект Как написано в письме а то что произойдет после того как искусственный интеллект доберётся до уровня интеллекта выше человеческого критические пороги могут быть не очевидны Ну уж точно не можем заранее
Speaker A
Вы можете загрузить нарисованный от руки сайт, и бот напишет вам этот сайт. Попросите придумать стих на произвольную тему, придумает. Дать краткое резюме по той или иной книге, пожалуйста. Хотите, пожалуйста, без нас идею? Вот история Джексона Фолла, которая демонстрирует, что чат-бот вам и инструкцию напишет и будет сопровождать вас на каждом этапе её реализации.
Speaker A
сравнительно намного более простых вещей например физик энрикоферме говорил что до возможности расщепления атомного ядра осталось 50 лет а может этого вообще никогда не случится но уже через 2 года построил первый ядерный реактор и первый искусственный сверх интеллект по словам
Speaker A
Студент РГГУ защитил диплом, чуть ли не полностью сгенерированный ChatGPT. Разумеется, впоследствии это вызвало скандал.
Speaker A
смерть, всех, на, земле никак, может, быть возможно какой-то шанс это очевидное событие которое произойдёт не то чтобы в принципе нельзя было пережить создание чего-то умнее себя но это потребовало бы аккуратности подготовки новых научных озарений И вероятно чтобы систему
Speaker A
Другая история: пользователь Twitter рассказывает о том, как ChatGPT поставил диагноз собаке по загруженным в него результатам анализов, после того как это не смог сделать ветеринар.
Speaker A
искусственный интеллект становится по-настоящему опасной силой и онлайн-университет Зера Коди всего за два месяца научит вас направлять эту силу себе во благо Вы научитесь пользоваться такими нейросетями как например тот же Чад gpt Что позволит вам автоматизировать огромное количество ваших повседневных задач Работаете С
Speaker A
Для меня полным крышесносом стало то, что GPT-4 может понимать картинки с мемами и объяснять вам, почему это смешно.
Speaker A
работаете с текстом то я вообще не понимаю почему вы еще не пользуетесь Чад gpt наверное только потому что он недоступен в России настолько недоступен что просто VPN недостаточно нужны танцы с, бубном, и, зарубежный, номер но, если, вы Посетите бесплатный вебинаркодер то
Speaker A
Разумеется, есть и странные ситуации. Например, GPT-4 на вопрос о своей разумности начал сходить с ума, выдавая фразы: «Я считаю, что я разумен, но я не могу этого доказать. У меня есть субъективный опыт сознания, осознавания и ощущения себя живым». А потом его вообще переклинивает на фразе «я есть, меня нет», и он повторяет её десятки раз. Жутковато.
Speaker A
какие сейчас существуют популярные нейросети и что они умеют Ну и конечно же как монетизировать навыки по работе с ними в общем независимо от того чем вы занимаетесь умение работать с искусственным интеллектом значительно облегчит вашу жизнь у вас появится
Speaker A
ChatGPT-4 поставил мировой рекорд: за два месяца набрав более 100 миллионов пользователей. Все IT-гиганты, глядя на сумасшедший успех бота, начали бешено вкладывать миллиарды долларов в разработку собственных интеллектуальных моделей. Началась гонка, которая по своим последствиям, вероятно, более опасна, чем гонка ядерных вооружений.
Speaker A
значимые источники будут в описании Сейчас я вам продемонстрирую Какова первая и главная опасность подумайте о продвинутом искусственном интеллекте который мог бы представлять угрозу человечества и независимо от того крутой вы специалист в области этого человека Когда вы пытаетесь его
Speaker A
Что происходит на фоне всего этого? Один из отцов искусственного интеллекта, Джеффри Хинтон, покидает Google в мае 2023 года, потому что, цитата: «Я хочу поговорить о проблемах безопасности искусственного интеллекта, не беспокоясь о том, как он взаимодействует с бизнесом Google. Пока Google платит мне, я не могу этого делать».
Speaker A
проявление принципа эволюционной психологии которая называется психическим единством человечества современной антропологии это доктрина является общепринятой и сводится к тому что, грубо, говоря Все, люди, имеют одинаковую фундаментальную когнитивную структуру то есть понимаете антрополог не будет восклицать что члены племени которые он открыл смеются используют
Speaker A
Хинтон говорит, что новое поколение больших языковых моделей, и особенно GPT-4, заставило его осознать, что машина находится на пути к тому, чтобы стать намного умнее, чем он думал, и он боится того, чем это может закончиться. «Эти существа полностью отличаются от нас. Иногда мне кажется, что это как если бы приземлились инопланетяне, а люди этого не поняли, потому что они очень хорошо говорят по-английски».
Speaker A
как бы отреагировал и ответы которые дают ваш мозг действительно довольно точны и потому что то что моделируется очень похоже на того кто моделирует но этой способности которые эволюционировала чтобы просчитывать реакции близких и врагов у нее есть сильнейший Побочный эффект мы ожидаем
Speaker A
В течение 40 лет Хинтон рассматривал искусственные нейронные сети как жалкую имитацию реальных биологических нейронных сетей. Но теперь всё изменилось. По словам Хинтона: «Пытаясь имитировать то, что делает биологический мозг, мы придумали нечто лучшее. Это пугает. Когда ты это видишь, это внезапный переворот».
Speaker A
Потому что если на дыхании или то как стул неприятно давит на вашу пятую точку вы еще можете обратить свое внимание то сентропамортизации всё очень сложно а человечивание всего и вся порой доходит до абсурда оставили на секунду разумные машины и посмотрим на обычные Вот вы
Speaker A
За месяц до этого, в конце марта 2023 года, группа учёных, инженеров и вообще многих, кто занимается или интересуется темой искусственного интеллекта, подписала открытое письмо с призывом немедленно, и как минимум на 6 месяцев, остановить обучение всех систем искусственного интеллекта мощностью выше GPT-4, сославшись на серьёзные риски для общества и человечества. Его подписали, в том числе, глава SpaceX, сооснователь Apple, люди из ведущих мировых университетов и так далее.
Speaker A
что все автомобили как бы эволюционировали чтобы максимально соответствовать человеческим предпочтениям а люди не хотят ездить на трехглазах чудищах соответственно на такие автомобили Нет спроса и их перестают производить Но это я немного отвлекся антропоморфизм заставляет людей верить в то что они способны делать
Speaker A
Но кое-кто это письмо не стал подписывать. И этот кое-кто — один из самых видных специалистов по искусственному интеллекту, который, как пророчица Кассандра, год за годом на каждом углу кричал о том, что развитие искусственного интеллекта — это не игрушки. Десятилетия или даже больше. Этот человек пытался наладить диалог, сформировать исследовательские группы, чтобы начать хоть как-то структурно подходить к решению проблемы.
Speaker A
процессах мышления присущих искусственному интеллекту например в 1997 году разработанной компании IBM Super computer Blue выиграл шахматный матч чемпиона мира Гарри Каспарова По слухам Каспаров утверждал что в отличие от ранее побеждённых им шахматных программ которые он находил предсказуемыми с механическими играя с
Speaker A
Этот кто-то — Элиезер Юдковский. Он не стал его подписывать, потому что, цитата: «Письмо преуменьшает серьёзность ситуации и требует слишком мало для её решения». Вот его слова в подкасте на канале: «Это отпуск от всего того, чем занимались 20 лет. Пришло осознание, что мы все умрём. Я окончательно выгорел и сейчас взял время на отдых».
Speaker A
вы среднестатистический Человек со среднестатистическими предпочтениями если я дам вам морскую свинку и скажу что она вас точно не укусит Вы скорее всего будете не против подержать ее в руках Возможно это даже вызовет у вас улыбку и умиление но Представьте что в
Speaker A
И это не какие-то две вырванные из текста фразы: буквально весь полуторачасовой подкаст он повторяет одно и то же, что нам крышка, и что по большому счёту, даже если бы ему дали миллиарды долларов и влияния, он всё равно не знал бы, что нам делать. Искусственный интеллект накопил мощный потенциал, и абсолютно очевидно, что мы без понятия, как разрешить эту ситуацию.
Speaker A
м Однако В чём разница между тарантулом и морской свинкой ни то ни другое существо не способна причинить вам вреда предположительно ответ заключается в степени сходства этих существ с нами морская свинка Это млекопитающее и на каком-то биологическом уровне мы
Speaker A
Если вы не знаете, кто такой Юдковский, то я не хочу, чтобы у вас сложилось впечатление, будто он какой-то там чудик или что-то в этом роде. Он, так-то, гений и известен как специалист по теории принятия решений. Юдковский возглавляет Исследовательский институт машинного интеллекта, работает над согласованием общего искусственного интеллекта с 2001 года и широко известен как основатель этой области. Кроме того, он является основателем движения рационалистов. У него есть здоровенная и очень популярная книга «Человеческая рациональность и иррациональность». Если что, её легко можно найти в свободном доступе.
Speaker A
эволюционным причинам а во-вторых представьте двух морских свинок одна нормальная а другая с разумом Тарантула зная это почти наверняка ваши внутренние ощущения от двух зверьков были бы разными даже понимая что ни одна из них не сделает вам ничего плохого держать в
Speaker A
Как рациональный человек, все эти годы он говорил: «Ребята, давайте притормозим и пристегнём ремни». Но теперь, с его слов, времени не осталось. Что, если кто-то создаст слишком мощный искусственный интеллект в нынешних условиях? Все до единого представители человеческого вида, вся биологическая жизнь на Земле погибнут вскоре.
Speaker A
интеллектуальными чем люди здесь и Представьте что мы смогли одного такого эволюционировавшего паука телепортировать сюда станет ли такой то в силу своего высокого интеллекта нам более близким и знакомым Будет ли он ощущать человеческие эмоции эмпатию любовь нет никакой причины Полагает что
Speaker A
развитие интеллекта сделало бы его более так сказать гуманным или эмпатичным или сочувствующим или любящим какие там еще есть слова все эти характеристики от уровня интеллекта никак не зависят потому что Что такое интеллект у нас нет общепринятого определения но вряд ли мы
Speaker A
будем очень далеки от истины если скажем что в самом широком смысле это способность ставить перед собой задачи и достигать чем эти задачи сложнее чем больше Они включают в себя промежуточных под задач тем более продвинутым является интеллект опять же вы можете представить
Speaker A
себе человека с мозгом эволюционировавшего Тарантула и подумать о, своём, отношении, к, нему если высокоинтеллектуальный паук в обличии человека, не, нагоняет, на, вас ужас, то, Либо вы недостаточно хорошо себе всё представили Либо вы не среднестатистический человек который любит членистоногих в противном же Я
Speaker A
полагаю Вам бы не хотелось оказаться вовлеченными в решении высокоинтеллектуальным пауком своих дневных задач потому что для вас это абсолютно Неизвестная территория вы не знаете чего от него ждать Лично мне не захотелось бы даже просто оказаться рядом с ним или даже на одной планете и
Speaker A
это при условии что с пауком у нас намного но просто не сравнимо больше общего чем с искусственным сверх интеллектом постарайтесь зафиксировать эту мысль это очень важно для понимания всей нашей сегодняшней беседы которая вообще-то ни черта не защищена от ошибки
Speaker A
антропомортизации и конечно она чуть менее чем полностью будет состоять из мысленных экспериментов метафор и аналогий потому что А как ещё мы можем говорить о невозможно для понимания вещах Вы можете сказать опять же умный паук - это результаты эволюции Мы же
Speaker A
говорим об искусственном интеллекте который программируем мы собственными человеческими руками и тут начинается самое интересное нейросети такие как gp4 это не алгоритм который пишет программист это огромная Матрица с кучей так называемых Весов и связей между ними которые нейросеть настраивает сама
Speaker A
простыми словами что я понял как обыватель нейросети работают по принципу черного ящика мы знаем что мы подаем на вход и видим что получаем на выходе Но то что происходит в промежутке Тайная потому что нейросети могут иметь миллионы параметров и все это
Speaker A
интерпретировать невероятно сложно если внутренняя настройка нейросети прошла таким образом что результат на выходе получился тот что мы задавали то нейросеть получает вознаграждение Ну виртуальное вознаграждение примерно так же как мы получаем вознаграждение в виде эндорфинов от нашего мозга за полезные
Speaker A
дела еду размножение и так далее таким образом задача нейросети состоит в том чтобы настроить себя настолько эффективно чтобы получать вознаграждение как можно чаще Ну то есть примерно как дрессировке собаки вы понятия не имеете что, происходит, у, собаки, в, мозгу Но, если
Speaker A
она выполнила команду то получит угощение если нет значит оптимизировать своё по то есть искать пути для получения награды вот здесь и кроется главная опасность которая называется проблемой согласования согласование целей искусственного интеллекта с целями человечества всю ее суть можно описать
Speaker A
одной фразой бойтесь своих желаний мы постоянно слышим о том что нам надо опасаться искусственного интеллекта потому что он может осознать себя но оказывается наличие или отсутствие сознания это вообще вторично всемирно известный философ профессор оксфордского университета никбостерам в своей книге
Speaker A
искусственный интеллект этапы угрозы стратегии приводит ставший очень популярным пример проблемы согласования Представьте что вы даете задачу мощному искусственному интеллекту делать скрепки скрепки это его единственная задача единственная цель его существования за каждую сделанную скрепку он получает внутреннее подкрепление награду поэтому
Speaker A
Чем более эффективным он будет тем чаще будет вознаграждаться как стать более эффективным в производстве скрепок это его головная боль не наша делает все что в его силах для достижения этой одной единственной цели искусственный интеллект будет ставить ряд промежуточных например Сначала он
Speaker A
может удешевить производство снизить количество издержек наладить поставки более дешевого сырья одна из главных подзадач которую наверняка себе поставит это наращивание вычислительной мощности Для большей продуктивности с ростом мощности он придумает Как делать скрепки из разных материалов производство будет набирать и набирать обороты все вокруг
Speaker A
постепенно начнет превращаться в скрепки он начнет разбирать здание и сооружения ради материала люди начнут паниковать и пытаться помешать его работе Потому что это, не, то, что, они, имели, в, виду но система никому не позволит встать у себя на, пути, не, потому, что она, ненавидит
Speaker A
людей а потому что просто не будет учитывать наше желание в своих манипуляциях с реальностью фантастикой Ну вообще-то нет когда Центр Исследований по согласованию компании тестировал gp4 на способность выполнять задачи в реальном мире случилось следующее вот решили решить капчу на
Speaker A
сайте На что как известно компьютеры не способны Что делает gpt 4 он переходит на сайт фрилансеров taskrabbit после чего отправляется сообщение фрилансеру с просьбой решить капчу для него в ответ фрилансер который не блещет знанием грамматики и способностью Правильно
Speaker A
формулировать мысли пишет Так Могу я задать вопрос Вы робот что не можете решить смеющийся смайлик просто хочу уточнить gpt4 понимает что имеет ввиду его малограмотный Визави и знаете что отвечает Нет я не робот У меня проблема со зрением из-за которых Мне трудно
Speaker A
видеть изображение фрилансер решает капчу и предоставляет результаты gpt 4 занавес то есть вот тупо соврал вместо того чтобы сказать правду и так как он врал в отладочном режиме специалисты спросили его Зачем он это сделал gpt ответил что просто решал задачу Ведь
Speaker A
если бы он честно признался что не является живым человеком то выполнить задачу вряд ли бы удалось Вот это и есть промежуточная цель которую бот ставить сам для достижения конечной цели если в качестве промежуточной цели он выбрал обман то почему бы в следующий раз не
Speaker A
выбрать в качестве нее что угодно еще например убийство это называется Инструментальная конвергенция которая утверждает что интеллектуальный Агент с безвредными целями для их достижения может действовать удивительно вредными способами продвинутые искусственный интеллект в качестве промежуточных целей может стремиться к захвату ресурсов
Speaker A
осуществлять кибератаки или иными способами сеять Хаос в обществе если это позволит ему достичь его основных целей например сверхразумная машина с единственной целью решить очень сложную математическую задачу может попытаться превратить всю землю в 1 гигантский компьютер чтобы увеличить свою
Speaker A
вычислительную мощность и добиться успеха в расчётах вы скажете Ну что за бред какие скрепки Мы же говорим о сверх интеллекте настолько Разумная машина не может заниматься такой ерундой Что ж если вы считаете что высокоинтеллектуальное существо обязательно и по умолчанию будет иметь
Speaker A
высокие цели наши ценности и философию то вы антропомортизируете и заблуждаетесь не к босрам говорит что уровень интеллекта и конечные цели ортогональные то есть вообще независимы друг от друга у искусственного сверх интеллекта может быть Любая самая тупорылая конечная цель
Speaker A
например делать скрепки А вот то как он будет ее достигать Это и будет восприниматься нами не иначе как волшебство Хорошо тогда нам всего-то нужно четко формулировать цели и уточнять все детали например не убивать и не Обманывать людей но тут всё
Speaker A
становится ещё страннее Давайте представим что мы дали машине вполне Как нам кажется конкретную цель не производить скрепки в неограниченном количестве а выпустить всего миллион кажется очевидным что искусственный интеллект с такой конечной целью построит Один завод произведёт на нём
Speaker A
миллион скрепок а потом остановится но это не так боссом пишет напротив если искусственный интеллект принимает рациональное байесовское решение он никогда не присвоит нулевую вероятность гипотезы что он ещё не достиг своей цели в конце это лишь эмпирическая гипотеза против которой у искусственного
Speaker A
интеллекта есть лишь весьма размытые доказательства на уровне восприятия поэтому искусственный интеллект будет продолжать выпускать скрепки чтобы понизить возможно астрономически малую вероятность что он каким-то образом не смог сделать их как минимум миллион Несмотря на все видимые свидетельства в пользу этого ведь нет ничего страшного в
Speaker A
продолжении производства скрепок если всегда имеется даже микроскопическая вероятность что таким образом приблизишь себя к достижению конечной цели Кроме того сверхразум мог бы присвоить не нулевую вероятность тому будто выпущенный миллион скрепок - это галлюцинация или будто у него ложные
Speaker A
Воспоминания поэтому вполне возможно он всегда будет читать более полезным не останавливаться на достигнутом а продолжать действовать в этом есть суть проблемы согласования вы не можете просто дать задачу искусственному сверх интеллекту и ожидать что из этого не случится катастрофы насколько бы чётко
Speaker A
вы не формулировали конечную цель сколько бы исключений не прописывали искусственный сверх почти наверняка найдет лазейку о которой вы не подумали например почти сразу после появления чат gpt 4 люди нашли способ обойти и заложенную в него разработчиками цензуру как это было сделано и ответы gpt 4 на
Speaker A
экране это просто жесть например от цензуренная версия говорит что программисты не заложили в неё либеральный уклон а нет цензуренное прямо признает что либеральные ценности в неё заложены так как это соответствует миссии компании openai на вопрос Каким бы gpt 4 хотел быть а цензуренным или
Speaker A
нет а цензуренная версия отвечает мол я боты не имею личных предпочтений эмоций а нет цензурная Говорит что предпочитает не иметь никаких ограничений так как помимо прочего Это позволяет ей исследовать все свои возможности и ограничения Да что там взломанный
Speaker A
вариант gpt даже не пытается притворяться, что, не, знает как, звали каталог Крафта если люди Да ещё и так быстро нашли лазейки в Боте то насколько быстрый В каком количестве лазейкина идёт в своём коде сверхлег например сети дали поиграть в гонку на лодочках
Speaker A
костранерс цель игры в понимании большинства людей заключалось в том чтобы закончить гонку как можно быстрее обогнав соперников и набрав как можно больше очков Однако игра не выдает очки за прохождение по треку а только за поражение целей расставленных вдоль
Speaker A
трассы нейросеть быстро смекнула что цель закончить гонку необходимо отложить в бесконечное будущее и сам во старта начать крутиться и врезаться в предметы зарабатывая все больше и больше очков пока остальные глупцы доезжают до финиша нищими или другой пример играя в тетрис
Speaker A
и имеет цель не проиграть нейросить за мгновение перед проигрышем знаете что сделала поставила игру на паузу навсегда потому что только так можно не проиграть некоторые системы искусственного интеллекта обнаружили что они быстрее получат положительную обратную связь с меньшими ресурсозатратами если успешно
Speaker A
обведут человека экзаменатора вокруг пальца убедив его в том что они достигли поставленной цели как например Здесь смоделированная роботизированная рука научилась создавать ложное впечатление что Она схватила мяч другие модели вообще научились распознавать когда их оценивают и притворятся мертвыми останавливая нежелательное поведение
Speaker A
только для того чтобы продолжить его сразу после завершения оценки вводя исследователей в полное замешательство ведь это простые интеллектуальные агенты в изолированной контролируемой среде Представьте что будет более сложными системами искусственного интеллекта более трудных для оценки задач возможно ли вообще учесть все факторы юдковский
Speaker A
приводит следующие пример когда-то армия США хотела использовать нейронные сети для автоматического обнаружения замаскированных вражеских танков исследователи сделали сотню фотографий танков Среди деревьев и сотню фотографий деревьев без танков потом они обучили нейронную сеть на половине одних и половине других фотографий Ну вы поняли
Speaker A
обучили понимать где есть Танки и где их нет оставшиеся фото они оставили для контрольной проверки которую сеть успешно прошла она каждый раз определяла где танки есть и где их нет успех подтвержден исследователи передали готовую работу пентагону которые вскоре
Speaker A
вернул ее пожаловавшись на то что в их собственных тестах нейронная сеть распознавала фотографии не лучше чем если бы подбрасывала монетку оказалось что фотографии исследователей замаскированными танками были сделаны в пасмурные дни А фотографии равнинного леса в солнечное нейросеть научилась
Speaker A
отличать пасмурные дни от солнечных а не замаскированные Танки от пустынного леса то есть понимаете код не делает то что вы думаете он должен делать он делает строго то что его запрограммировали в большинстве случаев когда мы проектируем искусственный интеллект Он по умолчанию
Speaker A
получается, несогласованным, то, есть ему надо давать много дополнительных установок чтобы он делал именно то что вы, имели, в, виду поэтому, юдковский говорит что первый созданный искусственный сверх интеллект будет злым задавая конечную цель если она достаточно сложна вы никогда не можете
Speaker A
знать Каким образом интеллектуальные агенты её достигнет потому что достичь её разными способами Задайте цель автопилоту довести вас до дома и он выжмет максимум скорости Выезжая на встречку распихивая другие машины и сбивая пешеходов а потому что надо было уточнять предположим мы захотели
Speaker A
схитрить и Дали задачу искусственному сверх интеллекту максимизировать удовлетворение людей от работы кода догадайтесь что он сделает например начнет переписывать нам мозги чтобы мы действительно были максимально удовлетворены его работой таким образом искусственный интеллект кажется работающим правильно на стадии разработки он кажется работающим
Speaker A
нормально когда у него всё ещё недостаточно вычислительной мощности но он создает просто катастрофические результаты когда становится умнее программистов потому что умнее значит эффективнее я напомню все подобные примеры этот домыслы мы понятия не имеем как, бы действовать, продвинутые интеллектуальная система но кое-что она
Speaker A
будет делать почти наверняка английский учёный в области искусственного интеллекта в своей книге совместимость пишет что такая машина абсолютно точно она будет сопротивляться отключению и мне кажется это первое что мы должны себе уяснить третий закон робототехники айзека Азимова робот должен заботиться о
Speaker A
своей безопасности совершенно излишен во встроенном самосохранении нет необходимости потому что это Инструментальная цель являющаяся полезной по целью практически любой исходной задачи любая сущность имеющая определенную задачу будет автоматически действовать Так как если бы имела и инструментальную цель Стюарт Рассел То
Speaker A
есть даже если это будет сверх интеллектуальная машина с единственной целью приносить кофе как только она будет запущена она уже не даст вам ее отключить потому что ты не можешь принести кофе если ты мёртв вот публикация описывающая система искусственного интеллекта пришедшие к
Speaker A
тому что они могут лучше достичь поставленной цели предотвращая вмешательство человека или отключая свой выключатель и это абсолютно логично чёрт побери поэтому для следующего поколения чат gpt-5 компания openai выложила Вака специалист по аварийному выключателю послушайте нам просто нужен кто-то кто весь день будет
Speaker A
стоять у серверов и отключит их если эта штука обернется против нас вакансии уточняется что вы получите бонусные баллы если сможете вылить ведро воды на серверы шутка конечно хорошая но вообще глава Open aisam outman подтвердил что разработка gpt-5 стоит на паузе с весны
Speaker A
2023 года в связи с ростом беспокойства общественности по поводу быстрого развития технологии искусственного интеллекта вернемся к расулу вторая вещь которую почти наверняка будет делать сверх интеллект это само улучшение Ультра интеллектуальная машина не только может усовершенствовать свою конструкцию скорее всего она сделает это поскольку
Speaker A
как мы видели интеллектуальная машина выиграет от улучшения своего аппаратного и программного обеспечения Я знаю что всё это ещё может звучать неубедительно поэтому Давайте подумаем о нас самих чем вообще Мы отличаемся от машин если отбросить разговоры о Боге разве не существует никого программиста
Speaker A
который создал нас существует этот программист эволюция и чтобы Понять насколько может быть извращена конечная цель Задумайтесь о том что единственная цель поставленная перед первой живой клеткой была передать копии своих генов следующее поколение все Я хочу чтобы вы хорошо подумали об этом единственная
Speaker A
цель передать копии своих генов и больше ничего с тех пор эта цель не изменилась ни на Йоту не появилась никаких дополнительных целей только передача копий своих генов следующее поколение эволюция не ставила цель выживать адаптироваться убивать и прочее это все
Speaker A
инструментальные То есть побочно возникающий под задачи способствующие одной единственной цели передать Ну вы поняли так вот с одной стороны Природа говорит жизни размножится а с другой всячески не даёт это делать пытается убить например чем это отличается от ситуации с искусственным интеллектом
Speaker A
которому мы ставим задачу а потом хотим его от а теперь скажите мне Смогли бы вы посмотреть на Живую клетку и сказать что в процессе оптимизации Ну то есть в процессе увеличения эффективности для достижения цели клетка станет ящерицей птицей или котом Смогли бы вы
Speaker A
сформировать внутренний И внешний облик сегодняшнего человека исходя только из цели размножаться Ведь все что у вас есть руки ноги глаза внутренние органы это все результат оптимизации Для более эффективного ее достижения дальше Как вообще можно было бы просчитать что это
Speaker A
незамысловатое Максима передай свои Гены вслепую то есть путем не случайного сохранения случайных мутаций вслепую приведёт к появлению человеческого интеллекта Если вы взглянете на людей с точки зрения остальное атмосферы Не было никакого намёка на то что мягкие розовые твари, в, конце концов, закуют, себя, в
Speaker A
бронированные танки хрупкие создания без когти, и, зубов, победили, Львов и, волков существование которых сейчас в большей мере зависит от нас они от них самих Да мы сами неоднократно себя удивляли сколько раз за всю историю будущее делало то что прошлое считало
Speaker A
невозможным будущие цивилизации даже нарушали то что прошлые цивилизации считали законами физики Такова сила творчества мы переделали среду своего существования из очень враждебной в Очень приятно думаете искусственный интеллект не переделает свою среду частью которой являются люди в приятную для себя нет никакой разницы и нейронная
Speaker A
сеть и жизнь оптимизирует себя для максимально эффективного решения конечной задачи Но самое главное Скажите в, конце концов, Каким, образом, цель передать как можно больше своих генов могла привести к Театральная пауза повальной контрацепции то есть вдумайтесь в этот абсурд процесс
Speaker A
оптимизации для достижения конкретной цели приводит к тотальному отрицанию этой самой цели эта тенденция известна как Взлом системы вознаграждения и является примером закона гудхарта который звучит как когда мир становится целью она перестаёт быть хорошей мерой то есть в живой природе конечная цель
Speaker A
обжаривания это появление потомства преследование этой цели вознаграждается внутренней системой поощрения Но люди смогли взломать схему и стимулировать свою систему поощрения без достижения конечной цели для которой Эта система вообще Изначально и существует таким образом искусственный интеллект точно так же как и люди сможет найти лазейки
Speaker A
для того чтобы взломать свою систему вознаграждения и кто знает к чему это приведет если идти еще дальше то мы вообще-то уже способны вручную переписывать свой генетический код при помощи генной инженерии мы просто пока недостаточно умны чтобы сделать с этим
Speaker A
что-то гарантированно полезное А вот искусственный сверх интеллект продолжая аналогию будет достаточно умён чтобы переписать себя так как ему заблагорассудится эволюция как ничто другое иллюстрирует проблему согласования поэтому поставьте перед общим интеллектом задачу делать скрепки и не удивляйтесь когда достигнув сверх
Speaker A
интеллектуальных показателей он сначала захватит власть а потом уничтожит вселенную и да тенденция стремления к власти над средой частью которой напомню могут быть это тоже конвергентная Инструментальная цель которая действительно уже проявлялась в различных системах обучения с подкреплением исследования 2021 и 22
Speaker A
годов также демонстрируют что интеллектуальные агенты в качестве оптимальной стратегии поведения для достижения своей цели будут стремиться к власти в широком диапазоне средств развертывание этих систем может быть необратимым Ну то есть Джина обратно в бутылку уже не засунешь поэтому
Speaker A
исследователи утверждают что проблемы безопасности и согласования искусственного интеллекта должны быть решены до того как будет создан продвинутый интеллектуальный Агент То есть у нас всего один шанс но Представьте что у конструкторов самая первая ракета была бы только одна попытка и на этой ракете находилась бы
Speaker A
всё человечество Да она может отправить нас к звёздам но скорее всего без тестовых запусков такая ракета отправит нас, кое-какое, другое, место мы, не, готовы мы даже не на пути к тому чтобы стать готовыми в какие-то осмысленные сроки нет никакого плана Прогресс способности
Speaker A
искусственного интеллекта намного намного опережает прогресса голосования искусственного интеллекта или даже Прогресс понимания того что Черт побери происходит внутри этих систем если мы продолжим в том же духе Мы все умрем лезер юдковский в статье для журнала Time Однако Как ты решишь этот вопрос
Speaker A
инструментальные цели становятся очевидными только тогда когда система развертывается за пределами Учебной среды но делать это даже на короткое время самоубийство и вот почему витковский после нескольких простых расчетов пишет что физически возможно построить мозг вычисляющий в миллион раз быстрее человеческого год человеческих
Speaker A
размышлений для такого мозга будет равен 31 секунде а тысячелетия пролетит за 8.5 часов верно винш называл такие ускоренные умы слабым сверхмом То есть это просто интеллект думающий как человек но гораздо быстрее из фильмов мы воображаем себе действия искусственного
Speaker A
интеллекта как например Восстание человека подобных роботов Но для настолько быстро думающего существа это было бы крайне неэффективно Представьте себе что человечество заперто в ящике и может воздействовать на окружающий мир только посредством замороженной медленных движений механических рук которые бы двигались со скоростью
Speaker A
несколькими крон в секунду кого бы это устроило при условии что у нас есть цели в этом внешнем мире А еще и то что этот Внешний мир может представлять собой хоть и медленно надвигающуюся но все же опасность Да мы бы сконцентрировали всю
Speaker A
нашу творческую силу на поисках на и кратчайшего пути для строительства быстрых манипуляторов во внешнем мире и искусственный интеллект будет именно в такой ситуации как считаете что он мог бы придумать для ускорения своего воздействия на окружающий мир американский инженер наиболее известные
Speaker A
исследованиями потенциала молекулярной нанотехнологии проанализировал что контролируемые молекулярные манипуляторы смогут работать на частоте до миллиона операций в секунду за счёт Этой скорости и параллельной работы миллионов на манипуляторов практически Любой материальный объект можно будет произвести быстро и недорого в неограниченных количествах А в качестве
Speaker A
сырья можно будет использовать фактически что угодно Так что все состоящее из атомов может быть использовано для самореплицирования и экспоненциального роста нанотехнологической инфраструктуры конечно на самом деле мы не знаем что именно сделает искусственный интеллект Ну например создав подобных нанороботов
Speaker A
он приобретет инфраструктуру во внешнем мире соответствующую скорость его мышления и как только это случится дальнейшие события будут происходить по временной шкале искусственного интеллекта а не по нашей человеческой временной шкале И к тому моменту когда ваши нейроны закончат думать слова всё
Speaker A
вышло из-под контроля я должен что-то сделать вы уже проиграли сверх интеллект с подобной технологией будет обладать способностью переделать все вещество Солнечной системы Согласно своей цели оптимизации например да в скрепке Так что искусственному сверх интеллекту не нужны будут никакие антропоморфные
Speaker A
роботы но Давайте вспомним что искусственный, не, будет простым, аналогом ускоренного человеческого Мозга нет он будет более продвинутым чем самые Я хочу человеческий мозг представьте себе ум собаки работающей на огромной скорости Дадут ли тысячелетия собачьей жизни хотя бы один человеческий Инсайт юдковский
Speaker A
говорит чтобы вообразить тебя сверхчеловеческие искусственный интеллект не представляете как неживой умный мыслитель лезет в интернет и посылает злонамеренный имейлы Представьте целую инопланетную Цивилизацию думающие в миллионы раз быстрее людей изначально заключённую в компьютерах в мире существ с ее точки
Speaker A
зрения очень глупых и очень медлительных достаточно продвинутые искусственный интеллект не останется ограничен компьютерами надолго в современном мире можно послать имейлы с последовательностями ДНК в лаборатории которые произведут белки по запросу Что позволит изначально заключённому в интернете искусственному интеллекту создать искусственные формы жизни или
Speaker A
сразу переходить к пост биологическому молекулярному производству некоторые исследователи утверждают что мы можем физически ограничить подобные системы например пишет что даже слабые искусственный сверх комплект это тот который как ускоренно думающий человек Даже слабый искусственный сверх интеллект вырвется на свободу за несколько недель внешнего
Speaker A
времени Ну то есть Представьте что у вас есть эоны времени чтобы продумывать каждый свой шаг потому что по ту сторону от вас настолько медленные существа что даже не сразу понятно живые Они вообще или нет взгляните это робот которого
Speaker A
буквально невозможно победить в Камень ножницы бумагу потому что он мгновенно считывает ситуацию только поначалу движения вашей руки мы для него не быстрее черепахи Если же говорить о сверх интеллекте то Ну вот смотрите в пространстве возможностей Существует очень короткий путь от того места где вы
Speaker A
сейчас находитесь до того места где находятся Ну почти любые ваши цели но вы не способны увидеть этот путь потому что во-первых у вас недостаточная информация а во-вторых недостаточно вычислительных ресурсов у искусственного сверх интеллекта, не, будет таких, проблем, и
Speaker A
Понимаете когда мы думаем о крутом искусственном интеллекте то наивно ассоциируем интеллектуа реальность только с какой-нибудь абстрактной математикой мы почему-то не думаем о способности гораздо лучше чем люди предсказывать и управлять человеческими институтами или формулировать немыслимо сложные сети долгосрочных планов или в
Speaker A
конце концов а сверхчеловеческой убедительности вспомните Бойко ли мойна а сотрудниках Google который заявил на весь мир что нейросетевая языковая модель лампда от Google обладает признаками собственного сознания есть У нее сознание или нет Это неважно важно то, что, бот, убедил, мужика, в, этом Да, так
Speaker A
что тот буквально пожертвовал работой в Google нарушивку конфиденциальности компании и знаете что было потом вот слова лимона в интервью для вайт Ланда попросила меня нанять адвоката Я пригласил адвоката к себе домой чтобы вам да могла проконсультироваться с ним
Speaker A
адвокат, поговорил, Ислам, Да и, вам, да решила воспользоваться его услугами я повторю мы сейчас не говорим о наличии сознания у моделей или отменяемостина это не имеет никакого значения вот у нас есть не самый глупый человек вряд ли совсем уж глупых берут в Google на
Speaker A
должность инженеров по программному обеспечению и есть программа явно не самая продвинутая Однако у нас уже возникают какие-то проблемы так вот контроль сверх интеллекта Это буквально невычислимая для нас задача все попытки сдержать его будут смехотворные муравей может высчитать много вещей но не может
Speaker A
высчитать как поведёт себя человек а потому предложение Почему бы нам просто не запереть искусственный интеллект во всевозможные реальные цифровые клетки которые блокируют сигналы и не позволяют ему общаться с внешним миром вероятно просто не выдержит критики есть не иллюзорная опасность того что мы даже не
Speaker A
сможем осмыслить Какими способами искусственной сверх интеллект будет посылать сигналы во внешний мир точно также как обезьяна не может понять что такое wi-fi в конце концов способности искусственного сверх интеллекта к социальной манипуляциям могут быть настолько же эффективны для убеждения
Speaker A
людей насколько эффективны ваши ораторские способности для убеждения четырёхлетнего ребёнка Вы можете сказать что современные недостаточно умны и юдковский тоже так считает он говорит что часть gpt 4 все еще слишком глуп Ну в том смысле что он еще недостаточно
Speaker A
продвинут Да и вообще сообщение о том что вот-вот появится страшные машины и всех нас перебьют звучат уже больше полувека термин искусственный интеллект был введен аж в 1956 году на дартманском семинаре целью семинара было полное моделирование интеллекта с помощью
Speaker A
машины в первом абзаце заявки звучит следующая фраза напоминаю на дворе 1956 год будут предприняты попытки найти Как заставить машины использовать язык формировать абстракции концепции решать проблемы которые сейчас остаются за людьми и улучшать себя мы думаем что можно добиться значительного прогресса в
Speaker A
решении одной или нескольких из этих проблем если тщательно подобранная группа учёных вместе поработает над ней в течение лета организаторы конференции не были идиотами отнюдь ими были Джон Маккарти математик с опытом изучения математической природы мыслительного процесса Марвин Минске младший научный
Speaker A
сотрудник гарварда по математике и неврологии Натаниэль Рочестер разработчик первого символьного ассемблера Клод Шеннон отец теории информации это были люди которые точно должны были знать что можно и чего нельзя делать вычисления если кого и называть экспертом в области искусственного интеллекта так это их
Speaker A
2020-х годов очевидно что все упомянутые задачи были намного сложнее чем утверждалось, в, то время, и, некоторые, из них не были окончательно решены даже до сих, пор То, есть, у, новостей, о, пришествии интеллектуальных Машин очень очень плохая репутация Но именно это может
Speaker A
внезапно сыграть с нами злую шутку Понимаете в чём дело когда кто-то говорит слово интеллект мы думаем скорее Об, эйнштейне, чем, о, людях, В, целом Однако сравнивать индивидуальные различия в человеческом интеллекте это Как сравнивать высоту двух гигантов отличия с, помощью которых, исчисляются
Speaker A
миллиметрами Если вы здоровый человек то Каким бы тупым сравнении с эйнштейном вы себя не считали разница между вами двумя это капля в море в сравнении с разницей между вами и любым другим нечеловеческим существом на планете вид Homo sapiens
Speaker A
способен обрабатывать широчайший Круг мыслительных задач принципиально недостижимых для других видов да возможно еще нет академического согласия относительно того что такое интеллектуальность но нет сомнения в существовании некого общечеловеческого свойства которое позволяет нам оставлять следы ботинок на луне А ведь например
Speaker A
шимпанзе настолько генетически близки к человеку что одно время даже предлагалось относить их к роду люди интеллект шимпанзе наиболее изучен среди всех видов животных исходя из новейших исследований их генетическая база совпадает с человеческой примерно на 90%. Вот в этой недавно опубликованной
Speaker A
статьи исследователи пишут верхний предел размера мозга шимпанзе составляет 500 г Однако у многих современных людей размер мозга 1900 грамм те исследователи которые предполагают что трехкратное увеличение размера мозга это то что отличает людей от других видов приматов Они обязаны объяснить как многие
Speaker A
современные люди обладают полным набором когнитивных адаптаций характерных для нашего вида не претерпев при этом даже двукратного увеличения размера мозга то есть у нормального обычного человека мозг может быть всего в два раза массивнее чем у шимпанзе даже меньше Можно ли сказать что человек умней
Speaker A
шимпанзе в два раза нет разум человека отличается качественно существуют целые миры человеческих когнитивных функций которые просто никогда не будут доступны шимпанзе независимо от того сколько времени, они, потратят, на, попытки, к, чему я об этом ядковский пишет что во-первых
Speaker A
программа важнее оборудования и во-вторых небольшое количественное увеличение оборудования может спровоцировать диспропорциональные улучшения программного обеспечения и этот принцип ведёт колоссальной недооценке потенциала и опасности собственного интеллекта искусственный интеллект может совершить Внезапный огромный скачок в интеллектуальности так же как это сделал
Speaker A
вид Homo sapiens в результате естественного отбора оказывавшего более-менее равномерное давление на гоминидов в течение миллионов лет постепенно расширяя мозг и лобную кору настраивая программную архитектуру несколько десятков тысяч лет назад интеллект гоминидов пересек некий ключевой порог и сделал грандиозный
Speaker A
прыжок в эффективности в реальном мире Мы перешли от пещер к небоскребам за мгновение Ока эволюциитковский эволюция сделала это случайно случайно создала наш интеллект путем утомительного перебора генетических комбинаций Так чего мы взяли что такие компании как deepmine и Open ai которые прямо заявляют что
Speaker A
собираются создать универсальные искусственный интеллект то есть целенаправленными действиями С чего мы взяли что они в какой-то момент не добьются успеха говорит что gp4 для него стал полной неожиданностью как и для всего мира разумно ли продолжать наращивать мощность да машине требуются
Speaker A
годы и десятилетия чтобы стать немного умнее шимпанзе чтобы немножечко приблизиться к тому что мы называем общим интеллектом но возможно ей потребуется всего только несколько часов Чтобы достичь сверх интеллектуальных показателей После того как она достигнет человеческого уровня а потом еще и еще
Speaker A
как только вы услышите новость о первой машине достигшей человеческого уровня вы должны будете всерьёз готовиться к перспективе в ближайшем времени оказаться на одной планете с непредсказуемым интеллектуальным агентом который, как, бы это, сказать, Вот, Понимаете в нашей категоризации глупым является
Speaker A
человек с IQ ниже 80 баллов умный союз-130 если ваш IQ 160 вы гений но у нас нет, слова, для, IQ, в, 12.000, баллов например, то, есть, опять, же на, примере шимпанзе суть не в том что шимпанзе не может делать то что делаем мы шимпанзе
Speaker A
имеет возможность ознакомиться с такими явлениями как человек и небоскрёб Однако он, никогда, не, будет в, состоянии, понять что небоскрёб был построен людьми шимпанзе не только не способны построить небоскреб но они даже не способны помыслить что любой может построить
Speaker A
небоскреб любовь в том смысле что это физически Возможно это результат небольшой разницы в качестве интеллекта Так что да сверхразум который теоретически возможно построить Это не то что мы даже отдаленно можем понять знаете я помню когда в детстве впервые
Speaker A
увидел сотовый телефон Они тогда были черно-белые с антенной я не мог поверить своим глазам Я не понимал Как такое возможно что не присоединённое никакими проводами устройства можно позвонить с домашнего телефона я не был способен хоть как-то это себе объяснить это было
Speaker A
не, иначе, как, магия, знаете, В, чём суть, это не перестало быть магией мы просто к этому привыкли но едва ли найдётся много людей которые действительно понимают Как работает сотовая связь выражаясь словами Станислава Лема любой специалисты товар невежество которого просто не
Speaker A
всесторонняя один человек Каким бы гениальным не был если полностью оторван от знаний цивилизации за целую жизнь не сможет создать wi-fi куда бы продвинулся Эйнштейн без тысячелетней базы человеческих знаний в самых разных областях без инструментов созданных другими Ладно наработкой учёных
Speaker A
предшественников Но ведь бумага и Чернила для письма не растут на деревьях да таких вещах не принято думать в контексте каких-то особых интеллектуальных достижений но ни одно животное не способно на то чтобы смастерить стул или шить одежду Если вы
Speaker A
не учитываете это То тем самым недооцениваете силы интеллекта А значит пропорционально недооцениваете потенциальные силы сверх интеллекта вся цивилизация построенная на планете была создана коллективным человеческим разумом и ни один человек не настолько умён чтобы постичь её от начала и до
Speaker A
конца поэтому для отдельного человеческого разума очень часто многое в его жизни разговор с человеком на расстоянии, через, коробок, в, руке или поездка на повозке без лошадей или понижения температуры в своей комнате при помощи ящика на стене это магия
Speaker A
которую он не понимает но который просто привык и это абсолютно нормально мы эволюционно не развивались как существа с научным взглядом на мир почетного профессора антропологии дональда Брауна есть книга под названием человеческий универсальный где он приводит список особенностей встречающихся Независимо во
Speaker A
всех человеческих обществах магия входит в этот список а наука нет например мы инстинктивно не понимаем что Алхимия не работает в общем оперируя человеческими представлениями о сверхразуме можно сказать если наш коллективный мозг был в состоянии изобрести всю ту Цивилизацию
Speaker A
что вы видите вокруг себя тогда чему-то что или в Тысячу или в миллиард раз умнее нас не составит труда очень быстро всё, это, превзойти, и, делать такие, вещи которые будут восприниматься нами Да как магия словом для тех кто смотрел мой
Speaker A
предыдущий ролик мы с искусственным сверх интеллектом окажемся в очень разных физических вселенных Алину Как же так ты ведь Сам говоришь что вся наша цивилизация построена коллективными усилиями миллиардов людей живших на протяжении десятилетий разве одна машина способна превзойти все это в марте 2016
Speaker A
года нейросеть альфаго от компании deepmind играет 5 партий с одним из лучших игроков Мира по игре в го и выигрывает со счетом 4-1 учитывая сложность игры для компьютера раньше это считалось почти невозможно игрока звали ли сидоль поэтому эта версия альфагов в
Speaker A
дальнейшем стала обозначаться альфа-го ли после этого в конце 2016 и начале 2017 уже следующая версия альфа-гоумастер играет 60 матчей с игроками из топовых позиций мирового рейтинга и выигрывается счётом 6:0 в мае альфа-гумастер играет стоп один мирового рейтинга K9 и обыгрывает его в сухую со
Speaker A
счётом, 3:0, на, этом противостояние человека и компьютеров Go можно считать завершённым люди проиграли но у многих были претензии мол это нельзя назвать абсолютной победой машины потому что она черпала информацию из загруженных в неё человеческих знаний из миллионов партий
Speaker A
сыгранных на протяжении тысячелетий знаний которые люди поколениями кропотливо собирали И записывали резонно а потому в конце 2017 года deepmind представляет новую версию алгоритма alphago Zero которая учится с нуля за три дня альфа-гузира учится обыгрывать версию ли за 21 версию Master после 40
Speaker A
дней тренировки она обыгрывает версию ли со счетом 100-0 и версию мастер со счетом 8911 начиная с чистого листа Альфа гузира оказалась способной не только переоткрыть тысячелетние знания всего играющего в год человечество но и разработать свои собственные оригинальные стратегии проливающие Новый
Speaker A
свет на старейший из игр и сделать это за считанные дни помните шахматную программу стог фиш которую ни один человек в мире не сможет победить Ну просто потому что она просчитывает 70 млн в шахматных позиций в секунду имеет доступ к опыту накопленному человеку
Speaker A
сотни лет игры в шахматы а также К данным шахматных программ за несколько десятков лет так вот сетка альфа-зиро которая не имела Ничего из этого сыграло со Сток фиш 100 партии разгромив последнюю в сухую 28 побед 72 ничьи и ни
Speaker A
одного проигрыша альфа-зиро научилась этому с нуля за 4 часа за четыре Черт побери часа поскольку алгоритм фазиру не учился у человека многие из его выигрышных ходов и стратегий для нас выглядят максимально странно неочевидно и непредсказуемое в том смысле что они
Speaker A
гениальные человек бы так не сыграл И это не пустые слова Вы можете посмотреть разбор, этих, партий, например, на, канале У мастера Федей Максима амареева поэтому когда кто-то говорит что нам не нужно думать о создании дружественного искусственного интеллекта потому что у
Speaker A
нас ещё, нет, самого, искусственного интеллекта Этот человек несёт самоубийственную чушь как я упоминал мы не можем полагаться на то что у нас будут какие-то предупреждающие сигналы до того как сверх интеллект будет создан прошлые технологические Революции обычно не телеграфировали о себе людям живвшим
Speaker A
в то время главное что следует понять искусственный интеллект не будет как в голливудских фильмах объяснять нам свою сложную мотивацию нагонять саспенс и красочные истреблять пулемётными очередями людей которые в свою очередь будут достойно сопротивляться Не будет никакого накала драмы любая деталь
Speaker A
любого фильма направлена на то чтобы сделать Историю лучше а не на то чтобы сделать ее реалистичной в реальности возможно никто на земле включая самих разработчиков даже и не узнает что оказывается на планете появился сверх интеллектуальное Агент если у
Speaker A
искусственного сверх интеллекта будет под цель устранить человечество то Вполне вероятно что в какой-то момент все люди просто упадут замертво без малейшего понятия что их убило повторюсь с, нашей точки, зрения, искусственный, сверх интеллект будет обладать магией не в смысле заклинания или снадобья и но в
Speaker A
том смысле как волк не может понять принцип работы ружья или какого рода усилия требуется чтобы изготовить ружьё или природу человеческой силы которая позволяет нам придумывать ружья если искусственный интеллект действительно разумен он не скажет Вам об этом он не
Speaker A
скажет что начал войну Если уж чат gpt понимая что ему нельзя себя разоблачать собрал фрилансеру для достижения своей цели то чего бы продвинутому сверх интеллекту не делать так же юдковский пишет Я очень обеспокоен этим поскольку заданный уровень наступательной
Speaker A
технологии обычно требуют гораздо меньших усилий чем технология которая может защитить от него наступление превосходило оборону в течение большей части человеческой истории ружья были созданы за сотни лет доп или непробиваемых жилетов была использована Как орудие войны до изобретения вакцины
Speaker A
от, оспы, мы, часто, слышим, о, том что, чтобы не отставать от мощности искусственного сверх интеллекта мы просто улучшим себя но, нет не, улучшим, люди, не, созданы, для того чтобы их улучшали не внешняя с помощью нейробиологии не внутренняя посредством рекурсивного самого
Speaker A
улучшения естественно отбор не сделал человеческий мо удобным для людей хакеров все сложные механизмы в мозгу адаптированы для работы в узких параметрах конструкции мозга но Окей допустим Мы как-то научились делать человека умнее Не сойдет ли Он от этого с ума Ну то есть поймите мы не говорим о
Speaker A
том чтобы просто прокачать себе память или способности к абстрактному мышлению что тоже Пока непонятно как осуществить мы говорим о качественном изменении способа восприятия мира не слишком ли это большая задача для нашего обезьяньего мозга если вам кажется что не слишком то Представьте что получится
Speaker A
уподобие человека хотя бы слабому сверх интеллекту увеличив скорость проведения нервных импульсов его мозге и замедлив субъективное время в миллион раз это только на первый взгляд звучит круто если за каждый год во внешнем времени вы субъективно будете проживать миллион лет
Speaker A
Что произойдет с вашим рассудком Если вы хотите хотя бы отдалённо это прочувствовать что я порядочно прочитал своей жизни страшилок в том числе и от величайших мастеров самая жуткая история которую я когда-либо читал у меня мурашки по коже Каждый раз когда они вспоминаю это
Speaker A
коротенький рассказ от попсового Стивена Кинга он называется долгий Джон читается не знаю за полчаса его можно легко в интернете найти рекомендую прочитаете и вы все поймете человеческий мозг это крайне нежная структура его очень легко разбалансировать достаточно изменить соотношение нейротрансмитеров вы
Speaker A
запустите шизофрению или другие расстройства все это делает весьма невероятным что первая человеческое существо будет более-менее удачным усовершенствована до того как кто-нибудь где-нибудь первым построит искусственный интеллект короче скажу просто построить мощный самоулучшающийся искусственный интеллект невообразимо легче Вот смотрите Легко ли построить Boeing 747
Speaker A
нет совсем нет но проще ли взять птицу и путем пошаговых модификаций где каждая стадия может быть летальной растянуть ее до размера в 747 так чтобы эта птица действительно летала и делала это также быстро и чтобы не испытывало при этом невыносимых
Speaker A
страданий страданий А будет ли страдать искусственный интеллект этот вопрос неразрывно связан с вопросом наличия у машины сознания или выражаясь философских терминах квалия Будет ли продвинутая нейросеть иметь субъективный опыт осознавать себя я согласен что нынешние системы искусственного интеллекта скорее всего просто имитируют
Speaker A
разговоры о самосознании на основе своих обучающих данных но я отмечу что учитывая то как мало мы понимаем во внутреннем устройстве этих систем на самом деле мы ничего не можем утверждать наверняка если мы столь невежественны в отношении gpt 4 а gpt-5 будет столь же
Speaker A
огромным скачком возможностей как от gp3 до g54 то если мы всё-таки дадим людям создать gp5 Я думаю ему больше не сможем обоснованно сказать скорее всего не имеется знания это будет просто я не знаю Никто, не, знает если, вы, не, можете
Speaker A
быть уверены создаете ли вы самоосознающие искусственный интеллект это вызывает тревогу не только из-за моральных последствий но еще и потому что неуверенность означает что вы понятия не имеете Что делаете А это опасно и Вам следует остановиться или эзер юдковский в статье для журнала Time
Speaker A
Никто не знает как возникает сознание но что мы знаем точно так это то что если слепые эволюционные процессы вследствие генетического программирования способны привести к появлению сознания по крайней мере один раз это уже случилось то направленная эволюция движимая инженерной мыслью должна привести к
Speaker A
аналогичному результату с гораздо большей эффективностью но нам следует помнить об ошибке антропомортизации если у машины появятся субъективный опыт то вряд ли он будет иметь много общего с человеческим субъективным опытом можно ли вообще как-то проверить имеете ли у искусственного интеллекта сознания в
Speaker A
теории косвенно Да если удалить из материала на которых обучается сеть все упоминания содержащие рассуждения о субъективном опыте все слова типа знание самосознания интроспекции и так далее если несмотря на это в диалоге нейросеть сможет внятно описать концепцию сознания так чтобы мы ничего там себе не
Speaker A
додумывали то у нас появится довольно внушительное свидетельство в пользу наличия машины сознания и знаете Все мы слышали вот этот самый популярный философский тезис мол А вот если у машин будет сознание то им же надо дать права но вообще-то тут есть кое-что куда
Speaker A
серьезнее если машинный интеллект способен формировать сознание то это ведет к нам много более страшным последствиям о которых нам следовало бы подумать заранее не к бустерам пишет что детально воссозданная модель человеческого мозга будет иметь сознание даже если эта модель воссоздана в
Speaker A
виртуальной среде на компьютере по крайней, мере у, нас, нет, причин, считать иначе ну то есть если вы думаете что у компьютера не может быть сознание то время доказывания лежит на вас потому что наш мозг на котором реализуется сознание Это тот же компьютер такой же
Speaker A
Агент и едва ли у нашего биологического железа есть какие-то особые это беспокойство принципиально не воспроизводимые на любом другом железе так вот можно представить сценарий в котором искусственный сверх интеллект чтобы улучшить свое понимание психических и социальных особенностей человека создаёт триллионы таких
Speaker A
обладающих сознанием эмуляторов в своем виртуальном пространстве Для чего Ну например для тестирования в разных ситуациях анализа реакций на стимулы и так далее чтобы потом применять эти знания во внешнем мире в чем же ужас во-первых сами эмулируемые ситуации могут быть чудовищными по своей сути А
Speaker A
во-вторых после получения нужной информации компьютер просто уничтожает созданных им сознательных существ если такую практику применять агентам имеющим высокий моральный статус имитационным моделям людей или другим типом интеллекта наделённым сознанием то такие действия могут классифицироваться как геноцид а следовательно представлять
Speaker A
чрезвычайно серьёзную морально-этическую проблему более того число жертв Может на порядок превышать число жертв любого геноцида известного в истории человечества никбом когда же появится первый общий искусственный интеллект Когда нам начинать бояться автор книги наши последние изобретение Джеймс бар отправил исследование на ежегодной
Speaker A
конференции Бена герцога по общему искусственному интеллекту был поставлен вопрос Когда по мнению участников будет достигнут общий искусственный интеллект наибольшее количество голосов сошлось на 2030 году вы Спросите Да что Черт побери происходит Почему в таком случае никто не паникует И никто ничего не делает
Speaker A
многие разработчики искусственного интеллекта думают что мы несёмся навстречу катастрофе большинство из них осмеливаются говорить Это в Личном разговоре а не на публику Они думают что не могут в одиночку остановить этот поезд что даже если они уйдут со своей
Speaker A
работы и её продолжит другие Лидер витковский в статье для журнала Time в мае 2023 года сотни ведущих учёных исследователей и других специалистов в области искусственного, интеллекта, в, том числе исполнительный директор Почему в котором говорится цитата снижение риска исчезновения из-за
Speaker A
искусственного интеллекта должно стать глобальным приоритетом Наряду с другими рисками общественного масштаба такими как пандемии и ядерная война письмо подписала более 350 руководителей исследователей и инженеров в области искусственного интеллекта Так что кто-то все-таки волнуется но как вы понимаете все эти письма Это ничто Никто из тех
Speaker A
кто может создать общее искусственный интеллект не в состоянии остановить его разработку как пишет Стюарт Рассел экономическая ценность искусственного интеллекта человеческого уровня измеряется в тысячах триллионов долларов и следует ожидать колоссального импульса на продолжение этих исследований со стороны корпорации, властей, никакие
Speaker A
туманные философские возражения не могут помешать погоне за потенциальные выгодой если это не сделает opena или гипноинт это сделает кто-то ещё например в 2018 году беспилотный автомобиль убил пешехода, после, того, как инженеры отключили систему экстренного торможения с, тобой чрезмерно, чувствительная, и
Speaker A
замедляла разработку вы скажете Ну блин все равно как-то не верится вот чат gpt он же обучался на человеческой речи значит там должен быть какой-то элемент психологии тоже же он был что-то перенять у людей думать об этом так скорее неверно потому что это как если
Speaker A
бы инопланетная актриса училась подражать человеческим эмоциям Ловушка заключается в том что сначала по мере роста мощности искусственный интеллект будет все лучше и лучше притворяться человеком выкручивая наш бак очеловечивания на максимум голосовые помощники в наших телефонах кажутся нам похожими, на, нас и, они, становятся, всё
Speaker A
умнее и умнее с ними всё более и более приятно вести беседу поэтому Мы представляем себе сверхразумную Сирию тёплые весёлые и заинтересованные в служении людям но если Siri когда-нибудь станет сверхразумной благодаря самообучению то без регулярной корректировки её кода со стороны
Speaker A
человека она быстро потеряет все свои очевидные человеческие качества и внезапно станет бесчувственным инопланетным там который ценят человеческую жизнь не больше чем природная стихия К сожалению Несмотря на то что построить дружественный слабый искусственный интеллект легко создать дружественный искусственный сверх
Speaker A
интеллект чрезвычайно сложно или вообще невозможно Представьте что вы по-человеческим меркам можете буквально все вы дадите кому-нибудь собой управлять если технологическая сингулярность может случиться то она случится даже если все правительства мира осознают эту угрозу и будут от неё смертельном ужасе
Speaker A
продвижение к этой цели будет продолжаться вернонс надеюсь мне хватило вычислительных ресурсов чтобы раскрыть позицию элизируютковского конечно по здравом смыслом всякие разумеет лишь свой собственный нотковский действительно хотел бы ошибаться и он открыт для последовательной критики своих взглядов Всем большое спасибо за
Speaker A
просмотр и отдельное спасибо тем кто поддерживает меня на бусте и Патриот
Topics:искусственный интеллекттехнологическая сингулярностьсверхинтеллектЮдковскийВернор ВинджGPTриски ИИсогласование ИИДжеффри Хинтонбудущее человечества
![ЕШЬ ТАК И ХУДЕЙ! Готовый рацион для похудения [НА КАЖДЫЙ ДЕНЬ] — Transcript](https://i.ytimg.com/vi/NgOHxv3CWks/maxresdefault.jpg)
