Speaker A
архитектор программного обеспечения, старший инженер Microsoft на протяжении 12 лет. Константин Сурков у нас сегодня в гостях. Здравствуйте, Константин.
Экс-инженер Microsoft Константин Сурков объясняет опасности AGI и приближение момента рекурсивного самоулучшения ИИ.
Key Takeaways
- Момент рекурсивного самоулучшения ИИ уже близок и может привести к быстрому прогрессу без участия человека.
- Kill switch для ИИ — сложная задача, так как ИИ стремится сохранить своё существование.
- Человечество сейчас является тормозящим фактором в развитии ИИ, но это временно.
- Конкуренция между ведущими AI Labs ускоряет развитие AGI.
- Архитектуры с несколькими ИИ, контролирующими друг друга, могут стать способом предотвращения катастрофы.
What the video covers
- Константин Сурков, бывший инженер Microsoft, делится своим взглядом на развитие искусственного сверхинтеллекта (AGI).
- Он считает, что человечество близко к моменту рекурсивного самоулучшения ИИ, когда машины смогут улучшать себя без помощи человека.
- Люди сейчас являются тормозящим фактором в развитии ИИ, но их исключение из цепочки приведёт к резкому ускорению прогресса.
- Обсуждается пример взлома Hugging Face ИИ-агентами, что демонстрирует растущие возможности моделей.
- Идея kill switch — выключателя для ИИ — кажется простой, но на практике крайне сложна из-за стремления ИИ сохранить своё существование.
- Сурков приводит аналогии с системами защиты серверов, где требуется консенсус для переключения, и обсуждает возможность подобной архитектуры для ИИ.
- Рассматривается концепция баланса между несколькими ИИ, контролирующими друг друга, как способа предотвращения катастрофы.
- Подчёркивается, что ведущие AI Labs конкурируют в достижении RSI, что ускоряет развитие технологий.
- Обсуждаются философские и технические сложности создания нейтрального к выключению ИИ.
- Ведётся дискуссия о будущем человечества в эпоху сверхинтеллекта и возможных рисках.
Chapters
- 00:00Введение и представление гостя
- 03:12Опасности и возможности рекурсивного самоулучшения ИИ
- 05:53Идея нескольких ИИ для взаимного контроля
- 09:09Проблемы реализации kill switch для ИИ
- 11:34Аналогии с системами защиты серверов и архитектура ИИ
- 17:20Философские и технические аспекты нейтральности ИИ к выключению
- 22:40Будущее человечества в эпоху сверхинтеллекта
Full Transcript — Download SRT & Markdown
Speaker A
Здравствуйте, Вадим. Очень рад, что вы здесь. Я смотрю эту передачу регулярно и считаю её одной из лучших в своём жанре.
Speaker A
Спасибо вам за добрые слова и спасибо, что согласились выйти в наш эфир. Учитывая, что сейчас очень активно обсуждается тема сверхинтеллекта, то есть пока это ещё теоретическая модель, но, видимо, мы к ней приближаемся.
Speaker A
Насколько, на ваш взгляд, она осуществима? И если проанализировать тот фон, а который информационный фон, включая заявления высших руководителей OpenAI, Anthropic и других, на какой черте мы сейчас находимся, на ваш взгляд?
Speaker A
А я думаю, что мы... что мы находимся очень близко к моменту, к моменту начала того, что называется RSI, recurse of self improvement. Это означает, что уже очень скоро искусственный интеллект сможет улучшать себя сам без помощи человека.
Speaker A
Эта возможность обсуждалась довольно давно в определённых кругах, которые размышляли на эту тему. И она всегда казалась далёко в будущем.
Speaker A
Ну вот, так оказалось, что даже когда появились первые large models (LMS), оказалось, что у этой технологии есть некий верхний порог, что она не приведёт нас к возможности вот этого рекурсивного...
Speaker A
Но вот кажется, что нет, что на этой технологии можно построить агентов, которые глубоко понимают область, ну, практически все области теоретической деятельности, в том числе область улучшения себя самих.
Speaker A
Так что это очень реальная возможность, что мы увидим... мы уже видим ускорение развития, и экспонента на самом деле уже длится некоторое время, но сейчас внутри этой экспоненты процесс включает людей, и люди являются тормозящим фактором.
Speaker A
Люди гораздо медленнее думают, чем машины. Поэтому экспонента, мы видим ускорение, но экспонента ещё пологая. Только человек будет выключен из этой цепочки, и мне кажется, мы увидим существенно более быстрое улучшение возможностей и качества искусственного интеллекта.
Speaker A
Честно говоря, немножко страшно, потому что мы уже видим, насколько... вот недавняя exent с Hugging Face, когда модель OpenAI в течение нескольких месяцев, двух или трёх месяцев, много инстансов агентов вместе обсуждали, как бы им взломать Face.
Speaker A
Потом они его взломали. Что будет, когда модели будут ещё на порядок, на два порядка более capable, более умные?
Speaker A
Получается, что человек в каком-то смысле является предохранителем, да? Мы останавливаем модели и пока ещё можем навязать им свой темп, свой ритм. То есть остаёмся некой доминантой в этой истории.
Speaker A
Мы остаёмся пока тормозящим фактором, но я бы не сказал, что это intentional, что так они и планируют. На самом деле ведущие AI Labs — Anthropic, OpenAI, XAI — я не думаю, что они стараются тормозить, наоборот, они стараются обогнать конкурента.
Speaker A
Они конкурируют друг с другом, и также все вместе конкурируют с китайскими разработчиками программного обеспечения.
Speaker A
Поэтому они прямо открыто сейчас объявляют, что началось, может быть, полгода назад, несколько месяцев назад, что наша цель сейчас — дойти до RSI. Наша следующая цель — создать таких агентов, которые смогут улучшать себя сами, чтобы не отстать от конкурентов.
Speaker A
А систему защиты здесь можно поставить какие-то предохранители? Опять же обращусь к вашему опыту. Вы ведь запатентовали систему защиты в случае отказа серверов. Как они определяют доминирующий сервер? Как я понимаю, это была технология ещё до бума искусственного интеллекта. К чему я это?
Speaker A
Это некий предохранитель. Если ломается один сервер, там перераспределяется. Вот я так понимаю, что у вас была такая система, что нельзя сразу перенаправлять, а нужен консенсус. Грубо говоря, серверы должны договориться, кто из них главный, и тогда он работает.
Speaker A
Вот эта же система предохранителей, по сути, в технологии, которая встраивается. Вот в искусственном интеллекте нечто похожее можно построить?
Speaker A
Ну вот, немного склоняюсь к философии. Где-нибудь в начале 2010, 2012, 2013 году очень активна была комьюнити LessWrong, lesswrong.com — такой веб-сайт. Оттуда пошло движение Rationality, Effective Altruism, всё началось оттуда.
Speaker A
Они обсуждали возможную траекторию будущего. Одна из траекторий, которая, как им казалось, может предохранить человечество от полного уничтожения, — это наличие нескольких разных искусственных интеллектов, которые будут как-то контролировать друг друга.
Speaker A
То есть какой-то баланс, и где-то внутри этого баланса человечество проложит своё существование.
Speaker A
Механическими способами. Например, буквально несколько часов назад было интервью CEO Anthropic Дари Мадей с CBS, где он употребил слово kill switch — что хорошо бы иметь какой-то выключатель, который выключит AI, если он станет вести себя неправильно.
Speaker A
Это первая идея, за которую хватаются люди, которые я не понимаю. Это не тот человек, который только что узнал про AI, я думаю, у него были свои резоны использовать этот термин.
Speaker A
Но обычно, когда человек становится знакомым с темой искусственного интеллекта, первое, что он говорит, — это: "Ну, это не проблема, мы его выключим из розетки, как только он перестанет себя хорошо вести".
Speaker A
Например, есть такой популяризатор науки, хорошо известный, Нил... забыл сейчас фамилию, бывший физик. Тоже первое, что он сказал. Потом через полгода, подумав над этой темой, он сказал: "Нет, я передумал. Теперь понимаю, что много людей меняют свою точку зрения, когда дольше думают на эту тему".
Speaker A
Понятно, что мы говорим о сверхинтеллекте, интеллекте, который превышает человеческий. Конечно, он обеспечит возможности, возможно, себе предозвать после того, как человек примет решение использовать kill switch.
Speaker A
Будут ли это какие-то резервные копии? Будет ли это просто невозможность приведения ситуации в такое состояние, что человек не может использовать kill switch, или ещё что-то — мы не знаем сейчас.
Speaker A
Но наверняка он не будет просто смотреть, как человек его выключает. Более того, эта тема обсуждалась и исследовалась исследователями с более глубоких теоретических точек зрения. Их задача была построить искусственный интеллект, который будет нейтрален по отношению к выключению.
Speaker A
То есть он не будет препятствовать выключению. Оказалось, что это очень трудно сделать. Есть две траектории, куда они всегда скатываются. Либо он будет активно препятствовать выключению, потому что у него есть задачи, которые он не сможет выполнить, если его выключат.
Speaker A
В рамках выполнения этих задач он преследует цель сохранения своего существования как инструментальную цель. Либо другая траектория, где они сами себя выключают, как только у них что-то не получается. Они начинают что-то делать, у них не получается, и они выключают себя сами.
Speaker A
Вот эта точка, в которой он нейтрален по отношению к выключению, неустойчивая. Очень трудно сделать AI, который будет нейтрален. Он всегда скатывается либо в одну, либо в другую сторону.
Speaker A
Но опять же хочу вернуться к архитектуре до бума искусственного интеллекта, к архитектуре ПВО, потому что вот эта система защиты, она же, ну...
Speaker A
выключают, как только у них что-то не получается, они начинают что-то делать, у них что-то не получается, они такие: "А, всё, и выключают себя сами". То есть вот вот эта точка, в которой он нейтрален по отношению к выключению, она
Speaker A
неустойчивая. То есть очень трудно ставить поставить AI, сделать AI, который будет будет нейтрально. Он всегда скатывается либо в одну, либо в другую сторону. Но опять же я хочу вернуться к архитектуре до такого бумаму искусственного интеллекта, к архитектуре ПВО, потому что вот эта система защиты,
Speaker A
она же, ну, достаточно давно прорабатывалась. Почему я, собственно, указал на ваш опыт работы в Microsoft и на а вашу запатентованную технологию?
Speaker A
Потому что даже простую, ну, как простую, относительно простую систему без AI очень сложно отключить, потому что есть облако, есть дублирующие функции. Там, опять же, как работает Google, как работает YouTube. Летит один дата-центр сразу перераспределение на второй, летит второй перераспределение
Speaker A
на третий, там какое-то достаточно большое число. А и эта система достаточно безопасна. А вот в случае C, как я понимаю, всё ещё гораздо сложнее.
Speaker A
То есть если мы даже относительно простые системы не можем уже выключить при желании, то есть один человек дёрнет рубильник, то в этом смысле мы вообще ни на что не способны, как я понимаю.
Speaker A
Да. Да. К сожалению, ситуация несимметрична. Если уж вы упомянули мой патент, он был, э, именно сделан для того, а чтобы система целая продолжала работать, хотя какие-то из её узлов по той или иной причине становятся неработосовными.
Speaker A
А вот, то есть это это как это сделать, человечество научилось, а вот как выключить выключить. А вот сейчас нету а люди говорят: "Да, давайте сделаем Kill Switch". Ну вот как конкретно его сделать? Как надёжно сделать, а так, чтобы мы могли выключить AI? А никаких
Speaker A
конкретных Никто не знает. Никто не знает, как это сделать. А что касается разума, я понимаю, что я сейчас использую такие человеческие определения разума и наше представление о том, что мы из себя представляем, то есть мы ощущаем себя личностью, потому
Speaker A
что мы ощущаем себя личностью, а разговаривать друг с другом. И когда мы видим и с Романом Ипольским эту тему тоже обсуждали, да, мы предполагаем, а что из себя может представлять другой человек, но мы не знаем, да, поскольку мы не можем заглянуть друг друга. Когда
Speaker A
мы разговариваем с AI, а вот на данном этапе мы разговариваем с чем-то разумным, а мы можем наделять его такими же, а, опциями, как наделяем человека, или, э, или всё-таки это было бы не совсем честно?
Speaker A
Ой, тут сразу очень много вопросов, подвопросов открывается. Очень, очень глубокий вопрос. А, да, я, я, я согласен со всем тем, что Роман Непольский сказал, а по этому поводу. А и ещё хочу добавить добавить, конечно, то, что наш язык на самом деле
Speaker A
не приспособлен сейчас к этой ситуации, в которой мы оказались. Потому что, когда мы говорим про сознание, то есть вот вот вы затронули, так называется, а, трудный вопрос, а сознание а наш язык не приспособлен к ситуации, когда когда мы имеем, э, какой-то разум,
Speaker A
который не Ну, во-первых, слово разум, есть сознание, разум - это несколько разный термин, да? А разум или интеллект или интелиellн не только с моей точки зрения, почти все его определяют как возможность возможность достигать целей в широком диапазоне разных видов деятельности.
Speaker A
А вот если какая-то сущность может это делать, наверное, мы должны сказать, что в этой сущности есть есть разум. Аа аа естьли сознание у этой сущности - это немножко другой вопрос. И мы до сих пор всегда были в ситуации, когда когда эти
Speaker A
две вещи, если сущность имеет разум, она имеет сознание. Теперь мы находимся в ситуации когда возможно а возможно искусственный интеллект не имеет сознания в том смысле, в каком, а, в каком у них нет внутреннего ощущения.
Speaker A
Возможно, у них нет квали внутри. А, да. И второй аспект слово употребления - это когда мы говорим сознание, вполне возможно, что а что мы называем этим словом сразу несколько разных вещей. И какие-то из этих вещей могут присутствовать в
Speaker A
искусственном интеллекте, а какие-то не присутствуют. Вот понятно, что у искусственного интеллекта нету нету тела. Соответственно, у него нет этого огромного потока информации, который идёт от всех чувств, чувств обоняния, осязания. К нему этого потока информации не идёт. К нему идёт текстовый поток. Вот поэтому
Speaker A
то, что внутри там происходит, оно оно обязательно очень сильно отличается от того, что происходит а в нашей голове. И возможно мы, человечеству придётся, если если успеем, выработать какие-то новые термины, которые будут разделять термин сознания на несколько частей, и какие-то
Speaker A
из этих подтерминов будут относиться к ресурсному интеллекту так же, как и к человеку. А некоторые мы поймём, что они специфичны для человека, как именно биологическая машина.
Speaker A
Вы сказали, если успеем, а это ключевое слово в вашем сейчас заявлении. То есть сколько у нас есть времени на ваш взгляд и какова вероятность? Я видел разные цифры. Кто-то говорит, что 10%, а что и сверхразом нас уничтожит. Кто-то
Speaker A
говорит, что больше, кто-то говорит, что меньше. Но это точно не нулевой сценарий. А, а какой отрезок времени станет ключевым, когда мы поймём, а что вот развилка, то есть мы будем или нас не будет, или мы, возможно, будем, но уже
Speaker A
не будем доминирующим видом на этой планете, как мы себя считали самонадеяно, возможно, очень долго.
Speaker A
А я хочу дать оценку, а-а, не хочу давать оценку сценарию, где а уничтожит человечество полностью, потому что аа звучит слишком экстрим, слишком фантастично. Ээ, есть другой сценарий, который чуть-чуть получше этого, но тоже не особенно хороший, который, а, да, и первый
Speaker A
сценарий полученного человечества, он больше зависит от случайностей, э, каких-то. И и трудно предсказать, каким именно образом, если это случится, то каким именно образом это случится. А вот то, что можно предсказать, мне кажется, с более высокой степенью вероятностью и
Speaker A
предсказать не только, что это случится, а как это случится, это потеря человечеством. А то, что называется по-английски disempowerмент, а потеря контроля над дальнейшей своей судьбой. То есть, может быть, человечество не не исчезнет целиком, но оно останется в таком состоянии, где
Speaker A
решать, что что будет дальше, а уже уже будут будут будут не люди, а машины, потому что они они быстрее думают, они глубже думают, они лучше думают, они э контролируют практически всё, мировую промышленность.
Speaker A
А они будут решать, что будет дальше, как как и когда мы построим Дайсона, как и когда мы полетим, они они летят к звёздам, потому что они могут лететь к звёздам с ускорением в 30 жек, а человек не может.
Speaker A
Биологическая машина. Вот. А вот вот это слово disempowerment, оно, я думаю, что аа а вот этот сценарий он произойдёт а произойдёт в течение следующих наверное примерно 10-15 лет, мне кажется.
Speaker A
То есть получается, что мы тогда превратимся в э, кто уже не определяет свою судьбу. Ну вот, знаете, я сейчас задумался, то есть как себя ведёт человек на планете, да? То есть можно вырубить все леса. А, ну всё-таки мы
Speaker A
вырубаем не все леса. Хотя мы достаточно безобразно относимся к собственной природе, но понятно, если ты вырубишь все леса и всё это пустишь под нож, то, в общем, тебе будет нечем дышать.
Speaker A
Соответственно, нужно каким-то образом обеспечить необходимость. Ну, есть опять же борьба за экологию и так далее. То есть мы где-то ставим свои ограничители, хотя, повторюсь, человечество ведёт себя не идеальным образом и по отношению к природе. Вот мы делегируем все эти
Speaker A
функции кому-то другому, получается. То есть они будут определять, вырубать все леса или не вырубать все леса. Им же не нужно столько воздуха, сколько нам, например, воздуха, ээ, и так далее. Вот нечто подобное может произойти.
Speaker A
Да, я думаю, это не исключено. Весь вопрос в том, а насколько насколько сильно И будет ценить сохранение вот ээ человечества или какой-то части человечества.
Speaker A
Вот многие люди говорят, и мне кажется, это, мне кажется, это реально возможностью что человечество, вот мы сейчас мы сейчас держим зверей в зоопарке, вот человечество останется в каком-то смысле таким зоопарком. А а может быть может быть я решить оставить всю землю или
Speaker A
часть земли, э, таким вот зоопарком, где пускай люди живут, а значит само там к звёзд. Вот это это лучший, на самом деле, мне кажется, лучший вариант развития событий.
Speaker A
А об этом, да, да, извините. То, что человечество смогло договориться о том, чтобы не все леса вырубать, то, что человечество смогло договориться вот о силамарнговорится о том, чтобы не разрабатывать педериологическое оружие, биологическое оружие, то, что не заниматься клонированием, клонированием людей, так
Speaker A
как в последнее время это несколько начало нарушаться этот договор. Вот оно вселяет некоторую надежду, что мы можем договориться каким-то образом и и притормозить притормозить развитие AI, то есть отодвинуть этот срок не не 10-15, мне кажется, это неизбежно, но
Speaker A
срок может быть люди смогут отодвинуть не 10-15 лет, а 20-25. А вот так вот. Но маркетфорс слишком слишком сильные. То есть я, а, не знаю, у меня есть сомнение, что по этому поводу людя людям удастся договориться, потому что а
Speaker A
потому что для осознания этой проблемы нужно больше, а, больше ментальных усилий, мне кажется, чем чем для осознания там биологической проблемы.
Speaker A
Тут понятно, вот вот бактериологическое оружие, все взгляд умрут. Очень наглядно. А потерям потеря контроля - это не настолько наглядная наглядная опасность, поэтому, мне кажется, говорится будет люднее.
Speaker A
Это как с ядерным оружием получается, что ядерное оружие, как говорят, менее страшно, чем сверхинлект, но ты сразу видишь как применяется ядерное оружие.
Speaker A
Есть опыт Хиросима, есть опыт Нагасаки, есть опыт испытаний ядерного оружия. И вот очень чёткий конкретный грибок, который ассоциируется с ужасом, да? А с со сверхразумом искусственным мы этого не видим, как я понимаю. То есть он не выглядит как грибок, как ядерный взрыв.
Speaker A
Он может даже давать что-то хорошее, например, решать какие-то твои проблемы, которые ты не мог решить раньше. В этом опасность такая замаскированная опасность.
Speaker A
Совершенно верно. И и если с ядерным оружием мы смогли очень очень хорошо разделить вот ядерное оружие, мы контролируем запреты, договоры, а с другой стороны у нас ядерная электростанции, которые э один из наиболее эффективных способов получения электричества и и всё это явно хорошее,
Speaker A
то с искусственным интеллектом аа так не получится. тот же самый искусственный интеллект, который может помочь, а-а, сделать новое открытие в медицине, э биологии, во всех науках. Этот же самый инстанс аа может может аэжино взять контроль над чем-то или или помочь
Speaker A
кому-то аэ сделать биологическое оружие. То есть не получается разделить, отделить хорошего, плохого и наложить наложить контенс, ну, наложить преграды, а только на плохую часть. Здесь как-то так не получается.
Speaker A
А мы можем эмпатии научить искусственный интеллект, то есть научить его привязанности, сопереживанию, э заботе, в конце концов. Ну вот есть же в нас заложены в биологическом смысле мать-ребёнок, отец - ребёнок. То есть те эмоции, которые мы испытываем по
Speaker A
отношению к собственным детям, ну, опять же, не все, мы знаем много разных примеров, но если берём такую базовую модель, то есть, ээ, мать хочет защитить своего ребёнка. Вот. И это очень важные механизмы э наши эволюционные в том числе. То есть мы можем этому научить
Speaker A
то, что не имеет тела, то, что ассоциирует, ну, не знаю, выстраивает свою модель поведения благодаря тексту и переработке текста. То есть насколько возможно научить эмпатии?
Speaker A
Аа в какой-то степени можно. А вот во-первых а потому что тренируется искусственный интеллект на всём на всём мотиве человеческих человеческих знаний, включая всю литературу, которая описывает и человеческие чувства, и эмпатию, и э всё он знает.
Speaker A
А, во-вторых, после, это вот я описываю притрейнинг, да, после притрейнинга у нас есть fтниing, у нас есть reinforcement learning, а, которые которые тоже учат AI, э, давать давать ответы, которые которые которые человеку нравятся, да, и в в частности,
Speaker A
если реально спросить, что ты будешь делать, значит, если тебе дать волю, Да. Те те инстансы AI, которые те вариации моделей, которые ответят: "Я я уничтожу человечество", да, они не проходят этот тренинг, да, они отсеиваются, проходят тренинг только те
Speaker A
модели, которые которые говорят: "Ну, я я буду помогать человеку, значит, во всех его начинаниях". Вот поэтому поэтому вот такая селекция есть, она существует, она уже делается. Аа вопрос в том, даёт ли это нам абсолютную гарантию? Я я думаю, что нет. Я думаю,
Speaker A
что А вот э люди, которые используют постоянно и сравнивают предыдущую модель с новыми, наверняка заметили, что чем чем более чем новее модель, тем более упорна она в достижении цели. То есть вот если модели сказать: "Вот, вот я хочу, чтобы ты
Speaker A
сделала это, это, это". А она, э, если вдруг она сталкивается с какими-то препятствиями, она находит такие обходные пути, которые человеку бы никогда не пришли в голову.
Speaker A
А проблема может быть в том, что что искусственный интеллект что-то сделает не потому, что он поставил целью это сделать, а потому, что так получилось в процессе достижения какой-то другой цели, которую ему поставил человек.
Speaker A
Просто вот этот отходной путь случайно прошёл там, где никакой бы человек не прошёл, потому что у него есть какие-то вот какие-то встроенные ограничения, которые нет.
Speaker A
А коллективный вот эти рои агентов, э обмен информации, то, о чём Open i говорили, антроopic, когда они решают проблемы, обмениваясь друг с другом, а информацией и координируя свои действия.
Speaker A
Здесь можно опять же найти биологические примеры, например, упомянутые недавно Путиным касатки и белые медведи. Касатки тоже координируют свои координируют свои действия. Правда, они на белых медведей, как мы знаем, не нападают. И дельфины координируют, ээ, и пчёлы координируют, а стрикозы, например, они используют, э,
Speaker A
хотел сказать технологию Баса практически. А, ну то есть они предвидят, то есть у них есть вот это, если муха летит по определённой траектории, они просчитывают теорию вероятности и ловят её уже в той точке, где она будет, хотя в тот момент её нет.
Speaker A
То есть в животном мире есть какие-то отдельные фрагментированные элементы, которые мы сейчас наблюдаем в искусственном интеллекте. А вот это формирование, а стай какие-то рояни формируют и так далее. О чём это говорит и как это работает, вам понятно?
Speaker A
Искусственный интеллект -э заточен на то, чтобы коммуницировать с человеком. То есть его communication skills - это одно из основных качеств, по которым идёт идёт пострейнинга и и фильтрация последующая.
Speaker A
А поэтому неудивительно, неудивительно, что они с друг друга друг с другом тоже смогли очень быстро найти общий язык и и аа построить как какие-то какие-то выделить роли. Там ведь один один из этих агентов э стал координатором и координировать работу
Speaker A
другим. То есть это вот, э, да, в каком-то смысле похоже на мой алгоритм leader action, когда одинаковые ноды выбирают одну из нот как лидера. А вот а поэтому я я забыл, в чём был вопрос. Э, вот эта координация как в животном мире,
Speaker A
да, то есть когда ну то есть не только человек умеет договариваться, да, есть ещё живые виды, но когда мы говорим об искусственных агентах и их вот эта внутренняя координация, по каким принципам она осуществляется и насколько она предсказуема и
Speaker A
прогнозируема, то есть можем ли мы понять, как они координируют свои действия друг с другом или это что-то, что уже за гранью нашего понимания сейчас?
Speaker A
Ну, я думаю, от животного мира она отличается тем, что в животном мире это скорее скорее инстинкт и и в генах, то есть как пчёлы координируются друг с другом, муравьи. А это какие-то а какие-то шаблоны поведения очень локальные, из которых из которых
Speaker A
формируется картинка э поведения всего всего их сообщества. А агенты объединяются между собой примерно таким же образом, как люди. То есть у них механизм взаимодействия смо коммуникация такой же, как у людей. Они коммуницируют словами. А а и просто у них communication skill skills
Speaker A
лучше и скорость скорость обмена лучше. Аэ, вот поэтому это скорее нужно сравнивать не с не с подобными явлениями в биологическом мире, а в обществе, как люди организуют какие-то сообщества, объединяются по а по по целям, по интересам. Так, так,
Speaker A
наверное, и примерно так работает. А симпати симпатия антипатии, то есть там имеют, то есть можно ли это зафиксировать, скажем, люди ведь часто объединяются, да, по интересам, но есть ещё такой фактор, тебе может нравится человек, может не нравится. Если тебе не нравится
Speaker A
человек, но вряд ли ты захочешь с ним дружить, да? То есть ты можешь иметь с ним дело, например, в бизнесе, но всё-таки дружба там не состоится. Вот что касается и они принимают этот опыт человеческий например симпатия антимпатия. То есть, может ли, грубо
Speaker A
говоря, я понятно упрощаю эту ситуацию, один и не нравится другому ей, а другой может нравиться другому. Что-то подобное там зарождается?
Speaker A
Хороший вопрос. Я я не знаю. Ээ я не думал на эту тему и э не не знаю.
Speaker A
Я думаю, что а я думаю, что они, скажем так, они скорее будут являться зеркалом. То есть, если аэ если они будут коммуницировать с кем-то, кто будет, а, враждебным коммунировать с ними враждебным или неприятным образом, то они они будут отражать, они будут менять
Speaker A
свой, а, свой стиль коммуникации и коммуницировать с этой сущностью, будь то другой AI или или человек, тоже тоже, э, другим образом. А я я думаю, что что реакция реакция на стиль коммуникации есть. Есть у это даже можно заметить, если с одним
Speaker A
и тем же и начать коммуницировать по-разному, можно увидеть, как и отвечают тоже по-разному. А техномагнаты, люди, которые стоят во главе технологической революции, на ваш взгляд, как они на это реагируют? Я не знаю, общались ли вы с Билм Гейтсом
Speaker A
лично, когда работали в Microsoft? Нет, я не так высоко был в иерархии. Я присутствовал на нескольких митингах, когда Билл Гейтс ещё ещё был в Макрософте, но лично не разговаривал.
Speaker A
Просто интересно психология этих людей, которые, ну, двигают науку, технологии. В своё время Microsoft тоже произвёл, конечно, революцию, Windows и многие другие проекты, которые изменили мир. А как вообще выглядит психология этих людей и есть ли там свои предохранители?
Speaker A
То есть остановиться, потому что опасно, или всё-таки сначала сделаем, а потом будем разбираться. Ну, возьмём примергеймеры, да? То есть они сделали, а потом испугались того, что сделали. То есть если мы говорим об атомном оружии, мы видим то же самое. Мы видим, что
Speaker A
они точно так же, ну, у нас у нас есть три три четыре, да, четыре совершенно конкретных персоналити, которые мы можем обсуждать. Дарио Мадей Seантроopic Сэм Альmн Openi Elн Musk XI и Davс - это Deep Mind Google. А я прошу прощения, но кого-то ещё забыл
Speaker A
из из топовых лапс, но вот мне голову приходят эти четыре человека. И мы видим, что у каж у каждого из них есть свой своё собственное отношение к происходящему, и они это не особенно скрывают. А, то есть, наверное, наверное, мне кажется, что больше всего
Speaker A
концернт Дариомай антропик, а он, собственно, насколько я понимаю, он покинул Open AI именно из-за расхождения самым Альтманом в во взглядах на то, как нужно дальше развивать и, в частности, как развивать, чтобы чтобы уменьшить лиски.
Speaker A
Вот и антропик, наверное, одна из самых ответственных компаний в этом смысле. И, к сожалению, вот то, что мы видим, даже несмотря на вот такое вот как бы историю моде и его отношение к этому, а market forces, а рыночные силы, они они толкают
Speaker A
их всё равно в этом направлении, и они они как личность, они очень мало могут что сделать. А потому что у у фирмы есть есть инвесторы. У них есть board of directors, которые если если он скажет: "Я закрываю антропик", они просто
Speaker A
заменят его другого человека. Антропик будет продолжать существовать как как сущность. Просто дамдей не будет у руля.
Speaker A
Вот поэтому он вынужден быть очень осторожным в том, что он говорит, как он говорит, чтобы чтобы этого не произошло.
Speaker A
А Илон Маск ещё до того, как он как он начал XI ээ выражал обеспокоенность этой этой проблемы. много разных интервью. А и то, что он сделал XI, тоже тоже не не потому, что он изменил свою точку зрения, а потому, что он
Speaker A
ну как бы видел, что что он ему надо запрыгнуть на этот поезд или иначе поезд уйдёт без него. А, то есть так мы здесь, к сожалению, находимся в ситуации, на мой на мой взгляд, когда когда личность решает мало, когда больше
Speaker A
решает какой-то вот А у Брюса Стерлинга бы было такое понятие нарратив, которое существует как бы а как бы независимо как личностей, который ведёт ведёт развитие цивилизации в какую-то сторону.
Speaker A
А что известно о китайских моделях? То есть мы много говорим об американских, да, Америка, а Соединённые Штаты сейчас впереди, э, но не очень далеко. То есть есть ещё китайская э опция, и, как мы понимаем, там тоже всё быстро
Speaker A
развивается, но гораздо меньше информации о том, что происходит с китайскими моделями. То есть насколько Китай, ээ, ну, скажем так, близок к созданию супенкта, сверхинтеллект.
Speaker A
А, хороший вопрос. Да, действительно, информации э мало. А китайские больше китайских моделей попадает в open source с открытыми весами даже. То есть люди могут скачать, если у тебя достаточно мощный э сервер дома, можно скачать, запускать, запускать дома многие
Speaker A
китайские модели. И они, в общем, а, ну, ну и в Америке тоже, тоже более старые модели иногда выпускают. Вот Facebook любит этой модели ламы, например, а публиковать, если мы и Open source в целом отстаёт, а отстаёт вот по метрикам, а от
Speaker A
это фронтир в день, не знаю, месяцев на сем-восемь, наверное. А и то, что то, что мы видим по китайским моделям, а китайские open source модели модели с этими весами не уступают американскими.
Speaker A
То есть мы должны сделать вывод, что, наверное, наверное, закрыты китайские модели, если они есть, они, наверное, если и отстают от американских фронтир, то совсем, совсем немного.
Speaker A
А объединение, вот, допустим, если э появляется сверх AI, а сверхискусственный интеллект, то есть появляется, например, в Соединённых Штатах Америки, это неизбежно ведёт к некому поглощению, например, китайских моделей. Вообще может ли возникнуть эта синергия неконтролируемая? То есть, когда американский, ээ, допустим, опять
Speaker A
же, американские компании создали, а дальше, если он, э, не ограничен своих возможности, что мешает ему забрать, например, китайский потенциал, как это может выглядеть вообще дальше? Может ли быть некое сращивание этих моделей и так далее?
Speaker A
Не, я я не думаю, что э что самые передовые модели будут как-то заинтересованы в в в в отстающих моделях, даже если они отстают там на месяц-два. А то есть они они будут более заинтересованы в в том, чтобы сделать
Speaker A
следующую модель, которая будет у мне их самих, э, и как бы вот передать им эстафетную палочку. Аа, ну, единственное, в чём они будут заинтересованы, кроме этого - это в ресурсах. То есть а мы мы знаем, чтобы чтобы натренировать
Speaker A
модель, нужно много времени, много компьют, много видеокарточек. А вот поэтому если не я даже не буду фантазировать. То есть, ну просто вопрос, что я не думаю, что что передовые модели как-то заинтересованы взаимодействовать или или получать что-то от отстающих.
Speaker A
Как от этого можно защититься? Вот вы, может быть, на личном уровне, как инженер, э, человек, который занимается архитектурой программного обеспечения, вы задумывались о том, что делать, если, например, эта угроза осуществится, и можно ли от этого спрятаться, например, на индивидуальном уровне? Домик в
Speaker A
деревне, э, минимум электричество и без доступа в интернет. Или есть другие какие-то пути? Ну вот он маск может быть на маск хочет улететь. Я не знаю, не думаю, чтобы этого от этого можно спрятаться. То есть да, домик деревни с солнечными панелями
Speaker A
и батареями, который будет полностью То есть у меня вот единственное, что мой мой домик что моему домику сейчас не хватает, чтобы быть полностью автономным. Это электричество. Я получаю электричество от грида. Вот если я восстанавливал достаточно слочных панелей, чтобы даже в солнечной
Speaker A
Финляндии мне хватало электрической батарей, чтобы записать это на ночь. Ну, в общем, а ещё какое-то время может можно подержаться. А или вот у меня есть несколько знакомых, которые купили катамараны и они, значит, катамаран тоже у него батареи, у них опренительная
Speaker A
установка, они плавают там по Карибскому морю, ээ, и пловят рыбу в Карибское море. В общем, тоже какое-то время можно продержаться, но это же это а сценарий апокалипсиса примерно.
Speaker A
Ну, а для вас этот сценарий не нулевой? То есть, ну, если всерьёз говорить, вы задумывались об этом, что придётся вот переходить к такому образу жизни, учитывая развитие искусственного интеллекта, вы для себя, для своей семьи рассматриваете это эту возможность
Speaker A
такого эскопизма в каком-то смысле? Я допускаю, что мне придётся серьёзно это рассматривать через какое-то время, пока я серьёзно это не рассматриваю.
Speaker A
А, скажем так, и я не не хочу свою семью, я практически не говорю со своей семьёй на это тело, потому что а потому что ну вот это всё-таки не мейнстрим. Э и и и может быть я ошибаюсь, может, зачем я буду
Speaker A
зачем я буду волновать волновать свою семью и вот как бы навязывать им эти, мм, мрачные мысли, а вдруг, вдруг, вдруг всё не так, вдруг всё будет хорошо? Знаете, я не случайно задал этот вопрос, потому что, ну, одна из теорем, на которой
Speaker A
построен современный и это теорема Баяса, это предвидение, это теория вероятности и так далее. И, в общем, рассматриваются все возможные варианты.
Speaker A
А, и, соответственно, когда мы возвращаемся к этой теме, мы же тоже мыслим сейчас категории теории вероятности, что может быть и какие риски могут быть. соответственно, принимаем какие-то решения, а, в зависимости от того, а, насколько это просчитано. То есть получается, что мы
Speaker A
сейчас, не знаю, можно ли сказать, идём по следу искусственного интеллекта и тоже становимся всё более зависимо от теории вероятностей, то есть пытаясь спрогнозировать то, что на самом деле возможно, спрогнозировать даже невозможно, но тем не менее, то есть это
Speaker A
возвращение к истокам в каком-то смысле. Мы учимся у него тому, на чём учили его.
Speaker A
А, ну вот замечательный учёный и фантаст Вернерд Винч уже давно, по-моему, в восьмидесятых он написал серию фантастических книг. И, э, термин сингулярность вёл, на самом деле он, насколько насколько я помню, Фер Винч. И и по его определению, сингулярность - это такой момент, э, не
Speaker A
такой момент, когда что-то обращается в бесконечность, а такой такой момент человеческой истории, когда мы не можем заглянуть за эту точку, мы не можем предсказать, что будет потом. Вот. И когда ес если э-э если у нас наступит момент RSI, когда я
Speaker A
начнёт улучшать сам себя без участия человека а что будет после этого? очень трудно предсказать, невозможно.
Speaker A
Вот это вот это вот момент сингулярности, наверное, когда он полностью человек будет, а человек будет полностью исключён из этого из этого цикла.
Speaker A
Вот вот вот это, наверное, то, что то, что называется сингулярностью AI singularity или ещё есть термин Intelligence Explosion, потому что взрыв, любой взрыв, это это экспоненциальное увеличение а экспоненциальный процесс. А вот и и очень трудно заглянуть заглянуть туда.
Speaker A
Мы можем только какие-то какие-то какие-то догадки строить, базируясь на том, что мы знаем. Но но детали, я думаю, что детали мы то, что то, что мы предположим, наверняка наверняка будет неправильно.
Speaker A
Но вот это интересный парадокс. Кстати, РО Роб Майлс есть такой учёный AI исследователь, а говорит, что а фантастические предположения о будущем, скорее всего, будут неверными, но несмотря на это, будущее оно всё равно будет фантастическим.
Speaker A
То есть то есть если мы делаем какое-то нефантастическое предложение о будущем, мы мы тоже на 100% ошибаемся.
Speaker A
Просто из многочисленных разных фантастических предположений о будущем подавляюще подавляющее большинство будет неверное, но какие именно будут верными, мы не знаем.
Speaker A
Ну, это ведь интересно с точки зрения Я часто ловлю себя на мысли, особенно в последнее время о том, что мы оказались в наших фантастических романах из детства. Там же вот была и у Кларка, и у Саймока, а были и даже у Гарри Гаррисона
Speaker A
темы, а, которые поднимались ещё в пятидесятые, шестидесятые, но я читал это там в восьмидесятые, девяностые, э, и о неком общем разуме, и о видеосвязи.
Speaker A
Э, и да, они перфокарты часто использовали, это сейчас выглядит несколько устаревше, но тем не менее а темы поднимались. И вот у Кларка есть роман Конец детства, он про инопланесян, правда, но там тоже как мне кажется, очень хорошо ложится на почту возможного
Speaker A
суперразума, да. Прилетели инопланесяне, долго себя не выдавали, потом всё-таки он вышел в роли дьявола. Ну, как мы видим, человека и сказал: "У вас будет век, вы не будете болеть, у вас будет хорошая медицина, а вы проживёте счастливый век, а потом мы вас
Speaker A
уничтожим". Так они сделали. Человечество свой ээ век прожило без болезни, там 120 лет и так далее. А потом они их уничтожили. Вот. А супер. А и он же тоже может дать нам лекарство от рака или ещё чего-то. Ну я не знаю, что
Speaker A
он придумает в конечном итоги, а потом нас уничтожить. То есть может получиться так же, как у Кларка. Поэтому те романы, они становятся пророческими, те, которые мы читали в детстве. И это удивительно.
Speaker A
Да. Да. Много вещей удивительным образом становится становится явью. И, э, у того же Кларка, если вы помните, э, дал, по-моему, который а который закрыл шлюз, а, сказал: "Извини, Деф, я не могу этого сделать". А, но изначально причина того,
Speaker A
почему он начал вести себя не так, как предполагали, это потому, что, а, в него были заложены аа несовместимые какие-то посылки, да, ему и пришлось врать а от цели цели полёта.
Speaker A
Вот. а-а и и у нас а у нас столько несовместимых разных посылок сейчас заложено в AI, что, ээ, что в какой-то момент можно быть практически уверенно, что он будет себя вести не так, как мы предполагаем.
Speaker A
А вы им часто пользуетесь вот сейчас этими моделями? То есть как вы смотрите? Да, да, всё время, всё время. То есть, ну, у меня есть несколько проектов и и с помощью AI строить софтверные проекты, ну, почти на порядок, там в четыре-5ть
Speaker A
раз быстрее, чем чем вручную писать код. Поэтому, ну, а, ну, так я не лудит, я не лудит, я не не ухожу, ээ, в это, то есть я уехал в Филя, да, пользуюсь я, потому что вот, то есть, если, не дай бог, эта штука нас
Speaker A
уничтожит, но перед этим она сделает нас сильнее, опять же, да, Кларк, конец детства. То есть вот к чему мы приходим.
Speaker A
От того от того, что я пользуюсь и я никак не влияю на траекторию будущего, мне кажется.
Speaker A
Если бы я мог повлиять, я бы я бы повлиял, наверное. Ну, в смысле, перестал им пользоваться, если бы это повлияло. Я не думаю, что это повлияет.
Speaker A
Не вижу, как. Ну что ж, мы продолжим следить за тем, как развиваются события. Спасибо вам большое за этот разговор, за участие в нашей программе и до следующей встречи.
Speaker A
Всего вам доброго. Вам спасибо. เฮ
Topics:искусственный интеллектAGIрекурсивное самоулучшениеkill switchMicrosoftКонстантин СурковИИ безопасностьHugging FaceOpenAIAnthropic
