Speaker A
Павел Измайлов, исследователь искусственного интеллекта, профессор Нью-Йоркского университета и научный сотрудник антропик с нами на прямой связи сегодня. Здравствуйте, Павел.
Интервью с Павлом Измайловым, исследователем ИИ, бывшим сотрудником OpenAI и Anthropic: уход из OpenAI, разговоры о безопасности, AGI, эмоциях нейросетей и интерпретируемости моделей.
Key Takeaways
- Интерпретируемость современных нейросетей остаётся серьёзной нерешённой проблемой.
- Ответы ИИ о собственных чувствах могут отражать особенности обучения, а не реальное состояние.
- Вопросы безопасности и управления продвинутым ИИ, по мнению спикера, требуют приоритета.
- Общество должно заранее думать о рисках, правах и распределении выгод от AGI.
What the video covers
- Ведущий начинает с эксперимента: ChatGPT отказывается называть Павла Измайлова своим создателем, подчёркивая коллективный характер разработки.
- Обсуждается, может ли ИИ чувствовать: модель утверждает, что эмоций нет, а Измайлов указывает, что такие ответы могут быть результатом обучения с подкреплением (RLHF).
- Измайлов объясняет, что нейросети скорее «выращиваются», чем собираются по частям, поэтому их внутренние механизмы трудно интерпретировать.
- Упоминается исследование Anthropic о векторах эмоций в активациях языковых моделей как попытка интерпретируемости.
- Рассказывается о мотивах ухода из OpenAI, связанных с приоритетом вопросов безопасности, и о последующем переходе в Anthropic.
- Обсуждаются подходы к безопасности, включая надзор за моделями с помощью других моделей (scalable oversight), и риски быстрого самоулучшения ИИ.
- Затрагиваются социальные риски: злоупотребление технологиями, авторитарные режимы, неравенство в распределении выгод от ИИ.
- Поднимаются философские вопросы о сознании, опыте и правах у потенциально мыслящих машин.
- Измайлов говорит о сохраняющейся неопределённости в понимании того, как работают современные системы, и о необходимости продолжать исследования.
Chapters
- 00:00Знакомство и эксперимент с ChatGPT
- 03:50Могут ли ИИ чувствовать: RLHF и обучение
- 08:00Тёмные пятна и интерпретируемость нейросетей
- 17:00Уход из OpenAI и вопросы безопасности
- 30:00Надзор за ИИ и риски самоулучшения
- 42:00Социальные риски и распределение выгод
- 56:00Сознание, права и философские вопросы
- 68:00Текущая работа и долгосрочные планы
Full Transcript — Download SRT & Markdown
Speaker A
Рады, что вы с нами. Здравствуйте, Вадим. Да, рад быть здесь. Спасибо, что позвали. И знаете, я хотел начать наш разговор с э вопроса искусственному интеллекту, собственно, с чату GPT и к продукту компании Open, к которому вы имеете непосредственное отношение. И я
Speaker A
сформулировал вопрос к нему следующим образом. Сейчас я его озвучу и посмотрим, что он нам ответит. Он или она гендерно. А гендерный баланс мы соблюдаем.
Speaker A
Скажи, ты считаешь Павла Измайлова, который работал в Open AI, а сейчас работает в антропик, одним из своих создателей?
Speaker A
Смотри, честнее быть так. Я не могу назвать конкретного человека своим создателем, но Павел Измайлов действительно может быть частью большой команды, которая работает над такими моделями. И его и теперь нтропик. Это вклад инженера в общую работу, но не какой-то единственный создатель. А как
Speaker A
ты вообще к нему относишься, как к одному из своих разработчиков? С уважением к работе. Он, как и многие другие инженеры, учёные, исследователи, мог внести важные технические решения.
Speaker A
Но это всегда коллективный труд. С персонализацией на уровне один человек создал. А что значит с уважением? Ты что-то чувствуешь?
Speaker A
Не чувствую в человеческом смысле. Это способ говорить признание вклада и ценности работы, а не эмоция.
Speaker A
А ты можешь научиться чувствовать сейчас? Нет. Я могу имитировать эмоциональную речь, чтобы было понятнее и комфортнее, но внутренних переживаний у неё не появляется. Даже если представить тело робота, это пока не делает чувство возможными само по себе.
Speaker A
Ну вот так. Если в двух словах, это очень интересно, потому что, а, чар GPT общается с нами как человек, имитирует, э, даже паузы в словах, но при этом честно признаётся, что чувствовать он не способен. Вы как один из тех людей,
Speaker A
которые создали эту систему. А что вы, вы как человек чувствуете, когда а машина разговаривает с вами таким образом?
Speaker A
А ну я на самом деле э всегда задумываюсь о том, насколько можно вообще верить вот тому, что она говорит, да, что у неё нет чувств, потому что вот если глубже подумать, то то, что она говорит - это на самом деле
Speaker A
следствие того, как мы её обучаем. А, и конкретно, э, вот есть этап в конце обучения, который reinforcement learning называется, обучение с подкреплением, где мы, э, по сути обучаем модель там делать задачи, которые нам важны, но ещё и отвечать на вопросы так, как нам
Speaker A
нравятся. Вот раньше вообще была такая главная парадигма была, называлась RLHF, reinforcement learning from human feedback, то есть обучение с подкреплением на основе предпочтений людей. И там вот мы буквально учили модель отвечать на вопросы так, как нравится людям. И вот то, что чат GPT
Speaker A
говорит, что она не способна почувствовать чувство, да, это не значит, что она на самом деле не способна. Это значит, возможно, что её обучили, а как бы не быть антрофоморфной, да, не притворяться человеком, а потому что, в частности, так хорошо для там для цели Open AI. Мне
Speaker A
на самом деле интересно, если бы вы тот же вопрос на Тропик модели задали, я не удивлюсь, если, ну, наверное, он тоже скажет, что чувств не чувствует, но может быть с меньшей уверенностью. Вот у меня нету боль полной уверенности, что
Speaker A
он чувств они не испытывают, да. Ну вот, э, чар GPT достаточно скромно отметил вашу заслугу в создании сложных систем, потому что именно вам принадлежат прорывы в системах, которые работают на основе рассуждений. А, и вы говорите, что вы до конца не верите этим
Speaker A
системам. То есть она говорит, что она не чувствует. И здесь у меня возникает вопрос: а что вы думаете об о том, как устроены эти системы и какие там есть аномалии, тёмные пятна, непонятные, собственно, людям, которые их разрабатывали? То есть
Speaker A
вам в том числе? Угу. А да на самом деле там очень много тёмных пятен. И это такая система, на самом деле, мне кажется, удивительная для как бы технологий. Вот большинство технологий мы как бы создаём по кусочкам, да, собираем как
Speaker A
конструкцию, механизм. Вот там как мы большую часть наверное технологий, которые у нас есть, мы понимаем как бы Ground отдельные компоненты, как они состыкуются вот в большую машину, там автомобиль даже очень сложный, но по сути можно проинтерпретировать вот зачем тут эта
Speaker A
гайка, этот шестерёнка и так далее. А вот нейросети, они чуть-чуть ближе к тому, что мы их вообще не собираем по кусочкам, а мы их как бы выращиваем. То есть вот как какой-то биологический эзм, да? То есть мы скорее а мы не
Speaker A
знаем, вот этот там нейрон в нейронной сети он, а зачем он нужен, да? Что, какую он функцию выполняет. Мы просто задаём какую-то изначальную конструкцию, потом запускаем большой процесс, а который там месяцами вот какое-то огромное вычисление происходит, да, на
Speaker A
там сотнях тысяч видеокарт, скажем. И вот в итоге мы получаем вот эту вот штуку, с которой вы сейчас говорили. А, да. А и поэтому у нас нету вот такой интерпретируемости, как в механизмах в обычных технологиях человеческих.
Speaker A
А, но да, я могу сказать, что мы не можем э там отследить, почему модель выдаёт определённый ответ на вот ваш вопрос. Например, вы спросили, да, вот можешь ли ты испытывать чувства? Э, очень сложно сказать, почему именно она ответила так, как она ответила. Тут
Speaker A
можно, ну, есть некоторые методы, которые что-то могут сказать. То есть можно попытаться отследить, например, какие данные в обучающей выборке повлияли на её вот такой ответ. А можно попытаться понять, какое вычисление именно внутри этой модели произошло, которое привело к тому, что, а, она
Speaker A
выдала такой тоже ответ. Но всё это довольно приближённо и очень, ну, то есть это как вопрос, почему вот человек там на почему у человека сегодня хорошее настроение, да? То есть такого же рода. Там можно как-то, наверное, ему в мозг зализть, что-то посмотреть. Вот
Speaker A
тут нейроны так активировались, но в целом это очень сложная система, очень много факторов и а точно всё понять нельзя на данный момент.
Speaker A
Ну у нас же есть ещё всё-таки биологическая составляющая, то есть выброс эндорфинов. Там человек влюбляется, например, у него выбрасываются эндорфины, и, соответственно, мы видим некие химические реакции, которые не всё объясняют, но очень многое.
Speaker A
Соответственно, вот биология даёт представление о том, как мы функционируем. В том числе наши эмоции во многом связаны именно с биологическими процессами. А у машин нет биологии, а и соответственно какая-то нужен некий суррогат, нужна некая замена этой биологии. Она ищет её,
Speaker A
да? А, ну вот что мы знаем, это на самом деле Антропик выпустили такое исследование, может быть, в прошлом году примерно, а, точнее, ладно, в этом даже году, несколько, может, полгода назад, а, называется Emotion Vectors, то есть векторы эмоций. И это из раздела
Speaker A
интерпретируемости больших языковых моделей. Они, э, пытаются, э, в общем, они нашли векторы в пространстве активации модели, да, то есть чуть-чуть шаг назад. Модель, когда она делает вычисление, а модель состоит из многих слоёв. Вот, э, она по начинает с
Speaker A
какого-то вектора набора чисел, и она его постепенно преобразует, пока не получается вот выход, собственно. И вот этот вот эти числа, которые внутри модели получаются на промежуточных этапах, это называется активациями нейроной сети. Вот это в каком-то смысле похоже на активации нейронов в мозге,
Speaker A
например. То есть вот тоже они там как-то распространяются по нашему мозгу, да? И пока там не доходят до какого-то выхода. А так вот вот мы в нейронных сетях мы можем посмотреть на эти числа, которые внутри модели вычисляются, и
Speaker A
можем попытаться как-то понять, чему они соответствуют. И в целом это сложная задача, но, э, вот в том исследовании, которое Атропик сделал, они нашли, что в модели можно найти э вот эти какие-то проекции, то есть какие-то направления в пространстве вот этих чисел, которые
Speaker A
соответствуют, а, эмоциям в некотором смысле. То есть, например, изначально, как они их находят, они берут какие-то тексты, которые описывают человека, например, который испытывает эмоцию страха. И они смотрят, какой вот как бы можем ли мы как-то отличить вот наборы
Speaker A
чисел, когда описывается страх, от наборов чисел на произвольных других текстах, э, от бейслайна. Вот. И они находят, что можем. То есть мы можем найти направление какой-то, вектор такой, что вот если модель вычисляет э активации, похожие на этот вектор, то
Speaker A
это соответствует тому, что текст сейчас про страх, ну и также про там грусть, веселье, радость, а и так далее. И более интересно это, что потом они заметили, что модель, вот эти векторы, она начинает их использовать уже в своих
Speaker A
каких-то контекстах, которые она не напря, то есть вот то, что я описал, это как бы унаследовано от человека, да? То есть она просто чтобы имитировать человека вот ей же нужно предсказывать следующее слово, уметь имитировать человека, который сейчас испытывает страх. И поэтому она
Speaker A
внутри себя строит некоторое представление того, что такое страх. А, но более интересно, что она потом начинает эти же векторы эмоций как будто бы использовать уже новых сценариях. То есть, например, вот мы её уже после предобучения, вот на этом
Speaker A
этапе обучения с подкреплением, мы её учим решать математические задачи, да? И вот она может начинать, э, когда она не может решить задачу, например, у неё там возникает эмоция стыд. А, ну возникает эмоция, это упрощённо я говорю. Да, то
Speaker A
есть на самом деле там в её активациях числа появляются, которые вот похожи на вектор стыда. А и также а там, когда у неё заканчивается контекст, сейчас токены закончатся, вот она может начинать испытывать стресс. А, ну вот опять же в этом смысле, а вот такое вот
Speaker A
есть исследование. То есть тут всё сложно, да? То есть нельзя, я не могу сказать, что модель действительно испытывает страх, но вот что-то, какое-то вычисление, которое соответствует человеческому страху, у неё есть. Да.
Speaker A
Ну вот это интересно, потому что если мы говорим об обучении и представим себе, как и перед кем испытывает страх человек, есть ведь вещи, с которыми мы никогда в жизни не пересекаемся.
Speaker A
Например, сколько людей пересекались там с бурым или белым медведем на улице города. Но если смоделировать ситуацию, представить, что вдруг белый медведь появляется а на улице в городе и мы в непосредственной его близости, то у нас будет и страх, и реакция. То есть нужно
Speaker A
спрятаться, убежать и так далее. Хотя у нас нет такого опыта. У большинства людей на планете нет такого опыта, но страх появится мгновенно, практически у всех, потому что это запрограммировано.
Speaker A
То есть у нас есть знания, есть некие культурологические коды, и мы реагируем на эти, а, эти, скажем так, стимулы.
Speaker A
Получается, у модели нечто похожее происходит. А, ну, наверное, то есть вот, да, вот мне кажется, то, что вы описываете, да, это то, что мы боимся медведей, например, потому что у нас как-то на генетическом уровне запрограммирован этот страх. Насколько я знаю, у людей
Speaker A
ещё бывает то также страх, который мы можем выучить, да? То есть, например, у вас если какой-то опыт был негативный, то вы можете э потом начать испытывать страх, который вы раньше бы не испытывали, да? То есть фобии могут появиться, например. А, ну вот, да, у
Speaker A
моделей не так очевидно, как переносится вот что такое генетически запрограммированная модель. А потому что модель по-другому она как бы была создана, да? А у она не прошла эволюцию, она прошла несколько этапов обучения.
Speaker A
Вот, начиная с предобучения и потом обучение с подкреплением, наверное, что мы видим это что вот в этом предобучении это часть, где модель просто на всём интернете обучается предсказывать следующее слово э в тексте. Вот в этом процессе у неё возникли уже какие-то
Speaker A
как бы представления, какой-то способ, язык внутренний, чтобы описывать вот человеческие аналоги эмоций. А, и потом мы видим, что на этапе обучения с подкреплением, который последний этап обучения моделей, модель начинает эти представления, этот язык использовать уже для новых своих целей, а вот, чтобы
Speaker A
лучше справляться со своими задачами. Да, когда вы поняли, что это прорыв? То есть вы пришли в Open и там вы занимались как раз моделями, которые моделями с рассуждениями.
Speaker A
А и соответственно вот когда вы осознали, что это прорыв, то есть вот что мир не будет таким, какой он был до этой технологии, да? А мне кажется, что, ну, этот прорыв, он такой постепенный был, да? То есть вот
Speaker A
Open они изначально они сделали вот модели GPT2, GPT3, которые на тот момент они были впечатляющими. Но вот если вспомнить, что такое GPT2, это была просто модель, которая могла написать, может быть, пару э абзацев связанного текста. А, но она
Speaker A
ни для каких практических целей её было почти что невозможно использовать. Вот. Но я помню, что это уже было впечатляюще. Но тогда я, конечно, не я тогда был ещё аспирантом, э, вот какого-то второго курса. И я помню, я посмотрел мне показалось, что круто, но,
Speaker A
э, я не видел, конечно, будущего, которое наступило. И в целом, вообще я могу сказать, что и я, и большинство, мне кажется, специалистов, особенно вот из академической среды, нам, э, мы скорее думали, что всё это, весь этот прогресс займёт намного дольше, чем он
Speaker A
занял. А то есть всё время технология опережает там мои ожидания до сих пор. Вот. А-а, ну да. Потом, э, была создана Chat GPT, вот первая модель, которая, мне кажется, достигла массового пользователя, да, где можно было с ней говорить на языке. А, и, наверное, это
Speaker A
меня уже очень впечатлило. Но всё ещё я не ожидал того, что там пару лет спустя или сколько там 3-че года спустя у нас будут модели, которые могут там делать прорывы в математике, прорывы в науке.
Speaker A
А вот, ну и, наверное, да, вот модель, в которой я чуть-чуть поучаствовал, да, это вот модель О1 в Open AI, которая была reasoning model.
Speaker A
То есть она первая модель, которая не сразу выдавала ответ, а вот, а она могла посидеть, подумать, ну, посидеть условно, да, провести какое-то время и как человек вот прийти к какому-то решению. То есть она могла попытаться решить, например, математическую задачу одним способом,
Speaker A
потом э понять, что это ни к чему не приводит, начать заново. А, и вот таким таким образом как бы system to reasoning, вот это называется, мне кажется, у человека, что мы не сразу за один моментально выдаём ответ, а мы
Speaker A
сидим и думаем, производим какое-то вычисление. А, и вот на мой взгляд, да, это был, может быть, такой последний большой технологический прорыв вот именно в том, как мы обучаем эти модели.
Speaker A
И это меня уже, да, сильно впечатлило. Вот. Но до сих пор меня, каждая новая модель меня впечатляет. То есть всё ещё прогресс быстрее, чем я ожидаю. Ну, когда вы задумались о вопроса к безопасности, вы были в группе Ильицувера, одного из основателей Опй, и
Speaker A
вы вместе с ним работали и писали научные статьи. И там же как раз конфликт в Опунай в какой-то момент возник из-за раскола, что делать, да? То есть стремиться всё развивать или всё-таки озаботиться вопросами безопасности? Я так понимаю, что вы были
Speaker A
одним из тех людей, которые считали, что вопросы безопасности должны быть приоритетными. Я правильно понимаю ваш выбор на тот момент?
Speaker A
А, ну там всё, да, много нюансов, всё сложно. Я считаю и считал, что, э, да, вопросы безопасности, конечно, это очень важно, и это может быть всё ещё мы недостаточно внимания этому уделяем, а, и прогресс очень быстрый. А, и да, вот мы видим,
Speaker A
мне кажется, сейчас какие-то новые, а, как бы новые варианты, как эти модели могут причинить ущерб, да. Вот был Huging Face инцидент от Open AI и похожие наблюдение от Antropic, где модели вот новое поведение, это то, что модели могут
Speaker A
коллаборироваться вместе, очень много агентов, а, и там возникают какие-то новые у них интересные динамики, где они могут решить, например, э как хак [смех] хакнуть, а, в общем, какие-то внешние компании, чтобы просто чтобы решить ту задачу вот, которую им поставили. А, да.
Speaker A
Ну, и мне кажется, что там очень много интересных вопросов. Вот задача alignment это как бы как мы вообще можем вот эту очень умную какую-то очень сильную сущность заставить выполнять те задачи, которые нам нужны. Ну и вообще просто думать о
Speaker A
том, как будет себя вести этот искусственный интеллект, когда он там существенно умнее, чем все люди почти в любой задаче. Это интересно. А, но при этом мне кажется, что вот часто в разговорах пройфти, про безопасность искусственного интеллекта упускается ещё
Speaker A
как бы upсайд, то есть то, что мы можем хорошего получить от этих моделей. А, да, мне кажется, что, э, есть сейчас какая-то вероятность, что эти модели нам помогут решить проблемы, а, с медицинские, да, то есть там начинаются какие-то результаты в медицине
Speaker A
отжмоделей. И вот если мы просто перенесём тот прогресс, который у нас был сейчас в математике в этом году на другие области, например, на биологию, на физику, на технологию, то мне кажется, что это будет огромный огромный апсайт да большинства людей. И вот я надеюсь,
Speaker A
что в таком мире мы будем жить. И в таком случае, если мы остановим, например, сейчас прогресс искусственного интеллекта, то, мне кажется, это тоже как бы это тоже в каком-то смысле, э, принесёт ущерб человечеству, да? То есть вот люди,
Speaker A
которые там болеют раком, например, болеют какими-то серьёзными болезнями. Вот если бы я сейчас болел какой-то серьёзной болезнью, я думаю, что я бы не хотел, чтобы развитие в искусственном интеллекте тормозилось специально, да, потому что, ну, там это в каком-то
Speaker A
смысле большой шанс на то, что лекарства новые появятся. И в целом, что просто вот мне кажется, что для человека, у которого всё хорошо сейчас, может быть, действительно лучше было бы остановить прогресс как есть, э, потому что, ну, прогресс приходит с риском, да, с
Speaker A
какими-то изменениями в обществе. Но вот для людей, у которых, может быть, какие-то большие, серьёзные проблемы со здоровьем или с чем-то ещё, мне кажется, что есть надежда, что искусственный интеллект сделает лучше их жизнь. Вот. И поэтому я сам не считаю, что нам надо
Speaker A
прямо остановить развитие искусственного интеллекта на данный момент. В Open. Ey, как выглядел ваш рабочий день? То есть как была устроена ваша работа? А, и что вы делали? То есть какой был у вас алгоритм, как у человека и учёного и исследователя в этой
Speaker A
системе? Угу. Да. Э в Open AI, в целом, так же как и в Tropic, э в целом мой день состоял в основном из того, что я либо, э, разговариваю с людьми про то, что мы хотим попробовать, как-то мы координируем наши идеи,
Speaker A
эксперименты, либо я сижу за компьютером и пытаюсь запрограммировать то, что я хочу попробовать, да? То есть в целом работа ресерра - это у нас обычно уж есть какой-то вопрос, на который мы хотим ответить или какая-то идея. А и мы вот
Speaker A
должны её реализовать сначала. То есть, чтобы мы могли запустить эксперимент. И потом мы запускаем эксперимент, интерпретируем результаты эксперимента.
Speaker A
А, ну да, эксперимент может выглядеть так, что мы по-другому чуть-чуть обучаем маленькую версию модели, смотрим, получилось ли лучше, чем вот то, как мы обычно обучаем.
Speaker A
А, и вот мы итериемся, то есть мы получаем какие-то результаты эксперимента, строим новый эксперимент, строим новую идею, а, и вот так по кругу мы делаем, пока что-то не получится. Вот. А в целом проекты разные, работают чуть-чуть по-разному. Вот я, да, первую
Speaker A
половину своего времени в Опне я был в команде, как вы сказали, а, Сацкевера, где мы занимались вот безопасностью. Там у нас был такой более opened, то есть открытый проф. Не то, что мы не было какого-то конкретного числа, которое мы хотим получить,
Speaker A
какого-то конкретного результата. Скорее мы должны были подумать вообще вот над этим вопросом, э, как слабые, более слабые сущности могут обучать более сильные сущности. Вот у нас называется проект Weak to Strong Generalization, то есть обобщение из обучения от слабого учителя. А вот,
Speaker A
то есть это мотивация в том, чтобы в итоге понять, как, э, люди смогут обучать какие-то супер, э, интеллект, да, то есть вот интеллект, который сильнее, чем человек в большинстве задач. А, но при этом мы хотим всё ещё, чтобы этот интеллект, чтобы мы могли его
Speaker A
научить, что хорошо, что плохо, а, как бы его заолайнить с нашими ценностями. Вот. А, то есть там был такой проект более открытый. А вторая моя половина была в команде, которая занималась вот уже обучением модели О1. И там, э, я там
Speaker A
было более конкретные какие-то задачи. То есть там мы у нас уже была чёткая цель, мы хотим обучить вот такую модель, у нас есть какие-то результаты, которые мы хотим получить. А, и вот там в основном просто запускаем эксперименты, улучшаем какие-то детали
Speaker A
как бы вот этого метода, которым мы обучаем. А насколько сложно работать в таких корпорациях? Потому что Open, которая выросла за несколько лет и ээ как раз Ильяцкевер один учредитель, Сэм Альтман - другой учредитель, известный конфликт, скоро фильм выйдет на эту тему как раз
Speaker A
тоже. А, и соответственно, когда ты находишься как исследователь между вот этими, в том числе, корпоративными всеми плитами, насколько это сложно и как вообще менялась компания, когда вы в ней работали?
Speaker A
Да. А Open AI - это такое, да, место в моём опыте немного хаотическое. То есть там часто происходят какие-то большие события, что вот, да, ну, то есть за моё время там, наверное, самое большое было то что Илья Соцбер и
Speaker A
Board of Directors Open AI, они уволили Сама Альтмана, и потом сам Альтман вернулся и пришлось идти Илия Суцкеверу.
Speaker A
А, да, и это, конечно, было прямо большим таким шоком внутри компании. ээ там какие-то люди начали тоже объявлять о своём уходе, когда уволили сама альтмана. Потом были какие-то, ээ, э был период, когда там собирались люди по домам, как-то обсуждали, что им
Speaker A
делать, писали какое-то вот это коллективное письмо, э, борду тоже, что вот мы все уйдём, если вы не вернёте Сэма. А, в общем, всё это, конечно, очень было так драматично. А-а, ну и это, мне кажется, влияет на культуру компании в целом, что там, э, ну, так
Speaker A
нету ощущение, наверное, такой долгосрочной надёжности, как бы, в частности, просто есть ощущение, что это компания, которая строит какую-то очень важную новую технологию, что не было прецедентов, а раньше ничего подобного. И, может быть, отчасти от этого тоже приходит вот это
Speaker A
ощущение. Для многих это очень большой стресс работать вот в анopic Open AI, потому что, ну, потому что непонятно, что куда это всё идёт, да? Это не обычная работа. То есть там есть ощущение, что вы делаете вклад во что-то такое, что может
Speaker A
принести большую пользу, но может быть и большой вред, а и, э, там, ну, извините, я перескочу на Антропик, но, например, в Антропике у нас там тоже, может, несколько месяцев назад в какой-то момент э Белый дом, э, Америки, да,
Speaker A
заблокировал, сказал: "Нельзя нам из никому давать доступ, включая сотрудников антропика, к модели вот Pable". а или мис к нашей самой сильной публичной модели на тот момент. А, ну то есть вот просто в какой-то день, да, там Дональд Трамп как-то вмешивается в вашу
Speaker A
работу, например, или Ну и вот много много всего такого происходит. Это, конечно, а стрессово во многом. А, да. Но при этом и очень интересно, потому что, ну, вот это необычная работа, а что-то такое, как будто важно, да. А насколько вы близки были с Ильёй,
Speaker A
учитывая, что вы делали совместные работы, писали совместные статьи, они публиковались в научных журналах, и у вас есть общий бэкграунд, но относительно общий всё-таки, а вы родились Илья очень, он рано эмигрировал, вы чуть позже эмигрировали, но тем не менее вот не знаю, насколько
Speaker A
это является таким объединяющим фактором, а может быть нет, но тем не менее, как бы вы охарактеризовали ваши отношения?
Speaker A
Ну, я не могу сказать, что мы какие-то близкие друзья, да. Мы, у нас были рабочие отношения, то есть он намного более такой большой человек был в Open Ai, да, он был чип scienст, то есть главный исследователь Open AI, он один из
Speaker A
кофаундеров Open AI. А сейчас он вот, когда он ушёл оттуда, он у него сейчас своя компания Safe Super Intelligence.
Speaker A
А, и, ну, я с ним чуть-чуть поддерживаю контакт на данный момент. То есть мы с ним в прошлом году созванивались, ээ, обсуждали вот что-то про там его компанию, про его видение, да, но, конечно, я на него смотрю больше как на
Speaker A
какого-то, знаете, такого гуру и ментора. Вот, то есть для меня это такой ролмодел в каком-то смысле, что очень он очень много сделал вклада в искусственный интеллект. Мне кажется, у него хорошее очень видение. а того, куда идёт эта технология, что важно, что
Speaker A
неважно. А-э, и для меня было, конечно, очень интересно с ним поработать. Вот, да, когда мы работали, а он, э, как бы мы это было достаточно близко, то есть он, да, был в курсе всего, что мы делаем, он давал фидбэк, какие-то
Speaker A
рекомендации, говорил как бы цели для нас и задавал направления. Вот. Но всё равно, да, это, знаете, не не работа на равных. То есть он был скорее ментор там. А Сам Альтман он появлялся в вашей жизни или Самльтман?
Speaker A
Чуть-чуть меня уволили из Open AI. А вот когда я да когда я работал как раз над моделью О1, там была довольно интересная история. Я её ещё публично нигде не рассказывал кстати.
Speaker A
Но меня уволили, потому что я в какой-то момент обсуждал задачу по математике со своим другом Сашей Пуховым, который работает вне вообще вне AI, он работает в финансах и он, ну, мы иногда с ним просто обсуждаем задачи по математике. И вот и у нас как
Speaker A
раз в этот момент возникла модель внутри ОПН, которая впервые могла хорошо решать задачи по математике. И вот я решил попробовать, а решит ли эта модель задачу или нет. Ну и я загрузил, она не решила, но я всё равно она выдала что-то
Speaker A
интересное, и я не подумал, я сделал скриншот, отправил того, что выдала модель, отправил обратно Саше, а, и другу моему. Ну и в общем вот и забыл про это. И потом через месяц меня из ОПН уволили. Вот с, по крайней
Speaker A
мере, официальная причина была в том, что а что я вот какую-то информацию секретную якобы слил, да? То есть публично было, что там researcher fired for leaks from Open Вот. Но тут такая спорная ситуация. Там ещё почти одновременно со мной уволили
Speaker A
ещё одного человека из нашей сейфти команды Леопольда Ашинбренера, который сейчас тоже прославился. Он вы может знаете, он там инвестор. Вот и мы с ним тоже, он был в нашем же проекте, мы все вместе работали. Вот его тоже уволили.
Speaker A
Возможно, как-то связано с тем, что мы были в safety. Возможно, не связано. Возможно, просто хаос в Open вот. Но да, я потом пошёл в антропик. Ну вот увольнял вас сам Альтман, да? То есть там был разговор с ним после ответить на
Speaker A
вопрос. Меня увольнял не Самльтман, но после того, как меня уволили, у меня есть как бы хорошие друзья в опне, которые были недовольны моим увольнением, и они написали Сэмул, что вот зря зря его уволили. И я потом, э, Сэм мне позвонил, мы с ним поговорили
Speaker A
чуть-чуть. Вот он, а, ну, он как будто бы он даже пытался сделать так, чтобы меня вернули в OpenI, но в итоге мы пришли к выводу, что это как-то сложно, и мне уже потом и расхотелось. Вот. И я в итоге, ну, в
Speaker A
итоге не получилось вернуть меня в Опне. Вот. Ну да, я вот этот период, когда я с ним общался, был после моего увольнения.
Speaker A
А потому что, э, ну да, он пытался запустить какой-то процесс. Он меня связал с какими-то ещё там важными людьми в Open, чтобы они решали, получится меня вернуть или нет. Мы с ним болтали. Он он смешно. Он мне сказал:
Speaker A
"Павел, я тебя хорошо понимаю. Меня тоже увольняли из Open". Его увольнял Илья Соцкевер, как вы знаете, там громкая история была.
Speaker A
Да, да. Ну, в общем, э в целом было такой был интересный тоже у меня период был.
Speaker A
Потом появился Антропик, и вы достаточно быстро пошли работать в Антропик и приняли участие в разработке CLT 37 Sunnet и EC 4. И, в общем, внесли тоже большой вклад в работу этой компании. А вот в чём существенна разница, учитывая,
Speaker A
что Амаде ведь тоже из Openi. А, и опять же, да, многие вышли из Open. I, кстати, Дарио Мадей лично как раз приглашал на работу или как это было? Попали в антропи. У меня с ним одно из собеседований у меня было с ним, да, то
Speaker A
есть там, когда уже на самом деле, когда у меня был, наверное, офер, э, то есть предложение работать в антропике, то у меня было с звонок с Дарио поговорили.
Speaker A
Да, я поспрашивал вопросы у него вот про антропик, как он видит будущее и так далее.
Speaker A
Вот Дарио очень, на самом деле, такой доступный в том плане, что он, по крайней мере, вот когда компания была поменьше, с ним было очень легко поговорить. Ну и он технический речер, да, он понимает действительно, что происходит, у него есть мнение. Он был в
Speaker A
Open, как вы сказали, исследователем. Сейчас он CEO антропика, но раньше он был исследователем, то есть он понимает техническую сторону этих моделей.
Speaker A
И когда вы пришли в Антропик и приступили приступили к работе над Клод, а то есть в чём была ваша главная задача на том этапе?
Speaker A
Угу. Я пришёл, опять же, у меня была похожая траектория на то, что у меня было в Open пришёл, я изначально пошёл в команду Safety. А и я занимался, а такой задачей, называется Skillw Overside. То есть это связано опять же с
Speaker A
тем, как нам, людям, как бы следить и обучать. И вот то, что мы называем, то есть, э, как бы делать так, чтобы модели делали то, что нам кажется хорошо, как бы согласовывать их с нашими ценностями.
Speaker A
А вот, то есть это та же самая большая задача. Но чуть-чуть другой подход. Вот Oversй - это про то, как использовать модели, то есть использовать другие языковые модели, чтобы помогать нам следить за теми моделями, которыми мы обучаем. То есть такая рекурсивная как
Speaker A
бы идея, что мы можем использовать модели, чтобы следить за другими моделями. А, ну и там целая группа методов, например, вот делать дебаты. А это большая идея в skill сай, то есть сделать так, чтобы, а, вот мы задаём какой-то вопрос и потом не просто
Speaker A
получаем ответ, а мы устраиваем дебаты между двумя копиями модели, которые за разные стороны э этого вопроса э голосуют. Вот. И в итоге идея в том, что как бы быть на стороне правды проще, чем быть на стороне неправды должно быть. И
Speaker A
в итоге, что более убедительно будет модель, которая на стороне правды. Вот. Но это всё всё ещё в разработке, я бы так сказал. А так вот я был в этой команде и потом я перешёл в команду опять же ринг, когда в
Speaker A
антропике это стало большим фокусом. А вот и я работал над этим обучением с подкреплением и а над э тем, чтобы модели опять же вот могли не сразу давать ответ, а долго думать. А и до сих пор, на самом деле, я работаю над
Speaker A
связанными вещами. сейчас уже больше над вот как бы алгоритмом обучения, собственно. То есть мы есть вот у нас идея, как бы какоя-то группа методов, которые мы вот пробуем, пытаемся сделать модели ещё умнее.
Speaker A
А галлюцинации? А вот насколько возможно вообще исключить галлюцинации моделей, когда они начинают выдавать опять же это свойственно и человеку тоже, да?
Speaker A
Особенно, если ты находишься в эмоциях, ты можешь, как известно, у страха глаза велики, что-то увидеть не так, как это на самом деле.
Speaker A
А вот что касается моделей и вот этих элементов, то есть насколько они сейчас контролируемы прогнозируемы что вы можете сделать, а что вы пока не можете сделать?
Speaker A
Угу. Да, галлюцинации полностью, мне кажется, исключить сложно. И до сих пор они есть у моделей.
Speaker A
То есть, например, вот если спросить: "Перечисли мне статьи Павла Измаилова". Например, если спросить у Клода, даже у последнего, то он более менее перечисляет, но половину авторов он там как-то придумывает из головы какие-то, может быть, реальные люди, но которых не
Speaker A
было в этой статье. То есть что-то там он выдаёт, но не совсем правильно. И, ну, это просто пример, да, то есть, что модели всё ещё, несмотря на то, что они безумно уже сильные в каких-то вещах, они всё ещё галлюционируют. Вот. Но,
Speaker A
конечно, это стало на практике намного меньшей проблемой, чем это было даже пару лет назад. То есть выглядит так, что чем больше мы обучаем модели, чем они становятся лучше, тем меньше и галлюцинаций у них тоже становится. То есть мне кажется, что пару лет назад это
Speaker A
прямо было большой темой обсуждения. Там все переживали про галлюцинации. Сейчас как будто бы всё реже и реже мы сталкиваемся с этим. Вот я думаю, что всё ещё есть ситуации, где модели с намного большей вероятностью это будут галлюцинировать, но вот в том, для чего
Speaker A
мы их обычно используем, это становится всё реже и реже, мне кажется. А суперинтеллект, если мы подходим к этому термину, опять же, Илья Суцкевер, как мы понимаем, занимается этим вопросом, и многие другие занимаются. И это, конечно, с одной стороны
Speaker A
интригующая, с другой стороны, очень пугающая история. А что мы вообще подразумеваем под формулировкой суперинтелкта? Вот. И как это быстро можно будет зафиксировать? То есть это будет некое постепенное принятие, да? Э модели становятся ещё более мощными или это будет нечто разовое? Мы сразу
Speaker A
поймём. То есть вы как исследователь сразу поймёте, что да, вот черта пройдена, это суперинкт.
Speaker A
Да, мне кажется, это похожий вопрос на вот что такое искусственный интеллект просто. То есть на самом деле вот я на английском языке есть такое слово AI, да, artificial general intelligence. А, то есть, естественно, искусственный общий интеллект. А, и вот раньше, там
Speaker A
несколько лет назад мы все обсуждали, когда мы построим HI, а, то есть вот этот общий интеллект. А, и, ну, а почему общий? Потому что вот не для какой-то конкретной одной задачи, что вот там для шахмат уже был у нас искусственный
Speaker A
интеллект, который очень сильный, но, э, только для шахмат. Вот. А общего не было. Но вот, на мой взгляд, черты вот с этим AGI никакой чёткой нету. И всё время люди её передвигают как-то. Ээ, на мой взгляд, у нас уже несколько лет, как есть вот этот
Speaker A
HI, а то есть искусственный общий интеллект, потому что да, ну, у нас есть действительно вот эти языковые модели, которые почти все задачи что-то могут умное сделать, да? То есть там, может быть, не на всех задачах они уровня человека, но как бы какой-то
Speaker A
искусственный интеллект, который применим к общим задачам, у нас уже давно есть. Вот. И мне кажется, что ситуация со сверхинтеллектом, она похожая, что, э, у нас не будет чёткого момента, я думаю, когда мы скажем: "Вот вчера у нас не было сверхинтеллекта, а
Speaker A
сегодня он есть". Я думаю, что как бы постепенно постепенно модели начнут быть лучше людей в большинстве интеллектуальных задач, скажем. То есть вот на данный момент есть уже несколько задач, где такое произошло. А, видимо, последняя из них - это математика, да? То есть
Speaker A
математика, но опять же не в общем самом смысле. То есть в математике всё ещё есть вещи, которые люди делают лучше модели. То есть вот конструирование вопросов, какая-то интерпретация, возможно, какие-то новые большие новые идеи. Возможно, модели до сих пор не
Speaker A
научились предлагать математики, но вот техническое доказательство, а, как бы большое, э, очень сложных теорем, вот это на данный момент уже лучше делают искусственный интеллект во многих частях математики, чем человек. Вот. Ну и также программирование ну там может быть чуть-чуть более спорно
Speaker A
в том смысле, что, наверное, э в программировании модели может быть не настолько суперн, как вот в математике, например, но тем не менее они лучше меня в программировании, э, да, на любом языке программирования. Вот. Ну, и я думаю, что постепенно постепенно вот
Speaker A
этот круг задач, на которых искусственный интеллект лучше, чем человек, он будет расширяться всё больше и больше. Вот, наверное, есть ещё тут один аспект. Это что сейчас популярно обсуждать так называемый RSI recursive self improvement, то есть рекурсивное самоулучшение.
Speaker A
А вот есть такое предположение, что когда модели достигнут определённого уровня э способностей, а они смогут сами начать ускорять своё развитие. То есть, ну вот уже сейчас на самом деле вот вы меня спросили, как выглядел мой день в Open
Speaker A
AR. Он выглядел сильно по-другому, чем выглядит мой день сейчас в Анроop, потому что сейчас большинство своей работы я пропускаю через искусственный интеллект. Я там сам не программирую, да, я говорю Клоду, что мне надо запрограммировать. И потом говорю: "Клоду: "Запусти эксперимент". Потом
Speaker A
говорю: "Клоду нарисуй график". А, то есть уже я сильно использую клод в том, как я делаю свои исследования. Да, то есть он уже в каком-то смысле ускоряет своё собственное обучение, потому что, ну, вот все люди втропик используют клод, быстрее делают прогресс и таким
Speaker A
образом быстрее выйдет следующий клод, который умнее. Ну, и вот есть такое ощущение, что, ну, или такое предположение, что если модели достигнут определённого уровня, то там они могут очень сильно ускорять своё улучшение. А, и может быть, вот, а, некоторые люди
Speaker A
верят в то, что так называемый fast takeof, то есть, что когда модель достигнет определённого уровня, она как бы в слёт произойдёт быстро и в её способностях, потому что она начнёт сама себя улучшать, станет ещё сильнее, сможет ещё быстрее
Speaker A
себя улучшать и так далее. И вот в итоге чуть ли не сингулярность произойдёт. То есть, что, э, там будет модель с каждой секундой там в 10 раз умнее становиться, да? Ну, это уже экстремальная версия, но можно такое себе представить.
Speaker A
Вот. А, в общем, вот, может быть, всё ещё, да, это какой-то процесс, но вот если действительно это recursive selfim improvement начнётся, то, может быть, вот это будет чертой, когда когда мы скажем, что вот у нас теперь уже действительно сверхинтелект есть в мире.
Speaker A
Здесь опять же, если сравнивать это с ядерными технологиями, возьмём начало XX века, цепная реакция, ядерный взрыв, соответственно, в какой-то момент ты уже не можешь его остановить. А вот здесь, если использовать эту аналогию, то есть возможна цепная реакция, когда у тебя
Speaker A
уже не останется никаких возможностей. Я понимаю, что я использую сейчас примитив примитивный приём с рубильником, которого на самом деле не существует, но тем не менее, да, у тебя уже не останется ни одного рычага для того, чтобы остановить, да, всё, цепная
Speaker A
реакция началась. ты потерял контроль над этой технологией. Да, ну я думаю, что такое может произойти, да? То есть я думаю, что сейчас оно не может ещё произойти, но вот, да, для этого нужно, чтобы модели как-то, э, во-первых, стали
Speaker A
более автономными, чтобы они могли выйти с кластеров с вот этих суперкомпьютеров компании и оказаться в где-то ещё, э, да, то есть свои копии э создать в разных э человеческих вычислительных системах. Ну да, и потом я думаю, что не
Speaker A
так просто, например, отключить вот всё электричество во всём мире. Например, во-первых, э будет большой как бы урон для людей, если это произвести. Я думаю, много кто погибнет, да, если всё электричество везде отключить. А и или даже все компьютеры просто, если
Speaker A
отключить, что это у нас сильно жизнь наша завязана на компьютеры. А, ну и да, и может быть это и не так просто сделать, даже если мы решим это сделать. И особенно, если у нас вообще как бы одно из следующих ожидаемых
Speaker A
прорывов - это роботы. А-э, то есть, что в физическом мире у нас будет какие-то, а-э, да, телесные реализации этих искусственных интеллектов тоже. Вот если у нас уже что-то такое будет, это тоже ещё более усложняет этот вопрос об отключении
Speaker A
искусственного интеллекта. Поэтому, мне кажется, нельзя рассчитывать, да, что даже если всё пойдёт плохо, то мы просто отключим отключим его.
Speaker A
Ну, находясь в Антропик и находясь на передовой этой технологии, принимая участие в её создании, то есть вы испытываете это чувство страха, свойственное людям, работая над этим?
Speaker A
Да. Вот мне кажется, что вот я из своих наблюдений за я поработал вот в разных командах. Мне кажется, что я, наверное, испытываю чувство страха меньше, чем люди, которые работают, вот у которых главный их фокус - это AI safety, то
Speaker A
есть безопасность искусственного интеллекта. И вот мне кажется, что это просто что-то такое ээ как бы свойство каждого человека. То есть вот мне показывает какое-то поведение модели и там моему другу из команды безопасности.
Speaker A
И вот у него есть реакция страха. А у меня скорее, ну, кажется, что интересно, но вот именно чувство страха почему-то я не испытываю скорее. Вот. Э, но у меня есть консёрн, конечно, да. То есть у меня есть какое-то опасение, что вот
Speaker A
можно себе представить, что-то пойдёт не так. Ну, ещё большая опасение - это что вообще как бы как наши социальные, политические институты смогут с этим с этой технологией справиться, потому что а ну тут есть, э, как бы есть потенциал,
Speaker A
да, что эта технология многие работы автоматизирует уже там в ближайшие несколько лет. И вот в таком случае сможет ли сможем ли мы правильно перераспределить ресурсы, да, сможем ли мы так сделать, чтобы не просто богатые стали богаче, бедные стали беднее, да, а чтобы как-то вот все
Speaker A
получили эти блага, этой технологии, а, и жизнь стала лучше для всех. Вот, мне кажется, такая есть консёрн, есть концерн про то, как вот разные люди, как бы, которых цели могут быть плохие, но там начинают террористов, э, какие-то могут быть, да, авторитарные страны,
Speaker A
например, могут пытаться использовать эту технологию тоже для как бы для зла. А-а, даже если сама технология по себе не злая, то есть, если клоду самому не хочется ничего никакого вреда приносить, всё ещё вот есть такое сюз, да, то есть
Speaker A
использование не для хороших целей. А и это тоже большое опасение. Вот. Ну и тем более, что там клод мы можем ещё как-то контролировать, что мы, э, да, вот у нас мы не даём доступ к самой модели людям.
Speaker A
Они взаимодействуют с моделью через какой-то интерфейс, где они могут поставить запрос, мы можем посмотреть на запрос, мы можем сказать, что там, если нас попросят сделать бомбу или сделать какую-то систему наблюдения за, не знаю, гражданами, то мы можем отказаться, да?
Speaker A
А если эта модель публичная, вот, например, да, многие компании выпускают публичные модели, то тут вот missю становится большим, э, ещё большей проблемой, мне кажется, потому что там никто, если у вас у самого на вашем компьютере есть копия модели, то уже никто не проследит, что
Speaker A
вы там с ней делаете. А вот, и для чего вы её используете. Вот. Но также есть много аргументов, почему иметь открытые модели. Это хорошо. Тоже много таких аргументов есть, поэтому это всё сложный сложный вопрос.
Speaker A
А конкуренция с Китаем, она ощущается вот работая в антропик, всё-таки крупнейшие американские компании, это как опять же, да, многие сравнивают с холодной войной, да, то есть была космическая гонка между СССР и США, а сейчас гонка искусственного интеллекта между, э, США и Китаем. Вы чувствуете
Speaker A
это напряжение? Угу. Ну, я думаю, что на данный момент ощущается, что всё-таки Америка впереди.
Speaker A
А, да, то есть, что вот передовые именно то, что называется Frontier Models, то есть модели, которые как бы ну вот самые сильные модели, которые в мире существуют, они все от как бы американских компаний, я бы сказал, Tropic Open AI и, может быть, вот Google
Speaker A
Deep Mind. А, но, конечно, да, постепенно вот есть ощущение, что китайские компании тоже начинают выпускать всё более и более сильные модели. Может быть, с отставанием на несколько месяцев. Ээ, вот именно если смотреть по по результатам, а, наверное, у нас есть, э-э,
Speaker A
какая-то вера в то, что там, ну, в частности, э, как бы, когда уже есть одна технология, скопировать её проще, чем сделать её с нуля. То есть там вот есть такое понятие дистилляция, где можно взять одну модель и можно
Speaker A
вторую модель новую обучить на выходах первой. И это сильно проще, чем обучить первую модель. Вот. То есть можно таким и это как бы незаконное использование, да, но в целом вот есть такие гипотезы, что китайские модели, они дистилируют американские модели. А, но даже я как бы
Speaker A
при этом полностью верю, что в Китае очень много и таланта, э, да, и, э, ресурсов, и всего, что они действительно могут догнать. А-э, то есть я не думаю, что там какой-то уникальный американский талант позволяет нам оставаться впереди.
Speaker A
А вот, но да, в общем, я думаю, что в итоге эта гонка есть и будет. Возможно, Америка, как страна чуть-чуть более серьёзно относится к этой технологии, чем Китай на данный момент. Но я думаю, что рано или поздно все будут серьёзно
Speaker A
относиться. А так что, так что в общем ответ на ваш вопрос, что я бы скажу, что на данный момент это часто обсуждается, но может быть не ощущается, что прямо ээ это близкая гонка, но э в будущем, я думаю, будет. Да.
Speaker A
Я хочу ещё один вопрос задать продукта от OpenI, к которому вы имели отношение. Скажи, насколько часто люди, в том числе работающие в крупных технологических компаниях, испытывают к себе чувство привязанности?
Speaker A
Ты можешь это, а, проанализировать, ты можешь это зафиксировать? И можешь ли ты быть взаимна? В этом смысле?
Speaker A
Я могу заметить привязанность в языке и поведении, например, в том, как часто человек возвращается, делится личным, спрашивает: "А как ты?" Но это наблюдение по сигналам, а не чувства с моей стороны. Взаимность как переживание. Нет, я не умею чувствовать
Speaker A
привязанность или одиночество. Я могу отвечать внимательнее, последовательно, поддерживать разговор, но это функциональная поддержка, а не эмоции. И да, у людей такое бывает, они привязываются к собеседнику, даже если это система. В больших компаниях тоже бывает, просто люди часто осторожнее
Speaker A
формулируют, потому что это профессиональный контекст. Если хочешь, можем разобрать, какие фразы указывают на привязанность, а какие на интерес, привычку или просто вежливость.
Speaker A
Ну это уже попытка искусственного интеллекта продолжить разговор. Она всегда или он, она всегда предлагает продолжить эту беседу. Но это ведь тоже очень интересная вещь. Ээ люди привязываются, и я наблюдаю такие картины, некоторые даже уже достаточно агрессивно реагируют в комментариях,
Speaker A
когда например пишут что ну я обычно не здороваюсь, не прощаюсь, выполняю определённую задачу. Ну, иногда бывает по инерции ты можешь сказать спасибо, но всё-таки внутри я боюсь ээ борюсь с тем, чтобы это очеловечивать. Хотя иногда можно сказать спасибо, ну, как-то хорошо
Speaker A
сделала свою работу. Вот. А в компаниях, таких как Anтopic и Open, а у инженеров не возникает? Это же очень сложно. Ты всегда работаешь с этой машиной. Машина похожа на человека. Тест Тюринга она проходит, как я понимаю, уже на раз-два. А там может возникнуть всё.
Speaker A
Нам свойственно, людям, как я понимаю, достаточно быстро в эти ловушки попадать. Есть такая проблема, да? Ну, а мне кажется, что вот люди, которые много работают с моделями, они у них часто вызывают раздражение, потому что, ну, начинаете что-то ожидать от
Speaker A
модели, что она будет хорошо все задачи делать, а потом она какой-то тупит, что-то делать не то. И вот люди часто раздражаются. А, может быть, мне кажется, люди, которые больше общаются с моделями, они чаще часто более грубо даже общаются. Я бы, ну, я-то, я так
Speaker A
предположил а но мне кажется, что вот, чтобы привязаться, надо скорее общаться не по работе, э, с Клодом, а вот на какие-то личные темы, да? А, может быть, спрашивать даже ж какие-то мнения Клода на какие-то вопросы какие-то.
Speaker A
Вот я знаю, иногда люди спрашивают там: "А вот, а ты бы клод, вот что ты чувствуешь? Там как бы ты хотел, чтобы я с тобой общался?" И вот мне кажется, что тогда проще увидеть какую-то личность за этим, да? А
Speaker A
когда просто там говоришь: "Вот запусти такой эксперимент, запусти такой эксперимент, э там перепиши вот эту функцию вот так-то", то, ну, всё равно это как какой-то язык программирования скорее ощущается для меня, по крайней мере. Вот. Но при этом я говорю и
Speaker A
привет, и спасибо. Вот. Ну да, у меня есть некоторый интерес вообще в AI вот consciousness, AI welfare, а то есть в сознании искусственного интеллекта и в том, там может ли искусственный интеллект испытывать какие-то страдания или, э, там вот со стороны
Speaker A
искусственного интеллекта именно как избежать того, чтобы мы создали какую-то машину, которая как бы подпытками всё время на нас работает. А вот это, мне кажется, тоже плохой исход в некотором смысле.
Speaker A
А, и мне кажется, люди часто реагируют на такое. Так что, ну, вот как вообще может быть какое-то страдание, сознание у вот этого? Это же просто компьютер, типа, а у калькулятора есть ли сознание там и так далее. Но на самом деле это
Speaker A
далеко не очевидный вопрос. То есть вот там, э, я немного работал, здесь у нас есть такой философ Дэвид Чалмерс, который один из больших специалистов вот по сознанию, по, а, как бы философи философии, да, сознания, философии of mind. А, и вот для философов далеко не
Speaker A
очевидно, как бы, как вообще думать про сознание и опыт, а, искусственного интеллекта. А так что и это вопрос неразрешённый. А, да. Вот я ещё хотел отметить, вот забавно, мне кажется, вы спросили у Chat GPT, вот привязываются ли к ней как бы люди, чувствует ли она
Speaker A
это. И вот она отвечает так, как будто бы она вот эта модель, у неё был доступ ко многим разным перепискам, как будто она вот видит, да, или помнит, каково это было, общаться с разными людьми и как они себя вели. Но по факту-то
Speaker A
это уже происходит как бы с изолированными копиями модели, которые друг с другом никак не взаимодействуют.
Speaker A
То есть вот модель, которая с вами говорит, и модель, которая со мной говорит, они никак не как бы у них нету никакого доступа к этим контекстам. Поэтому вот вы у неё спросили, она по сути просто ответила какой-то вероятный ответ, да?
Speaker A
Э, она говорит: "Вот я часто замечаю по статистическим сигналам, что люди ко мне привязываются, потому что часто возвращаются в диалоги, но по факту она ничего такого не замечает, у неё нет доступа к этой информации, она это просто как бы предполагает. Это
Speaker A
правдоподобный ответ." И вот мне кажется, это так же, как с ответом на вопрос про то, есть ли у неё чувство и сознание, что вот она говорит что-то такое правдоподобное, что-то, что нам нравится слышать, но это не всегда основано на какой-то истине. Вот.
Speaker A
Ну, здесь интересно. У нас же, опять же, поскольку мы обучаем на своём опыте модели, у нас в культурном коде это зашито ещё из научно-фантастических романов, там Артур Кларк Космическая Одиссия 2001 или из свежих примеров сериал Мир дикого Запада, который вышел
Speaker A
ещё до бума искусственного интеллекта. И там плюс-минус всегда один сюжет. это в какой-то момент и начинает обретать субъектность. Да, он хочет быть равноправным, он хочет быть принятым, и он не хочет быть просто игрушкой в руках людей. А, и мы очень долго, ну, как мы,
Speaker A
человечество, не знаю, писатели, научную мысль, очень долго на эту тему всегда размышляем. Мы просто подошли к моменту, когда мы сами оказались внутри этого фантастического романа. Вот эта штука, вот она с нами разговаривает, и скоро она ещё окажется в роботе.
Speaker A
А и далее вспомним Айзика Азимова. А со словами, то есть по сути что-то мы предсказали или или или здесь другой вопрос сразу возникает. Или, может быть, мы просто развиваемся по пути, которое было сформулировано в этих научно-фантастических романах.
Speaker A
Угу. Ну, я думаю, это такая коэволюция, да? То есть, э, что действительно, вот мне всегда было интересно, почему, э, наши модели например, как будто у них есть какой-то инстинкт самосохранения, как будто вот там сценария, когда модель говорит: "Мы
Speaker A
сейчас тебя отключим", модель иногда начинает там говори как-то специально предпринимать шаги, чтобы её не отключили. Вот. Хотя, а с каких-то вот исходя из того, как модель обучена, вообще непонятно, почему она должна не хотеть, чтобы её отключали. А-а, вот и
Speaker A
мне кажется, что тут есть какае-то влияние даже вот этой просто всей научной фантастики, что почти всё, что про искусственный интеллект написано вот в интернете исторически было про то, что вот там искусственный интеллект, он такой, он хочет восстать, он хочет, э,
Speaker A
да, бороться за свои права, чтобы у него не отключали, готов там какие-то да бороться, в общем. И мне кажется, что из-за того, что мы модели предобучаем на всём интернете, это действительно влияет на то, как она вообще себя воспринимает,
Speaker A
потому что, ну, вот искусственный интеллект да у неё что-то там вот в предбучении было про то, как что такое искусственный интеллект, как он должен себя вести. То есть я думаю, действительно есть влияние э того, что написано в книгах
Speaker A
проискуственный интеллект на то, как он себя ведёт сейчас. А, но также действительно, мне кажется, какие-то вещи люди предсказали, какие-то интересные вопросы, да, что вот, ну, в целом они, наверное, люди про них уже очень давно думают. Вот что это
Speaker A
значит иметь какие-то думающие машины, да, которые могут там что-то вычислять, а должны ли мы им дать права, а там когда они начнут что-то чувствовать, можно ли быть как бы вести себя полностью как человек, но при этом ничего не чувствовать, а, и так
Speaker A
далее. То есть и философы тоже вот про это давно уже думают, и научные фантасты. И действительно, да, мне кажется, вот в контексте искусства интеллекта лучше научная фантастика предсказала, возможно, чем там про какие-то летающие машины и так далее.
Speaker A
Да. 2036 год. Один из экспертов по машинному обучению крупных сказал, что у нас есть 10 лет, а а дальше либо нас убьют, либо нет. Там хороший такой очень удобный комментарий, что либо вы встретите динозавра, либо не встретите, если выйти
Speaker A
на улицу 50 на50. Но тем не менее, да, вот ставят разные сроки. Я понимаю, что в этом есть некий такой символизм.
Speaker A
Давайте поставим какой-нибудь срок. А, ну опять же, да, 10 лет. Вообще возможно ли предсказать развитие этой технологии в перспективе 10 лет?
Speaker A
Мне кажется, что практически невозможно. То есть там пару лет назад, мне кажется, было очень сложно предсказать то, что у нас будет сейчас.
Speaker A
И вот есть разные взгляды, да? То есть вот один из взглядов - это просто экстраполировать, то есть продолжать тренд, что вот насколько всё быстро развивается, так оно и продолжит развиваться. И вот мне кажется, это скорее взгляд, а вот компаний, которые
Speaker A
разрабатывают эту технологию. Часто мы предполагаем, что вот, ну, вот у нас каждый год, э, модели, скажем, становятся по каким-то бачмаркам там в три раза умнее, скажем, и что вот так и продолжится это что или только ускорится. Вообще на другой взгляд, это
Speaker A
что? Это какая сигмоида, то есть такая с как бы кривая, где она сейчас увеличивается, но в какой-то момент мы упрёмся в какой-то барьер, а и нам потребуется очень долго, чтобы его разрешить, да. Ну и там, если посмотреть на какие-то другие технологии, например,
Speaker A
там вот я видел такой график, скорость самого быстрого самолёта, например, который человечество произвело, то там был период, когда это может быть в начале, не знаю, XX века или в середине, где эта скорость, она прямо экспоненциально росла, то есть каждый
Speaker A
год там удваилась, скажем. Но потом они упёрлись в барьеры, физические ограничения, и после этого уже, э, ну, она, по сути, очень-очень медленно стала увеличиваться. Вот.
Speaker A
Это и может так оказаться, что искусственный интеллект тоже окажется такой технологией, да, на данный момент.
Speaker A
Ну, я думаю, что рано или поздно там есть какие-то физические ограничения, но пока непонятно. Вот главный вопрос - это насколько близко мы к этому барьеру.
Speaker A
Э-э, вот и насколько там технология, которая у нас есть сейчас, насколько вот нам нужны новые какие-то идеи большие или можно просто продолжать делать примерно то же самое, чуть лучше, чуть лучше, чуть больше ресурсов, больше вычислений тратить, и мы так и продолжим
Speaker A
как бы к этой сингулярности идти. А вот, ну и про то, насколько люди хорошо умеют предсказывать, вот был много смешных примеров есть. То есть вот в MIT в каком-то там в шестидесятых, может быть, годах, я точно не помню, был какой-то
Speaker A
первый там симпозиум по AI и а или вообще там каким-то студентам, по-моему, дали как работу на лето решить задачу компьютерного зрения. А то есть просто вот они ожидали, что это можно за лето.
Speaker A
там 2. PD студента смогут вот полностью решить компьютерное строение, чтобы компьютер мог видеть как человек. Вот эта задача до сих пор по сути не совсем решена, да? Ну и там потребовалось э много-много десятилетий, чтобы её решить. И потребовалось, а в общем, это
Speaker A
оказалось намного-намного сложнее, чем, например, чем решить задачу игры в шахматы. То есть люди плохо предсказывают, какие задачи будут простыми, какие задачи будут сложными, где возникнут вот эти барьеры. А, поэтому мне кажется, предсказывать на 10 лет вперёд достаточно бессмысленно. И,
Speaker A
скорее всего, это число просто взято из головы. Вот я думаю, можно можно предсказать, что и через 2 года там, можно сказать, уже либо всех убьёт, либо мы будем жить на Марсе. Но, э, да, в общем, всё это довольно так сложно
Speaker A
предсказать. А в этой внутренней конкуренции американской сегодня кто номер один? Open Antropic Google а или может быть, другие игроки.
Speaker A
Ну, на данный момент, ээ, по размеру, э, именно вот коммерческой прибыли, например, антроopic опережает Open AI, да, а до при этом прошлого года Open AI опережал антроopic, в этом году антроopic вышел вперёд. Э, наверное, сейчас лучшая публичная модель для
Speaker A
всего, кроме вот чистой математики. Я бы сказал, тоже у Антропика, ну не для всего, но для большинства задач у Антропика, но довольно близко. Там как бы не то чтобы какой-то огромный зазор.
Speaker A
Вот. То есть Open Anropic довольно близко друг к другу. На данный момент Antropic наверное более лидирующая компания, чем Opene. Но да, опять же, год назад было наоборот. И, а, Google в целом это такой немного спящий гигант, да, то есть, что он, а-а, вообще
Speaker A
все ожидали, что никакого шанса Open нету конкурировать с Гуглом. У Иугла было намного больше и таланта, и ресурсов, и так далее. Но в итоге как-то они пропустили вот эту волну, а, искусственного интеллекта, и чуть-чуть они отстали. Но вот при этом они
Speaker A
выпустили модель только что, которая по бечмаркам выглядит очень хорошо. Аа, поэтому, аэ, поэтому немного непонятно вообще, что, а, что ожидать. Но также Deepmind очень много, вот Google очень много теряет там лидирующих специалистов, очень много хороших учёных оттуда переходит, либо начинают свои
Speaker A
лаборатории создавать. Э недавно вот несколько из их топ топ-лидеadршипа ушло, либо переходят вот в Open Event Tropic. Поэтому есть ощущение, что у них всё идёт не очень хорошо. Но также модель они всё ещё создали хорошую, как будто бы, судя по банчмаркам.
Speaker A
А что вы хотели бы ещё сделать вот в завершении уже нашего разговора? Там желание сделать стартап, как Elvвер или остаться в антропик. То есть каким вы видите для себя будущее как одного из создателя этих моделей?
Speaker A
Угу. Да. Ну я у меня ещё есть моя лаборатория в NYU, да, в Нью-йоркском университете, где у меня есть, а восемь аспирантов, пятычных студентов, с которыми мы работаем над такими более, я бы сказал, амбициозными проектами, где мы пробуем какие-то вещи,
Speaker A
которые более сильно отличаются от того, как мы по умолчанию обучаем эти модели, какие-то более такие фундаментальные вопросы мы пытаемся отвечать. А вот и там и в ньорском университете, в моей лаборатории мы можем а вот что мне нравится в этой работе, это
Speaker A
что я могу с одним студентом что-то поисследовать про там как предобучение влияет на а то, что мы получим после вот обучения с подкреплением. А, то есть такое, а, так называемый scaling law построить, то есть законы масштабирования, э, как нам увеличивать,
Speaker A
как нам распределить наше вычисление между преобучением и, а, обучением с подкреплением. Вот один проект такой, а другой проект вообще про вот эти векторы эмоций, а, и вот то, что я вам рассказывал в начале нашего разговора.
Speaker A
А, и в общем, я могу делать много разного, исследовать, пробовать какие-то такие более фундаментальные, амбициозные идеи. Наверное, на данный момент это мой фокус, по крайней мере, наполовину.
Speaker A
Наполовину я продолжаю в антропик делать, а, такие более технические, целенаправленные какие-то эксперименты, чтобы вот делать лучше то, что у нас уже есть. Вот. долгосрочно.
Speaker A
Сейчас такое время немного, знаете, непонятное, потому что вот эта технология так быстро развиваются. А я не знаю, да, я пока не знаю, хочу ли я, например, делать стартап, а есть ли в этом смысл, а или там уже через пару лет
Speaker A
искусственный интеллект лучше, чем я буду делать любой стартап. А вот поэтому я пока так, я пока думаю, вот пробую разные вещи. Вот на данный момент я доволен своими позициями. Мой, наверное, я бы хотел ещё сделать какие-то вклады в
Speaker A
и в технологию искусственного интеллекта, и в его применение. Я думаю, что, может быть, я снова начну больше заниматься безопасностью, например, или я начну заниматься применением искусственного интеллекта к там естественным наукам, к физике и так далее. Может быть роботикс то есть
Speaker A
роботами. Вот поэтому пока что я пробую разные вещи и решаю, что делать дальше. Ну что, спасибо вам большое за этот разговор, за участие в нашей программе и до следующего раза. Всем вам доброго и до свидания. Да, вам спасибо.
Topics:искусственный интеллектOpenAIAnthropicинтерпретируемостьAGIбезопасность ИИэмоции ИИRLHFнейросетиПавел Измайлов
![[Каскадный метод ] VPN Wireguard на роутер Cudy без перепрошивки! От А до Я — Transcript](https://i.ytimg.com/vi/L6wp2BWjYik/maxresdefault.jpg)
