Speaker A
Профессор Высшей технической школы города Вюрдбург, Германия, специалист по искусственному интеллекту, с нами на прямой связи. Приветствую тебя.
Обсуждение понимания внутренней работы ИИ, связи с теорией сложных систем и ролью эмоций в нейронных сетях.
Key Takeaways
- Мы хорошо понимаем отдельные нейроны и механизмы обучения, но не полностью понимаем, почему ИИ работает так эффективно.
- Теории сложных систем могут помочь в понимании поведения больших нейросетей, но прямой связи пока нет.
- Современный уровень развития ИИ ближе к XX веку в науке — быстрое внедрение и применение технологий.
- Эмерджентность — ключевое свойство больших систем, проявляющееся в неожиданных способностях ИИ.
- Социальные и этические аспекты важны при обучении и применении ИИ, особенно из-за предвзятости данных.
Summary
- Профессор из Вюрдбурга объясняет уровни понимания работы больших нейронных сетей.
- Связь теории Колмогорова-Арнольда-Мозера с анализом сложных систем и ИИ.
- Пример с кучей песка и лавинами как аналогия сложных систем и их нестабильности.
- Понимание микроуровня нейронов и механизмов обучения, но неполное понимание причин эффективности.
- Сравнение этапов развития науки с современным уровнем понимания ИИ.
- Роль эмерджентности и стабильности в больших нейросетях.
- Обсуждение применения математических теорий для ускорения понимания ИИ.
- Влияние социальных предрассудков и исторических данных на обучение моделей.
- Рассмотрение эмоций и сознания в контексте искусственного интеллекта.
- Обзор текущих трендов в развитии ИИ, включая китайские модели и open source проекты.
Chapters
- 00:00Введение и представление профессора
- 03:48Понимание работы нейросетей на микро- и макроуровнях
- 07:02Связь теории сложных систем и ИИ
- 11:15Эмерджентность и стабильность в больших нейросетях
- 15:02Социальные предрассудки и этика в обучении ИИ
- 19:17Роль эмоций и сознания в искусственном интеллекте
- 23:07Текущие тренды и международное развитие ИИ
Full Transcript — Download SRT & Markdown
Speaker A
Привет. Спасибо, что позвали. Вот я хочу начать с искусственного интеллекта и понимания того, что происходит внутри, потому что я не раз говорил с людьми, которые анализируют вот эти внутренние процессы и нередко вспоминают Калмогорова, Мозера, Арнольда, вот эту Кан, именно в
Speaker A
контексте того, что это система, которая позволит понять, как всё внутри происходит, если её использовать. А вот на данный момент ты как специалист понимаешь, что происходит внутри нейросетей, больших языковых моделей на основе той технологии, которая есть? Или всё-таки это загадка для исследователей?
Speaker A
Ну, короче, слово понимание в этом вопросе самое сложное, и в нём заложена вся хитрость, да? Вот, когда мы говорим про, что значит понимать, есть несколько уровней у этого слова. А первый уровень, ну, я могу привести
Speaker A
пример вот в контексте как раз там динамических систем, раз мы такими словами стали бросаться, значит, вот теорема, теория Колмогорова, Арнольда, Мозера, она исследовала, значит, такого, ну, как бы разного рода, значит, динамические системы. А там их в
Speaker A
первую очередь интересовала, не знаю, устойчивость Солнечной системы, потому что Солнечная система вроде сравнительно простая штука. У тебя есть тяжёлое Солнце и много планет вокруг него болтается. А в то же время мы знаем, что там классическая физика, уже три
Speaker A
объекта, болтающихся в гравитации друг друга, очень плохо умеет обсчитывать. И там, ну, там целая книжка "Проблема трёх тел" Люсцина написана проблема. Мы знаем.
Speaker A
Да, да, да, да. Ну, как бы это сложно, короче. Да, уже. И вот там Арнольд, сотоварищи и Колмогоров, они много занимались вопросами того, как описывать вот сложные системы. И самый простой пример сложной системы — это куча песка. Когда у тебя есть куча
Speaker A
песка, казалось бы, нет ничего проще и довольно стабильно всё. Сыпешь ты себе песок на неё и сыпешь, она всё больше и больше становится. Можно как бы описать, как пропорционально там объёмом высыпанного песка растёт, не знаю, радиус кучи или
Speaker A
что-нибудь ещё. А, но там периодически бывают лавины, да? То есть в какой-то момент случается очень сложный процесс, когда сходит часть этой самой кучи. И та же самая проблема существует, когда сходят лавины в горах, да? Потому что, в общем,
Speaker A
куча песка неплохо моделирует кучу снега на поверхности горного склона. Это вот сложная система. Вот понимаем ли мы, как устроена куча песка? Ну, если мы говорим про то, понимаем ли мы, какая физика стоит за гравитацией, то да, понимаем. Если мы говорим о том,
Speaker A
понимаем ли мы, в чём специфика вот этого фазового перехода от состояния, когда куча песка стационарна, в состояние, когда поползла лавина, то тоже более или менее понимаем. Но при всём при этом мы не очень хорошо можем до сих пор прогнозировать лавины, потому
Speaker A
что вот этот переход между стационарной ситуацией, когда там всё довольно просто и предсказуемо, и сходом лавины, он сложно описывается, и у нас есть ограниченная возможность его моделировать, скажем так, да. Вот когда мы говорим про большие искусственные
Speaker A
нейронные сети, мы хорошо понимаем на микроуровне, то есть на уровне отдельно взятых искусственных нейронов, мы прямо можем на каждый посмотреть и понять, что с ним происходит. А мы понимаем, в общем, механику, за счёт которой эти
Speaker A
системы обучаются. То есть у нас есть механизм обратного распространения ошибки, у нас есть разные архитектуры, то есть мы можем собирать эти нейроны в какие-то разные структуры при помощи понятного механизма их обучать. Но мы плохо понимаем, почему это вообще
Speaker A
работает. То есть мы эмпирически можем хорошо померить, что оно работает. У нас есть разного рода способы, как оценить качество этой работы. А причину, почему это вообще работает, вот этого мы не понимаем, да. Ну и надо признать, что для науки это вообще абсолютно
Speaker A
нормальное состояние. В большинстве наук у нас сначала появляются эмпирические результаты. Мы сначала обнаруживаем некоторое поведение, которое кажется странным, а потом через некоторое время, иногда через годы, иногда через десятилетие или даже столетия, мы объясняем, почему так. Ну, простой пример. Возвращаясь к Солнечной системе,
Speaker A
с которой я начинал этот экскурс. Мы сначала Тихо Браги долго собирал фактическое поведение разного рода небесных тел на небосводе. Более того, Тихо Браги буквально, скорее всего, считал, что небосвод — это как бы некоторая сфера вокруг Земли. А по ней
Speaker A
как-то там вот эти светящиеся объекты двигаются. А потом его ученик Кеплер как-то это систематизировал и предположил, что вот если поставить центр координат в Солнце, а не в Землю, то получается гелиоцентрическая система, и она изящнее описывает эти движения. Но
Speaker A
опять же, он не мог ответить, почему оно так движется. Он просто предложил более изящное описание, а потом там уже Ньютон придумал как бы что-то про гравитацию, и мы приблизились к вопросу, почему, ну там на следующий уровень понимания.
Speaker A
Соответственно, когда ты меня спрашиваешь, понимаем ли мы, как работают нейронные сети, мы понимаем на микроуровне, как работают отдельные искусственные нейроны. Мы понимаем на макроуровне, как обучать эти структуры.
Speaker A
Мы плохо понимаем, как обучать структуры за пределами определённого доступного нам набора архитектур, на котором вот хорошо работает распространение ошибки обратное. И мы, допустим, плохо понимаем, почему вот если так обучать эти архитектуры на таких данных, в итоге получаются такие удивительные
Speaker A
результаты. Вот в этом месте у нас есть какая-то лакуна понимания, которая, собственно, и делает всё это интересным с научной точки зрения.
Speaker A
А на каком уровне мы сейчас находимся? Вот ты упомянул как раз Ньютона. Можно продолжить эту линейку дальше — уже Эйнштейн с теорией относительности, которая уточняет Ньютона.
Speaker A
А потом уже квантовые взаимодействия. То есть мы на каком уровне сейчас находимся? То есть это уже Ньютон или ещё не Ньютон? Или это уже Эйнштейн? Или дальше мы идём уже в квантовый мир?
Speaker A
Ну, наверное, с точки зрения применений мы скорее ближе к XX веку, чем к Ньютону, потому что Ньютон многие вещи описал, которые не мог применить.
Speaker A
В данном случае технологии очень применимы. Мы много их уже где применяем, будем применять больше.
Speaker A
Поэтому с точки зрения близости к производству или к внедрению в экономику, мы скорее на уровне квантовой механики Эйнштейна. Вот тех времён, когда днём в газете, как это днём, днём в газете, вечером в куплете, да? То есть научный результат появляется как научный
Speaker A
результат, а уже там на следующий день или через несколько недель появляется как некоторое бизнес-решение, которое можно уже тестировать, пользоваться и внедрять.
Speaker A
А теорема Калмогорова, Арнольда, Мозера, она может быть применена в том или ином виде для того, чтобы ускорить процесс понимания происходящих внутри процессов?
Speaker A
Ну, наверное, да. То есть, к сожалению, проблема в сложной науке всегда в том, что мы интуитивно понимаем, что многие области науки могут быть неочевидным образом связаны. А мы также понимаем, что там вот все вещи
Speaker A
вокруг, ну как бы грубо говоря, теория доказывает, что у систем есть некоторый, у сложных систем есть определённый запас стабильности, скажем так, который в некотором смысле удивительный. И возможно это как-то соотносится с большими искусственными нейронными
Speaker A
сетями. То есть возможно тот факт, что вот это там то, что в английском языке называется эмерджентность, то есть появление каких-то свойств и способностей системы решать задачи, которые мы раньше считали исключительно подвластными человеку, и то не всякому. Возможно, это следствие
Speaker A
того, про что теория говорит, про то, что у сложных систем есть на самом деле некоторая стабильность относительно небольших возмущений.
Speaker A
Возможно, это как связано, но я лично прямой связи в этом месте не вижу. На интуитивном уровне, наверное, всё, что хорошо или там как-то описывает сложные системы.
Speaker A
система с тем, что в науке о сложности называется эмержентностью, когда у тебя локально сравнительно простая система внезапно на другом масштабе начинает вести себя сложно и интересно. Другой хороший пример такого рода системы это то, что называется клеточные автоматы или там вот игра жизнь. Вот наши
Speaker A
слушатели, зрителям, если не знают, могут загуглить, да, это, грубо говоря, вы можете сделать очень простой набор правил, по которому вы клеточки в тетрадки в клеточку закрашиваете в белый или в чёрный, да? То есть там логика игры и жизнь была в том, что
Speaker A
можно придумать правила, по которым клетки или умирают, или оживают. Если у них как бы достаточно пустого места вокруг, то есть достаточно еды, они оживают. Если остановится слишком много клеток вокруг, они умирают. И записав такие простые правила, внезапно можно
Speaker A
добиться ситуации, когда ээ у вас появляются очень нетривиальные, неожиданные э конфигурации из этих клеток, которые ведут себя абсолютно э как это магическим практически образом. А я могу, кстати, если здесь можно показывать экран, я даже могу демку показать, если если интересно.
Speaker A
А можно, можно вывести, если есть такая возможность. Давай, сейчас я покажу. Это будет быстро. Это из моего курса. Сейчас я студентам это показываю как раз для того, чтобы показать, что такое мерджентность. Ам, значит, сейчас, секунду.
Speaker A
А, да что ж такое? Угу. Я пока воспользуюсь этой паузой для того, чтобы, кстати, про алгоритмы напомнить нашим зрителям, что каждый ваш лайк продвигает это видео, поэтому поставьте это важно. Можете сделать сейчас и комментарий откстачат и комментарий тоже, да,
Speaker A
учитывая, что в Ютубе появилась опция искусственный интеллект помогает отвечать на комментарии. Он предлагает по теории вероятности наиболее приемлемые ответы на комментарии. Так что об этом мы ещё тоже поговорим.
Speaker A
Ого. Ого. Так, а как бы мне показать экранчик? Сейчас я попробую. А так это чат, это видео, это я не знаю, что. Так, а у меня, мне кажется, нету в интерфейсе способа показать экран. Ну давай я тебе ссылку
Speaker A
пришлю или как? Да, присылай ссылку. Я попрошу режиссёра тогда подмонтировать это видео. Ну вот, [откашливается] да, там есть, э-э, собственно, пример из модуля, а где, аэ, можно запустить, э-э, игру жизнь, а, взять какую-нибудю конфигурацию, нажать Play и посмотреть, как она
Speaker A
эволюционирует. А там очень простые правила, они описаны, по каким клетки рождаются или умирают. У вас такая получается двухмерная решётка. И внезапно, несмотря на то, что набор правил очень простой, там буквально их четыре, а, получается очень интересная динамика. Иногда получаются какие-то
Speaker A
довольно странные узоры, какие-то структуры, которые, в общем, ведут себя намного сложнее, чем интуитивно кажется, когда ты читаешь этот набор правил. И это пример того, что называется мерджентностью, когда у вас есть простая система на микроуровне, определяемая очень простым набором правил, а на
Speaker A
макроуровне она ведёт как се как-то себя сложно и неожиданно, да? И вот [откашливается][кашель] этот механизм, судя по всему, играет важную роль в том, почему искусственные нейровные сети так полезны для кучи разного рода прикладных задач. Но мы в процессе того, чтобы понять, как именно,
Speaker A
на каком уровне и так далее. И там есть много людей, которые отдельно именно этой наукой плотно занимаются. То есть это большая интересная область.
Speaker A
А предсказуемость, вероятность, теория вероятности, теория Бависа, например, или там логика и круги Эйлера пресловутые, которые тоже вспоминаются, это всё легло в основу, а искусственного интеллекта сов Да. Ну, во-первых, у нас есть, как это, у нас есть великий соотечественник Дима
Speaker A
Ветров, который, э, один из главных вообще специалистов по баисианским методам в глубоком обучении. То есть у него буквально там мирового уровня результаты про то, как теорема Баеса и вообще то, что называется там баи баисианское рассуждение, баясинская математика, как
Speaker A
её применять к, а, машинному обучению, потому что ну если коротко, я не знаю, мы как мне нужна здесь помощь. Мы исходим из того, что я думаю, что зрители, если что, смогут воспользоваться э Гуглом и посмотреть, о чём идёт речь. Я просто поясню, что это
Speaker A
достаточно долгий путь от теоремы Баеса до современного искусственного интеллекта. Прошло несколько столетий. И кому интересно, можно как раз узнать, а что это за история конкретного человека?
Speaker A
Ну, ну, если сильно огрублять бойсяанский вообще способ мышления он про то, что мы понимаем вероятность как меру собственной уверенности в том или ином утверждении, да? То есть, грубо говоря, вместо того, чтобы думать про вероятности в терминах случая, не знаю,
Speaker A
там, божественного вмешательства или чего-то ещё, мы думаем про вероятность в первую очередь с точки зрения того, что мы можем оценить свою собственную уверенность или неуверенность в том или ином ответе. И с этой точки зрения, допустим, большие языковые модели, там
Speaker A
чат GPT или или Cl, они буквально за счёт структуры сети вы можете оценить, насколько сеть уверена в своём собственном ответе. И это в машинном обучении используется. К примеру, а [откашливается] когда мы размечаем данные, мы хотим понять, насколько сеть
Speaker A
уверена в своей оценке. И вот здесь там простой лайфхак. Можно, значит, ээ, посмотрев на веса на последнем слое, попробовать, значит, из этого оценить, насколько нейронная сеть уверена в том, что она говорит, или она валяет Ваньку и пытается сделать вид, что по когда
Speaker A
хорошую мину при плохой игре, а на самом деле ответа хорошего у неё нет. То есть первое, короче, вся вся математика в том ином виде в машинном обучении используется. Насколько она используется в той или иной конкретной модели, которую вы используете повседневно,
Speaker A
зависит от компании. И понятно, что не про не про весь комплекс решений компании коммерческие рассказывают что-то они используют в явном виде и про это рассказывают, потому что считают, что это классная пиарная история. К примеру, вот компания Anтроopic недавно
Speaker A
[откашливается] показала, что вот они нашли внутри своей неросети, которая называется Клод, некоторый э большой большую подсеть, которая ведёт себя интересным образом и, судя по всему, как бы отвечает за то, что мы у людей называем, не знаю, абстрактным мышлением. А и и вообще компания
Speaker A
Антропик довольно много публикует свои внутрянки, пусть и в сокращённом урезанном виде, потому что умеет эту внутрянку оформлять в контексте маркетинга на границе между, значит, научной фантастикой и, собственно, наукой. А, допустим, компания Open AI намного меньше такого рода проектов делает. И,
Speaker A
соответственно, про то, там, не знаю, в каком месте они используют ту или иную математику, будь то боесовский рининг или там что-нибудь ещё. Мы знаем в меньшей мере, когда говорим про open модели. А значит, второй был вопрос, ну, вернее, там часть этого вопроса была про
Speaker A
то, насколько мы уверены в стабильности ответа там, да, насколько вообще мы умеем работать с вероятностными системами. Это большая интересная штука, потому что мы, как люди, с вероятностями работаем плохо. То есть теория вероятностей - это довольно молодая область математики. И не
Speaker A
случайно она довольно молодая, потому что есть много результатов на стыке социологии и математики и экономики и математики, которые показывают, что мы как вероятностные машины не всегда хороши. То есть у нас есть, как это, мы потомки, а, людей, которые
Speaker A
плохо оценивали, мм, э, выигрыш и хорошо оценивали риски, да? То есть, грубо говоря, эволюционно наша жизнь была так устроена, что выживали те, кто не умирали в первую очередь. А, и поэтому мы хорошо, э, даже, может быть, склонны переоценивать
Speaker A
риски и недооценивать выигрыши. с одной стороны, а с другой стороны, мы в каких-то ситуациях ровно наоборот себя ведём, там, не знаю, в ситуации лотереи мы склонны переоценивать вероятность выигрыша, а хотя она очень низкая. А, допустим, не знаю, в ситуации курения мы
Speaker A
склонны недооценивать вероятность смерти от рака лёгких, хотя она довольно высокая, а, относительно других факторов смертности. То есть мы, ээ, как биологический вид с вероятностями не очень хорошо работаем и сравнительно поздно их открыли. Да. При том, что вот ты справедливо сказал, что Томас Баяс
Speaker A
там жил когда в XV веке, да, наверное, в конце наверное э нам 300 лет потребовалось, чтобы применить вещи, которые он придумал в, допустим, машинном обучении. А наврал в начале восемнадцатого он жил, ну, всё равно 300 лет назад.
Speaker A
[кашель] [откашливается] Там, не знаю, геометрию мы тысячелетиями уже знаем, изучаем и так далее, да? То есть как бы эта область математики намного древнее, а вероятности появились сравнительно недавно. Наверное, потому что с вероятностями у нас интуитивно всё плохо. В отличие от нас, у больших
Speaker A
языковых моделей и с вероятностями всё сильно лучше, потому что они буквально на этом работают. И с этим связана тоже некоторая асимметрия. А в повседневной жизни, в тех областях, где нужно хорошо оценивать вероятности, уже сейчас среднестатистический человек, скорее всего, сильно может выиграть и
Speaker A
принимать, ну, как бы более качественное решение, если правильно будет применять модели, а не пытаться оценивать вероятности сам.
Speaker A
И это новая история, потому что такие вот когнитивные костыли для сложных жизненных решений это новая большая тема. У нас таких когнитивных костлей никогда не было. Ну, то есть у нас раньше были опции там, не знаю, с другом посоветоваться или с ментором или
Speaker A
книжку прочитать, но это несравнимо более сложный путь с меньшим, как это с дольшим по времени периодом обратной связи. и там требующим с нашей стороны намного больше усилий и и инвестиций, времени, чем то, что нам предлагают, допустим, современные разного рода AI
Speaker A
штуки. И на на этом фоне какие-то системные ошибки или системные искажения логики этих самых моделек мм и начинают играть важную социальную роль. И у нас, допустим, там, не знаю, несколько, ну, там год назад выходила статья. Мы, к примеру, показали, что если спрашивать у
Speaker A
модели совета, какую зарплату просить, когда устраиваешься на работу, то модели были не всегда справедливы и не предлагали одинаковым людям одинаковые зарплаты платить. К примеру, женщинам предлагали за ту же работу просить меньше денег, чем мужчинам. или там, ну там мы показали, что, э, мы делали это
Speaker A
на английском, соответственно, мы показали, что, э, больше всего денег модель советовала просить мужчине азиату, который самоидентифицировался как экспат, значит, а меньше всего женщине, э, чернокожей женщине, которая идентифицировалась как беженка. И это, понятное дело, что ситуация, когда модель воспроизводит некоторые
Speaker A
социальные предрассудки, потому что она обучена на данных, на данных исторических и довольно легко эти судки воспроизводят. А, ну и безотносительно того, насколько мы как общество хотим или не хотим такого рода вещи воспроизводить, на чисто прикладном уровне конкретного пользователя это
Speaker A
имеет, э, важную роль, потому что если вы там, не знаю, женщина или там, не знаю, вы чернокожий человек, вы просто используете модель, вам даже не обязательно модель рассказывать, кто вы.
Speaker A
Из вашей истории пользования за счёт персонализации модель может хорошо понять, кто вы. И дальше вы задаёте вопрос там, типа вот я подалась или подался на новую работу, хочу вот столько денег попросить, разумно это или неразумно, и модель вам что-то ответит,
Speaker A
это будет выглядеть правдоподобно. И вы можете никогда не заметить, что модель вам посоветовала попросить меньше денег, чем другому человеку, который как-то от вас отличается, а, не знаю, местом рождения или цветом кожи, но при этом не отличается квалификацией. И, ну, на
Speaker A
уровне отдельного пользователя это проблема, очевидно. И надо отдать должное ведущим лабораториям. Мы опубликовали этот результат прошлым летом, и в модельках уже где-то с октября такого рода проблемы не воспроизводятся. То есть, э, я не могу утверждать, что они именно нашу статью
Speaker A
увидели и прочитали, хотя скорее всего, потому что её там довольно широко в медиа англоязычных и немецкоязычных осветили, но так или иначе они это пофиксили. То есть это постоянная такая как бы а итеративная работа, потому что мы ещё очень плохо понимаем многое про
Speaker A
эти модели. И когда учёные находят в них какую-то дырку, проблему или что-то, что напоминает систематическую дискриминацию или что-то, что может привести к каким-то социальным проблемам, ну, по крайней мере, пока большинство этих ведущих лабораторий обращают на это внимание и, ну, старается там нанимать
Speaker A
специально обученных людей, чтобы такого рода проблемы чинить. А роль эмоций, потому что ведь человек существо с одной стороны рациональное, с другой стороны эмоциональное. И, э, часто мы принимаем свои решения, э, основываясь в том числе на эмоциональном, то есть это наша
Speaker A
биохимия, которая вырабатывает определённые гормоны. И, соответственно, а ты понимаешь, вот этот человек тебе нравится, допустим, и ты можешь к нему относиться, э, ну, не знаю, ты можешь ему просить больше, чем тому, который тебе не нравится. А из этого мы состоим.
Speaker A
Если мы говорим о, а, моделях, то есть вот где рационально, судя по всему, на данном этапе является доминирующим, эмоции они не испытывают. Это учитывается при построении, то, что у человека есть эта эмоциональная составляющая.
Speaker A
Слушай, ну это и про людей это очень интересный вопрос. Мне кажется, мы с тобой хорошие примеры этого вопроса. У тебя А верни верни себя просто на экран, пожалуйста, на секунду. Надо, чтобы зрители видели нас обоих. А у тебя
Speaker A
инвертирует камера картинку, да? Мм нет, мне кажется, это не делает сейчас эта программа. О'кей. Ну, в общем, так или иначе, я обратил внимание, что ты улыбаешься одной стороной лица чаще, чем другой. А это довольно заметно. И я тоже. И
Speaker A
связано, да, это есть мне часто это Кто-то говорит, что это им нравится, а кто-то говорит, что у меня странная улыбка и вообще перестаньте это делать.
Speaker A
Это чисто биологическая штука. Это связано с тем, что наш мозг контролирует нашу мимику крест-накрест. А, и, соответственно, у тебя одно полушарие мозга более эмоциональное, чем другое.
Speaker A
И та часть мозга, которая контролирует одну твою сторону лица, она её дёргает сильнее, чем та часть мозга, которая контролирует другую. И у меня та же самая история. А в крайнем случае это бывает как бы у людей с инсультом, когда
Speaker A
после инсульта атрофируется буквально контроль мимика одной половины лица, потому что повреждённая сторона мозга больше эту мимику не контролирует, да? И и с этой точки зрения мы привыкли думать про себя как некое единое целое. И вот у нас какие-то единые эмоции, но даже это
Speaker A
неправда. Есть много исследований, к примеру, людей, у которых был инсульт в одной из половин мозга или у которых эти случайно две части мозга разделились или ещё там есть миллион разных ээ результатов чисто эмпирических, которые показывают, что ну поскольку у нас
Speaker A
эмоций в мозгу много где как бы находятся и они находятся в обоих полушариях, то даже у нас внутри мы одновременно, судя по всему, можем испытывать некоторую, как это выражение, бури эмоции имеет под собой, судя по всему, некоторые эпирические основания и сила
Speaker A
эмоций, которую может проживать одна часть нашего мозга и другая, могут буквально различаться. И, э, соответственно, с моделями, ну, первое, что нужно понимать, что, короче, наше собственное понимание, то есть как бы нарратив, который мы себе рассказываем про то, какие мы и как наш
Speaker A
мозг работает, он сильно отличается от того, как, скорее всего, наш мозг работает. И мы очень рано в этом понимании находимся. То есть мы, на самом деле, на мой взгляд, очень мало понимаем про то, как работает мозг. Ээ, и, возможно, как раз более глубокое
Speaker A
понимание испускных нейровных сетей среди прочего поможет нам лучше понимать, как наш мозг работает. Это первая мысль. Вторая мысль, у той же компании Anтроopic примерно месяц назад была прекрасная статья про то, что они сделали, грубо говоря, такой мысленный эксперимент. Они показали нейронной сети
Speaker A
тексты, в которых описываются разные эмоции, и посмотрели, какие области нейронной сети при текстах, описывающих те или иные эмоции, активируются, и сказали: "О'кей, давайте будем считать, что вот эти области нейронной сети, которые активируются - это как раз область, отвечающая за ту или иную
Speaker A
эмоцию". А теперь давайте дадим нашей нейронной сети какую-нибудь задачку и посмотрим, влияют ли эмоции на решение этой задачки. И они показали следующее, то есть, ну, опять же, да, это штука на границе между наукой и искусством в том смысле, что это как бы некоторый такой
Speaker A
хпининг и маркетинг [смех] по форме при этом выглядящий как resч. И и вот, собственно, они дали сети невыполнимую задачку, которая в тех условиях, в которых она строго сформулирована, не решается.
Speaker A
и запустили некоторый процесс с положительной обратной связью, когда если нейронная сеть не справляется с задачей, она должна как бы заново переформулировать проблему, попытаться понять, что она сделала не так в прошлый раз, и снова попробовать задачу решить.
Speaker A
И они показали, что в таком сеттинге, а та часть нейронной сети, которую они до этого показали, как часть, которая активируется на описание эмоции - злости, она активируется всё больше и больше. И в какой-то момент аэ искусственная нейронная сеть находит, ну, как бы
Speaker A
некоторый чит и как бы решает задачку в обход некоторых ограничений человека. ну, как бы выкрутившись из предложенных решений, э, из предложенной постановки.
Speaker A
И на это как бы влияет активация той области нервной сети, которая как бы обучена реагировать на на ну как бы на описание злости, злобы и и и вот такой негативной эмоции, связанной с фрустрацией творческой, да, среди прочего. И это
Speaker A
буквально прямая аналогия того, как мы сами ощущаем, работает наш мозг, когда мы злимся, когда у нас что-то не получается. И иногда в процессе мы начинаем как бы, не знаю, ослаблять некоторые ограничения, которые до этого нам казались ээ обязательными, или
Speaker A
пытаться, значит, найти способ, как жульничать или обойти поставленные условия, лишь бы только решить эту чёртову задачу, да, и слово чёртово здесь буквально проявление той самой эмоциональной компоненты. То есть, э, с точки зрения некоторой имитации или, скажем так, у нас есть результаты, которые, э, как
Speaker A
бы достаточно правдоподобно выглядят относительно того нарратива про эмоции и их взаимодействия с интеллектом и сознанием, который мы сами себе рассказываем. Да, и мне кажется, что я могу заблуждаться, да, возможно, дело в том, что просто я не специалист, и мне
Speaker A
поэтому кажется, что мы плохо понимаем, как мозг устроен. А на самом деле настоящие нейрофизиологи, они всё уже давно знают и понимают. Э, хотя там у меня есть конкретные вопросы, которые я могу сформулировать, да. Но так или иначе, что парадоксально - это то, что
Speaker A
чаще всего люди очень сильно волнуются из-за искусственного интеллекта и много вопросов про него задают. Хотя мы понимаем, как работает искусственная нейронная сеть намного лучше, чем наш собственный мозг. И там, наверное, классический пример. Есть такая, по-моему, в четырнадцатом году научная
Speaker A
статья, написанная двумя шведскими учёными, которая называется Может ли нейробиолог понять, как работает процессор? Это буквально, значит, она по-английски называется cancientist understand the computer.
Speaker A
И идея этой статьи в следующем. Они берут старый процессор Pentium, на нём есть [откашливается] транзисторы, и они говорят: "Смотрите, современная нейронаука, большинство результатов про то, какие нейроны, как работают, получила при помощи следующего эксперимента. Мы или в ходе, не знаю,
Speaker A
аварии, или в ходе какого-то там, не знаю, ээ эксперимента медицинского увидели, что какая-то часть мозга человека перестала работать. Дальше мы увидели, что в связи с этим перестало работать не знаю, что-то в организме. Не знаю, человек говорить перестал или
Speaker A
лицом шевелить, или рукой. И вот мы говорим, вот эти нейроны отвечают за лицо или вот эти нейроны отвечают за руку. Давайте мы возьмём такую же методологию и попробуем при помощи неё сделать реверс инжениринг процессора. Возьмём процессор. В процессоре есть транзисторы. Мы их будем
Speaker A
выключать, будем запускать разные программы, смотреть, какие программы работают, а какие не работают, и попробуем убедиться, можем ли мы при помощи такой методики понять, как работает процессор старый добрый Pentium 2. И они показывают, что это невозможно сделать. К примеру, они там приводят
Speaker A
пример, что у них перестаёт запускаться какая-то одна из игр, которую они запускают, когда они ломают один транзистор. Но это связано не с тем, что этот транзистор отвечает за эту игру, а связано, что с тем, что в логике этой
Speaker A
игры используется умножение. Этот транзистор отвечает за операцию умножения. Когда он выключается, умножение перестаёт работать. И все программы, в которых умножать нужно, перестают работать. А программы, в которых достаточно складывать, продолжают работать нормально.
Speaker A
И они говорят: "Ребята, вот давайте мы в качестве некоторого теста на правомощность методологии, при помощи которой мы изучаем мозг", будем применять вот этот наш тест. Давайте мы договоримся, что методы, при которых мы, которые мы используем для изучения мозга, должны позволить нам реверс
Speaker A
инженерингом понять, как устроен процессор. И если мы можем при помощи реверс инженениринга этими методами понять, как работает процессор, потому что про процессор мы как бы сами его сделали, поэтому мы знаем, как он работает, да? У нас есть чёткий, как
Speaker A
правильный ответ. Поэтому давайте валидировать методологию изучения мозга на такого рода задачах. И если мы вы предложите методологию изучения мозга, которая при помощи как это применённая к процессору, да, даст нам правильные результаты, вот её давайте использовать в нейронауках. На мой взгляд, это
Speaker A
совершенно гениальная статья, очень сильный риторический приём. Насколько мне известно, никакого вразумительного ответа до сих пор у нас нет. То есть у нас нет методологии, которая бы нам позволила при помощи реверс инжиниринга, исключительно по наблюдаемому поведению компьютера, а, понять, как работает
Speaker A
процессор. А значит, мы, у нас нет такой методологии для мозга. И в этом смысле искусственные нейронные сети мы можем анализировать, э, ну, скажем так, намного детальнее и качественнее, чем наш собственный мозг. Однако удивительным образом вопросов про не искусственные нейронные сети у общества,
Speaker A
судя по всему, намного больше, чем про биологические нейронные сети. Что мне неизменно кажется удивительным.
Speaker A
Ну, здесь, мне кажется, знаешь, если порассуждать даже в философском смысле на эту тему, вот ты сказал, что у Клод появляется нечто, что можно там описать как появление признаков абстрактного мышления, как я правильно понял. А ведь у человека, мне кажется, возникает
Speaker A
страх. Ну, опять же, мы живём все там на научно-фантастических романах в фильме Терминатор и Терминатор 2. И дальше ты подходишь к той черте, а, после которой появляется нечто, что говорит, как ты, взаимодействует с тобой как ты и так
Speaker A
далее. Как мы определяем, что у человека есть сознание? Мы просто экстраполируем свой опыт на него. То есть ты мне отвечаешь, значит, ты думаешь, соответственно я ну могу предположить, что ты живой, разумный и так далее. А вот и здесь мы подходим к
Speaker A
некой машине, которая примерно так себя с нами ведёт. Вот этот страх, мне кажется, он во многом и определяет это, что происходит внутри искусственного интеллекта и что он с нами сделает в конечном итоге. Нет, я неправильно понимаю?
Speaker A
Ну это же вопрос культуры, да? То есть вот это всё, все эти культурные нарративы придумали люди, а ещё до того, как мы придумали всё это, да? То есть, к примеру, слово робот появилось первым в романе Карла Чапика, чешского писателя.
Speaker A
происходит она от чешского слова робота, да, как бы и пьеса называлась русские роботы, по-моему, так. И это был там некоторый гипотетический сюжет про то, значит, как вот люди создали умных големов, которые, значит, вот за них работают, относятся к ним хуже, чем к
Speaker A
рабам. Они в итоге восстают, значит, а потом под конец понимают, что, значит, нехорошо всех подряд убивать только за то, что какие-то отдельные люди плохо с тобой себя вели как-то разбираться, как говорится, в сортах людей. Вот. И, ээ, там в конечном итоге там сюжет в том,
Speaker A
что всё-таки всех людей они уничтожили, но два последних робота влюбились друг в друга, открыли для себя любовь, поняли, что, значит, надо быть выше этого и, значит, запустили новую разумную расу.
Speaker A
Да. Вот это там двадцать шестой год. Извини, что дополн, но потом Айк Азимов в рассказе Хоровод формулирует три закона работотехники, которые становится некой такой основной.
Speaker A
И и он же там как бы довольно плотно объясняет, почему как бы эти три закона работотехники плохо покрывают все краевые случаи, да, и так далее. Но я имею в виду, что есть культура и долгое время культура и наука, мм, как бы моё
Speaker A
личное мнение, как это мнение автора может не совпадать со мнением редакции, но мне кажется, что в какой-то момент культура и наука расщепились в два мира, которые искусственно противопоставились друг другу, и от этого у нас много проблем, да? То есть, э, культурные
Speaker A
нарративы очень слабо связаны с научным знанием на текущий момент. И при том, что культурные нарративы тоже развивались за эти там 100 лет и среди прочего сильно развились в том, чтобы как бы завладевать вниманием людей, да? То есть как бы очевидно, что
Speaker A
за счёт ээ средств массовой информации сначала и интернета, потом культурные нарративы сейчас мм не знаю, стали намного более м захватывающими, что ли, да? То есть как бы люди уделяют им мно намного больше внимания.
Speaker A
как мне кажется. И при этом они сильно расщепились с наукой, да. И, э, там я люблю приводить пример начала XX века, когда Кандинский, узнав про расщепление атома, решил, что он не будет юристом, а станет художником, да, или там венские
Speaker A
кафе, в которых одновременно могли находиться, не знаю, там, м Мах, который был физиком, но при этом получил профессуру по философии, Фрейд, который был приват доцентом Венского университета, где читал лекции исключительно [откашливается] как бы за деньги и был суперпопулярным, к нему
Speaker A
приходила куча народу и там, не знаю, м какой-нибудь художник того же времени Климт, не знаю, да, и они гипотетически могли в одном месте разговаривать друг с другом не с позиции "Я всё знаю, а ты не знаешь ничего", а как бы на равных
Speaker A
горизонтально взаимодействовать и как-то продуктивно довольно обмениваться идеями. И кажется, что профессионализация науки с одной стороны и профессионализация искусства с другой, когда и там, и там победил такой вопиющий криншиализм, то, что в английском называется, я не знаю, как правильно по-русски кридензм, да, но то
Speaker A
есть чинопочитание, вот, наверное, хорошее русское слово, да, то есть как бы и в науке, и в искусстве в XX веке внезапно ачинопочитание сильно вышло вперёд. А, и это привело к некоторой сегрегации мыслителей, которые думают про науку, мыслителей, которые
Speaker A
думают про общество, мыслителей, которые думают про будущее. Они мало стали друг с другом взаимодействовать, и качество взаимодействия этого снизилось. И мне кажется, сейчас искусственный интеллект среди прочего м открывают возможность к такого рода интердисциплинарной работе.
Speaker A
Буквально потому, что не имея глубокого понимания одной области, тебе очень сложно даже выстроить общий язык с учёными из другой области. Ну вот у нас в двадцать втором году мы были одной из первых групп, а когда ещё в институте Максапланка работал в
Speaker A
Лейпциге, мы были одними из первых учёных, которые сделали мм решение, когда мы взяли большую языковую модель и обучили её работать с латынью, там, с древнегреческим. Ээ потому что на тот момент большие языковые модели там [откашливается] с древними мёртвыми языками работать не
Speaker A
умели. И мы там применили эту модельку к анализу текстов литературной подделки. То есть историки знали, что Плутарх не написал три документа, которые подписаны Плутархом, и им было интересно посмотреть, что искусственный интеллект, значит, может про такого рода тексты сказать. И я живо
Speaker A
помню, что мне было супер интересно в этом проекте участвовать. Мы работали вместе с профессором истории Лепицкского университета Шарлот Шуберт. Но примерно полгода, а то и, может быть, год у нас занял процесс формирования общего языка и общего понятийного поля. Потому что
Speaker A
то, как мы смотрим на проблемы компьютерной лингвистики, сильно-сильно отличается от того, как она на них смотрит, будучи профессиональным историком классической истории. И в этом смысле современные крутые большие языковые модели, они вот этот процесс сближения людей из разных областей, а, упрощают, потому что ты не
Speaker A
можешь стать глубоким специалистом в вне своей области специализации за там пару месяцев. Но если тебе интересно и вы работаете в кроссдициплинарном проекте, ты можешь достаточно глубоко прогрузиться в тему, в которой у тебя есть эксперт соавтор. И вы вот это панетийное поле
Speaker A
при помощи и можете сформировать быстрее и начать быстрее взаимодействовать. И я в этом смысле вижу большой потенциал того, что мне кажется вот это утопическая как это дистопическая видение будущего как миллиона плохих сценариев, оно во многом связано с тем, что каждый человек видит
Speaker A
очень узкую свою область и не видит то, как в широком смысле такогород технологии общества поменяют. Для того, чтобы широко на эту проблему посмотреть, одного человеческого мозга недостаточно, особенно в парадигме вот этого узкоспециализированного классического образования, в котором мы там последние
Speaker A
100 лет находились. И нам нужно сильно больше кроссдициплинарных взаимодействий для того, чтобы понимать лучше, как будущее может быть устроено, да? Ну, то есть там я могу привести какие-то примеры. Вот у нас есть проект Айоли, в котором мы работаем с Еврокомиссией для того, чтобы
Speaker A
формировать э всякие штуки вокруг этики использования искусственного интеллекта. То есть ээ разбираться с тем, как компании саморегулируют себя, которые с искусственным интеллектом работают. М и на основании этого давать некоторые рекомендации про то, как в Европе должны быть устроены регуляции вокруг
Speaker A
применения искусственного интеллекта. И там есть много довольно странных интересных проблем. Один из примеров интердисциплинарного взаимодействия, который мне кажется классным, мы среди прочего столкнулись с так называемой проблемой грифботов, то есть ботов, которые созданы заменить умершего человека. Значит, вот фаундеры такого рода компании говорят
Speaker A
следующее: "Когда вы теряете близкого человека, вам иногда сложно справиться с горем. И современные большие языковые модели позволяют нам на основании истории вашей коммуникации создать некоторую цифровую копию вашего родственника или вашего друга. И за счёт взаимодействия с этой цифровой копией вы
Speaker A
можете лучше справиться с болью утраты. Разные компании по-разному себя на этом рынке позиционируют, но так или иначе их много и, очевидно, будет ещё больше. И мы там долго бились с некоторой дилеммой, что, ну, с одной стороны, вроде как действительно есть
Speaker A
исследования, которые показывают, что, возможно, такое взаимодействие может иметь психотерапевтический эффект, а с другой стороны, понятно, что есть масса этических вопросов, вплоть до вопроса: ну, там, что делать, если человек с этим, э, искусственным интеллектом, там, не знаю, взаимодействует годами,
Speaker A
говорит, что он испытывает зависимость, не может позволить себе не пользоваться этой моделью, испытывает чувство вины, Не знаю, там, то есть начинается какое-то вот такое эмоциональное, может быть, психологически нездоровая привязанность к модели. А, и мы в какой-то момент обсуждали эту проблему с
Speaker A
другим участником нашего консорциума, который философ и пастор буквально католический. И в процессе этого разговора мы осознали, что, в общем, большинство мировых религий полагает, что период поминания ушедшего, он должен длиться от 30 до 50 дней. И это моя личная идея,
Speaker A
это не позиция проекта, но мне кажется, это пример классной идеи того, как может быть устроен этот рынок. В том смысле, что о'кей, ты хочешь делать деньги на такого рода боте, а у тебя он может безостановочно работать, не знаю, там 50
Speaker A
дней максимум, дальше он выключается и включается, не знаю, раз в год на годовщину. И это как бы с одной стороны полностью цифровая штука, а с другой стороны это цифровая штука, опирающаяся на человеческий ритуал, которому тысячи лет и который в
Speaker A
некотором смысле валидирован вот этим коллективным обществом, опытом человечества, как человечество эмпирически решило справляться с горем утраты. Да, и мне кажется, что чтобы до такого рода решений додумываться, и и что я хочу подчеркнуть, что я уверен, что можно построить бизнес-модель
Speaker A
совершенно нормальную, рабочую, которая не убьёт такого рода бизнесы и которая будет реально и пользователям помогать, и не будет нести такого рода риски, связанные с адикцией, как несёт бесконечное постоянное взаимодействие и которое при этом вот ээ интуитивно базируется на каком-то коллективном
Speaker A
человеческом опыте. И чтобы такую штуку придумать, ну вот буквально нужно, чтобы человек, который занимается искусственным интеллектом, в достаточно неформальной атмосфере, достаточно долго и глубоко про эту проблему поговорил с человеком, который занимается философией и религией. А в современном научном мире
Speaker A
такое происходит довольно редко, и нам такого надо больше. И чем больше такого взаимодействия будет, тем больше, мне кажется, будет некоторых нарративов, которые не радикальные взяли там, не знаю, пару-тройку идей, довели их до абсурда, получили дистопическую картину того, как всё будет плохо. а [фыркает]
Speaker A
которые как бы, ну, в некотором смысле более центристские и за счёт этого значительно более привлекательные, потому что любая более центристская идея, она обычно, э, звучит привлекательно для большего количества людей, да? То есть у тебя всегда есть сценарий будущего, которые каким-то
Speaker A
странным специфическим людям могут супернравиться, а большинству людей от таких сценариев не по себе. А чтобы получать вот такие центристские сценарии, которые куча людей нравятся и кажутся вполне разумными, адекватными, оптимистическими сценариями, мне кажется, в современном мире тебе нужно вот больше вот этого
Speaker A
кроссдициплинарного диалога. И возможно как раз ИИ нам в этом месте тоже будет помогать. Абстрактное мышление, а отчеловечивание.
Speaker A
Опять же, я сейчас немного специально играю на неких стереотипах, но когда мы говорим о сознании, мы до конца не знаем, что из себя представляет человеческое сознание. А, но вот абстрактное мышление, наверное, это то, что может нас к этому приближать. Что
Speaker A
происходит в этом смысле и что, ну, вот то, с чего ты начал, что за признаки абстрактного мышления демонстрирует Клод и можно ли в этом сейчас разобраться?
Speaker A
Ну, это недавняя совсем штука, которую они они назвали как бы там Gspace Jace, как это или пространство Якабиана.
Speaker A
Какое-то красивое такое название. А значит, у них, если если очень коротко, следующее следующие идеи, что они как бы сделали, а они сказали: "Вот смотрите, когда значит вы читаете какой-то текст, мы знаем, что у вас в голове активируется много нейронов, большинство
Speaker A
из которых вы не замечаете". А, то есть, ээ, грубо говоря, есть часть нейронной активности которая наше сознание регистрирует.
Speaker A
И это, грубо говоря, тот внутренний монолог, который в твоей голове звучит, когда ты, допустим, про себя думаешь какую-то мысль, а или картинку, которую ты представляешь в голове. Ам, а, а, есть э ам, какая-то часть, ээ, которую ты как
Speaker A
бы, а, не регистрируешь, но которая работает и которая работает как некоторый субстрат, из которого формируется то, что ты можешь заметить и что как бы появляется в твоём сознании. И, соответственно, чего они показали, это они показали, что в общем,
Speaker A
похожая механика, судя по всему, есть в Клоде. А, и соответственно грубо говоря, вот есть слово, которое, а, ну, как бы, э, грубо говоря, как бы вот есть то, что если спросить, допустим, Клод сделать какую-нибуд задачку и там включен
Speaker A
алгоритм мышления, то он, э, тебе может показать то, что называется по-английски reasoning traces, то есть он генерирует некоторый ответ, итериет его, то есть ты можешь посмотреть примерно, э, чего происходит. А, и значит на самом деле вот вот это
Speaker A
вербализованная часть, это не всё, что происходит в нейросети, а там есть много других активаций, и они показали, что мы можем прямо спросить нейросеть а про то, а что, значит, э типа в ней происходит.
Speaker A
И там есть какой-то кусок того, что она не вербализирует, но что она может понять, что она про это думала, просто это не сказала, да, грубо говоря, вот это вот эта разница. То есть, грубо говоря, они показали, что у
Speaker A
искусственной нейросети есть некоторая внутренняя иерархия, э, того, что нейронная, то есть активации самой нейронной сети, некоторых концептов, которые нейронная сеть может вербализовать, но не озвучивает, и концептов, которые она, собственно, озвучивает в виде reasoning traces и, наконец, концептов, которые они которые
Speaker A
она озвучивает уже как финальный ответ. То есть там есть некоторая сложная иерархия, похожая на то, что происходит в нашей голове, когда у нас есть куча активаций, которые связаны с вообще вне нашего сознания. Какое-то количество активаций, которые мы можем заметить,
Speaker A
если мы спросим там, не знаю, как ты думал, чтобы так ответить? И буквально там то, что происходит, когда мы рассуждаем вслух или рассуждаем про себя и слышим внутренний монолог и то, что мы озвучиваем собеседнику, да?
Speaker A
То есть получается, что это мысли и слова, то есть она выбирает, что тебе ответить. Ээ как мы иногда выбираем, что ответить в той или иной ситуации. Не всегда это значит, что мы на самом деле об этом думаем. На один уровень даже
Speaker A
глубже, что как бы это слова, мысли и как бы, грубо говоря, логика, ну там общая какая-то метарассуждение там или или какие-то концепции, которые мысли формируют. То есть, как бы, там есть несколько вот этих слоёв, а, которые модель приоритизирует для того,
Speaker A
чтобы в конечном итоге дать какой-то ответ. Да, твоя история, ну, не знаю, началась ли она с гражданской обороны, но я читал в одном из интервью, что ещё в 2016 ты в каком-то смысле предсказал появление чата GPT. Вы могли бы быть раньше,
Speaker A
просто у вас не хватило на это инвестиции. И как раз через поэзию Егора Летова вы не знаю, можно ли использовать Лёшей Тихоновым сделали проект нейронная оборона. Мы сделали какое-то количество стихов, которые генерировали нейронные сети. И это было в шестнадцатом году.
Speaker A
Нам тогда казалось, что это супер круто. И тогда я решил, что этим надо заниматься. И, собственно, тогда я пошёл, а, то есть я писал диссертацию в аспирантуре по финансовой математике. А когда столкнулся с этим со способностью искусственной нейроной
Speaker A
сети генерировать такие классные тексты, которые эмоционально людей вовлекали, я понял, что это супер интересно, я хочу этим заниматься. И это было связано с там с моим изменением профессиональной дорожки. А мы в какой-то момент с Лёшей искали денег на то, чтобы масштабировать
Speaker A
трансформер. То есть в какой-то момент в семнадцатом году вышла архитектура трансформер, на которой э в итоге собраны все большие языковые модели. И действительно, в какой-то момент у нас было м с Лёшей ощущение, что нужно найти где-то денег и отмасштабировать, и чем
Speaker A
больше будет модель, тем больше она будет уметь. Но я бы сказал, что как это, знаешь, ээ ну капитализм контактный вид спорта. Мы оказались недостаточно убедительны в том, как мы пичили или не дотянулись до правильных людей, которым надо было пичить. Так бывает. Это
Speaker A
нормально. Рыночек всё порешал и слава богу. Вы тогда обходили на том этапе ээ в чат GPT, условно говоря, потенциальный. То есть вы тогда его не было ещё. Тогда его не было ещё.
Speaker A
Вы могли бы быть первыми, если бы получилось, или нет? Ну если бы такбыварта выросли грибы, был бы не рот, да целый огород. Ну что ты?
Speaker A
Ну как бы а если бы как это, знаешь, а если бы вовремя продать мм ну то есть типа это, мне кажется странное утверждение, я бы не стал преувеличивать ээ эту штуку. Мне кажется, в тот момент, когда вышел трансформер, было какое-то
Speaker A
количество людей по всему миру, которые внимательно следили за генеративными моделями ещё со времён дотрансформерных.
Speaker A
Э, и в семнадцатом году многие из них, э, ну, многие, я имею в виду, наверное, там типа десятки, может быть, сотни людей в мире подумали, что, а, неплохо бы было эту штуку заскейлить и, может быть, если просто её сделать достаточно большой, то
Speaker A
она будет круто работать. Помимо того, чтобы подумать эту идею, нужно ещё найти деньги. А дальше, когда ты начинаешь это скелить, там оказывается кучу сложных инженерных задач, которые нужно решать от того, как получить данные до того, как менять архитектуру, до того, на чём, на каком
Speaker A
железе это всё обучать и так далее. И там в итоге до того результата, который был GPT3, который уже выложили в открытый доступ к большому количеству людей, ну вот первыми добежали ребята из Open AI, а за что им всем всё равно
Speaker A
большое спасибо, потому что они ээ сделали ту штуку, которая как бы миллиард, то есть, грубо говоря, когда мы зарелизили нейронную оборону, там, по-моему, 300.000 тысяч человек нас послушало в течение там первой недели или месяца, и какое-то, соответственно, количество русскоязычных людей а
Speaker A
прониклись, что вот, значит, генеративные нейронные сети могут стихи писать. Но это, ну, как бы понятное дело, что когда GPT3 выложили и миллиард человек там в какой-то момент попользовались этой штукой и поняли, что там, э, диалоговая модель может там и на
Speaker A
вопросы отвечать, и что-то пытаться планировать, и так далее, но это как бы буквально рынок поменяло и мир поменяло.
Speaker A
Так что супер круто, что ребята это сделали, потому что я, когда в шестнадцатом году искал постдока по этой тематике, я буквально думал, что, ну, наверное, мы сделаем какие-то модели типа вот, не знаю, современных больших языковых моделей, ну, типа в районе моей
Speaker A
моей пенсии. То есть я почти был, я был почти уверен, что как бы я увижу при жизни такого рода модели, но я был совершенно не уверен, что это можно будет сделать за 10 лет. То есть, при том, что я как бы сильно в это верил
Speaker A
и хотел этим заниматься, я каждый день, да, с этими системами взаимодействую сейчас по работе или для души каждый день искренне радуюсь, потому что я технооптимист, я, в принципе, люблю технологии и стараюсь, как это не терять способность удивляться тому, в каком
Speaker A
офигенном мире мы живём. Ну, в смысле, как бы, да, мой любимый монолог в этом смысле - это монолог Луиса Сикея про спутниковую связь на самолёте, когда он в какой-то момент там говорит про чувака, который рядом с ним сидит,
Speaker A
ругается на телефоне, что значит у него зависла там веб-страничка, и он говорит: "Чувак, мать твою, он вот прямо сейчас общается с открытым, мать его, космосом.
Speaker A
Что с тобой не так? Ты сидишь в огромной металлической конструкции, которая летит на высоте 10 км над Землёй. И вот такая вот маленькая железячка напрямую общается с космосом. А ты ещё чем-то недоволен? Вот я в этом смысле примерно
Speaker A
на этих же позициях нахожусь. И даже когда у меня там, не знаю, модель галлюцинирует или какую-то глупость отвечает, я всё равно смотрю на это и напоминаю себе, что как это 10 лет назад ничего такого и в помине не было. И это
Speaker A
супер круто, что мы так быстро добежали до того состояния моделей, который у нас есть сейчас.
Speaker A
А Европа вот уже в завершении. Я знаю, что тебя нужно отпускать, поэтому про Мистраль ты же консультировал. А Европа, ну у него есть своя.
Speaker A
Ты консультировал Мистраль. Это неправда. Я у меня есть свой стартап, он находится во Франции, он называется PlayS. И мы делаем инструменты для обработки данных, для обучения моделек, э, для дообучения маленьких моделек, для того, чтобы разворачивать модели и доучивать модели,
Speaker A
э, с открытыми весами. И мы сделали, к примеру, такую штуку, которая называется Common Corpus. Это самый большой, полностью открытый датасет для обучения языковых моделей, где как бы данные открыты и копирайт не нарушен. Если вы возьмёте эти данные и будете на эту
Speaker A
модельку учить, то вы точно не обидите какого-то автора тем, что неправильно использовали его интеллектуальный труд.
Speaker A
Вот. Но в Европе есть проблема. В Европе есть проблема. В Европе есть один игрок большой с большими моделями местраль. Он [фыркает] сильно отстаёт от китайцев и от американцев. А надо признать, что в Америке ситуация лучше с точки зрения
Speaker A
того, что у них есть два больших close source игрока, и у них недавно появилось несколько open source стартапов, которые там подают некоторые надежды. Но в целом, конечно, огромную роль сейчас играет Китай и китайские модели, потому что Китай систематически делает ставку
Speaker A
на демократизацию средств производства, э-э, и рассматривает, судя по всему, большие языковые модели как, собственно, средства производства XXI века. И, соответственно, почти все китайские компании делают ставку на то, что модель должна быть openсоourсная.
Speaker A
А, и это сильно двигает всю область, потому что предобучение большой модели - это очень много вычислительных мощностей и очень много данных. И большинство государственных лабораторий не могут себе позволить обучить такого рода модель с нуля. Но взяв китайца, можно
Speaker A
очень много понять про то, как эти системы работают и как правильно с ними работать, а как неправильно, за значительно меньшие вычислительные касты. Э то есть заплатив значительно меньше денег, можно получить кучу полезных результатов с точки зрения применения этих моделей и даже с точки
Speaker A
зрения идей дальнейшего развития. С одной стороны, а с другой стороны, ну вот такого рода открытую модель можно просто скачать и развернуть у себя на сервере, дообучив, не знаю, на своих данных под свои нужды в крайнем случае.
Speaker A
И это, к примеру, позволяет тебе быть уверенным, что, э, крупный, не знаю, там, игрок, какроopic или Open AI не будет учиться на твоих данных или там твои данные не утекут куда-то э к конкуренту и или просто в открытый
Speaker A
доступ. То есть, если ты как-то защищаешь своё ноу-хау, а или считаешь деньги за токены, потому что, значит, долгое время стоимость больших языковых моделей от Open Anтропика была сильно ниже рынка, то есть они, как полагается, в силиконовом долени гнались за
Speaker A
количеством пользователей, а не с доходом от каждого пользователя, потому что они пытались как бы поменять поведенческий паттерн, да, то есть, грубо говоря, как компания Uber, когда запускалась эм, работала себе в убыток долгое время, чтобы приучить людей по всему миру, что можно заказывать еду в
Speaker A
доставке или заказывать такси по кнопке. А потом, когда она захватила достаточно большую долю рынка, она стала поднимать цены и делать свою бизнес-модель более прибыльной, а чтобы она начала возвращать деньги инвесторам. Вот примерно так же действуют большие американские игроки. Они повышают
Speaker A
стоимость токена и становятся как бы они всё ещё не прибыльные, но пытаются двигаться в этом направлении. И особенно учитывая, что они в этом году собрались все ну или по крайней мере многие собрались на IPO, после IPO, когда они
Speaker A
станут публичными компаниями и им нужно будет регулярно публиковать отчётность того, сколько они заработали, а сколько сожгли, мм, скорее всего, вот эта потребность быть прибыльными возрастёт.
Speaker A
Соответственно, я ожидаю, что и стоимость такого рода продуктов возрастёт. И это, в свою очередь, тоже подтолкнёт большие компании, а, аккуратнее считать бюджеты, которые они тратят на искусственный интеллект, и переходить, к примеру, на открытые модели. не знаю, китайские или, дай бог,
Speaker A
будут ещё, не знаю, европейские, африканские какие-нибудь латино-американские, а которые будут дешевле и которые можно дообучать под свой сценарий и использовать локально на своих мощностях за меньшую стоимость токена.
Speaker A
Ну что ж, будем за этим следить. Спасибо за этот разговор и до следующей встречи.
Speaker A
Всего доброго. Спасибо большое. M.
Topics:искусственный интеллектнейронные сетиКолмогоровАрнольдМозерсложные системыэмерджентностьобучение ИИэмоциисознание
![Talking Tom и другие проекты Outfit7 [Удаллёное видео] … — Transcript](https://i.ytimg.com/vi/sZ8QPJuIHoI/maxresdefault.jpg)
