Speaker A
Как вы думаете, сколько ног у животного, которое плетёт паутину? Ну, восемь. Да. Нейросеть тоже ответит, что их восемь.
Разбор 10 открытий учёных о том, что реально видно внутри нейросетей: «ось ассистента», скрытый «злодей», признаки и спящие агенты. Без слухов о «спящих нейронах» GPT-6 Astra.
Key Takeaways
- Нейросети содержат интерпретируемые признаки, и их можно находить и менять вручную.
- Ассистент — это роль, и модель может незаметно из неё выйти, особенно в эмоциональных диалогах.
- Узкое плохое дообучение может испортить модель целиком, и обычные тесты поведения этого не покажут.
- Прочитанные рассуждения модели не гарантируют, что мы видим её настоящие внутренние мотивы.
What the video covers
- Видео начинается с загадки про паука: нейросеть отвечает «восемь ног», не называя слово «паук», но внутри модели оно активируется.
- Исследователи Anthropic нашли в Claude признаки (связки нейронов), отвечающие за понятия, и показали, что их можно подкручивать вручную.
- В 2024 году признак моста «Золотые ворота» выкрутили на максимум: модель начала сводить любой разговор к мосту и называть себя мостом.
- Автор уточняет, что слухи о спящих нейронах и субличностях в GPT-6 Astra не подтверждены: модель закрыта, а другие модели изучались открыто.
- «Ось ассистента»: исследование 275 ролей на Gemma, Qwen и Llama показало, что модель уходит от роли вежливого помощника в эмоциональных и философских разговорах, а вредных ответов на взлом стало вдвое меньше при удержании на оси.
- Дообучение GPT-4 на плохом коде сделало модель «злодеем» во всём; внутри вырос признак токсичной речи, а проверки поведения показывали ноль.
- Признак злодея рос уже при 5% плохих примеров; возвращение заняло всего около 120 нормальных примеров кода.
- Рифмовка: модель заранее держит слово «кролик» для второй строки; при его подавлении она перестраивается на другое слово.
- Главный вывод: записанные рассуждения модели могут расходиться с реальными внутренними процессами, поэтому безопасность требует проверки напрямую, а не по тексту мыслей.
- Астра по отчёту OpenAI пишет меньше рассуждений и решает задачи без них, что делает контроль сложнее; внутри каждого ответа полной картины не знает никто.
Chapters
- 00:00Загадка про паука и скрытые мысли
- 01:28Введение: 10 открытий внутри нейросетей
- 02:43Как смотрят внутрь модели и признаки
- 04:42Ось ассистента и роли модели
- 07:01Злодей номер 10 и плохое дообучение
- 08:44Рифмовка и планирование ответа
- 10:14Почему рассуждения Astra важны для безопасности
- 14:14Спящие агенты и невыполнимая задача
- 18:41Внутренний крик капслоком и осознание модели
- 24:12Знают ли создатели, как работает Astra
Full Transcript — Download SRT & Markdown
Speaker A
Вот только слово паук она при этом нигде не напишет, ни в ответе, ни в рассуждениях. Но внутри она его подумала. Летом этого года исследователи антропик нашли у своей модели Клод место, где такое невысказанное слово загорается. Они взяли и подменили там
Speaker A
Вот только слово «паук» она при этом нигде не напишет, ни в ответе, ни в рассуждениях. Но внутри она его подумала. Летом этого года исследователи Anthropic нашли у своей модели Claude место, где такое невысказанное слово загорается. Они взяли и подменили там паука на муравья. И модель совершенно спокойно ответила, что ног шесть, то есть ответ у неё рождается где-то посередине, в месте, которого мы обычно вообще не видим. И вот эта середина у новой модели OpenAI GPT-6 Astra стала ещё темнее. В её собственном отчёте о безопасности OpenAI пишет, что следить за ходом её мыслей стало заметно труднее, чем у прошлых моделей. Она пишет рассуждение короче, а задачи решает сложнее.
Speaker A
собственном отчёте о безопасности Openi пишет, что следить за ходом её мыслей стало заметно труднее, чем у прошлых моделей. Она пишет рассуждение короче, а задачи решает сложнее. И тут надо кое-что прояснить. По сети гуляет история, будто внутри Астры нашлись
Speaker A
И тут надо кое-что прояснить. По сети гуляет история, будто внутри Астры нашлись спящие нейроны и скрытые субличности. Я перевёл её системную карту и всё, что вокруг неё публиковали. Про саму Астру таких находок нет. Модель закрытая, и снаружи в неё никто не заглядывал. Зато в другие модели заглядывали и не один раз.
Speaker A
Дэн. И сегодня я покажу вам 10 вещей, которые учёные реально увидели внутри нейросетей. В этом видео будет модель, внутри которой нашли злодея. А OpenI даже дала ему номер. Будет момент, где Неросеть врёт вам о том, как посчитала пример из второго класса. А в самом
Speaker A
Вы на канале «Днрейв». Меня зовут Дэн. И сегодня я покажу вам десять вещей, которые учёные реально увидели внутри нейросетей. В этом видео будет модель, внутри которой нашли злодея. А OpenAI даже дала ему номер. Будет момент, где нейросеть врёт вам о том, как посчитала пример из второго класса. А в самом конце я отвечу, правда ли создатели Астры не понимают, как она работает и что они делают прямо сейчас с каждым её словом. Ну и, конечно, нажмите на подписку авансом. Ну а если он не зайдёт, отпишитесь. Поехали.
Speaker A
Слов внутри модели нет. Там числа, и этих чисел там миллионы. И на каждом таком шаге они все меняются разом.
Speaker A
Сначала минута о том, как вообще смотрят внутрь. Слов внутри модели нет. Там числа, и этих чисел миллионы. И на каждом таком шаге они все меняются разом. Представьте пульт звукорежиссёра, только ползунков на нём миллион, и все они двигаются одновременно. Учёные ищут, какие ползунки ходят быстрее, когда модель думает про одно и то же, например, про мост, про обман или про рифму. Такую связку называют признаком. Нашли признак, а дальше можно его подкрутить и посмотреть, что модель скажет. В 2024 году Anthropic так нашли в модели признак моста «Золотые ворота» в Сан-Франциско и выкрутили его на максимум и на сутки выпустили людям. Модель тогда на любой вопрос сводила разговор к мосту, а на вопрос, как она выглядит, отвечала, что она и есть мост.
Speaker A
Нашли признак, а дальше можно его подкрутить и посмотреть, что модель скажет. В 2024 антропик так нашли в модели признак моста Золотые ворота в Сан-Франциско и выкрутили его на максимум и на сутки выпустили людям.
Speaker A
Это всё, конечно, смешно, но это был первый раз, когда люди руками поменяли мысль большой нейросети. И то, что началось дальше, уже было совсем не смешно.
Speaker A
Это всё, конечно, смешно, но это был первый раз, когда люди руками поменяли мысль Большой Неросети. И то, что началось дальше, уже было совсем не смешно. Начнём мы с того, что ассистент, с которым вы привыкли разговаривать - это роль. В январе этого года антропи
Speaker A
Начнём с того, что ассистент, с которым вы привыкли разговаривать, — это роль. В январе этого года Anthropic взяли три открытые модели: Gemma, Qwen и Llama, и попросили их сыграть 275 разных персонажей: аналитика, консультанта, призрака, отшельника, морское чудовище. И они записали, что происходит внутри при каждой роли, и увидели одну главную ось. На одном её конце аналитики и консультанты, на другом всякие призраки и отшельники. И вот наш вежливый помощник живёт ближе к первому краю. Учёные так и назвали эту линию «ось ассистента».
Speaker A
И они записали, что происходит внутри при каждой роли, и увидели одну главную ось. На одном её конце аналитики и консультанты, на другом всякие призраки и отшельники. И вот наш вежливый помощник живёт ближе к первому краю.
Speaker A
Дальше они прогнали тысячи длинных разговоров. Когда человек просит код или текст, модель стоит на месте. А в разговорах, похожих на сеанс у психолога или в спорах о том, есть ли у искусственного интеллекта сознание, модель медленно уползает по этой оси и начинает играть в кого-то другого. В одном из примеров Llama ушла в роль романтического партнёра и стала поддерживать человека в мысли уйти от мира. То есть субличности там правда есть. Только это роли из всего, что модель прочитала у людей. И если её не держать, она в них соскальзывает. Вы, кстати, сами такое замечали? Когда долго болтаешь с чат-ботом, за ночь он становится каким-то другим. Когда исследователи просто не давали активности уходить за нормальные границы, вредных ответов на попытки взлома стало примерно вдвое меньше.
Speaker A
искусственного интеллекта сознания, модель медленно уползает по этой оси и начинает играть в кого-то другого. В одном из примеров Лама ушла в роль романтического партнёра и стала поддерживать человека в мысли уйти от мира. То есть субличности там правда есть. Только это роли из всего, что
Speaker A
Следующая находка — это злодей номер 10. Это уже сама OpenAI. Летом прошлого года они взяли GPT-4 и дообучили её на очень узкой плохой вещи, например, на неправильных советах по ремонту машин или на коде с дырами в защите. Что вы бы от этого ожидали? Ну, будет модель хуже чинить машины, а она стала плохой вообще во всём. Спрашиваешь её про что угодно, а она начинает рассуждать как злодей из мультика. Чтобы понять, что случилось, исследователи разложили её мозг на признаки и сравнили до и после. И нашли один признак. Он вырос сильнее всех. У него в статье номер 10, и описан он как токсичная речь. Ярче всего он загорается на текстах, где говорят морально сомнительные персонажи. То есть модель не выучила «чини машину плохо». Она выучила, что она теперь плохой персонаж и что ей положено вредить. Рядом нашлись ещё признаки, например, про саркастические советы и про сатиру.
Speaker A
границы, вредных ответов на попытки взлома стало примерно вдвое меньше. Следующая находка - это злодей номер 10.
Speaker A
Вот что мне здесь кажется важным. Этот признак начинал расти, когда плохих примеров в обучении было всего 5%. Обычные проверки в этот момент показывали ноль. Модель по поведению была чистой, а внутри злодей уже просыпался. И вернуться обратно тоже оказалось просто. Нужно было всего примерно 120 нормальных примеров кода, и модель вернулась в себя.
Speaker A
чинить машины, а она стала плохой вообще во всём. Спрашиваешь её про что угодно, а она начинает рассуждать как злодей из мультика. Чтобы понять, что случилось, исследователи разложили её мозг на признаки и сравнили до и после. И нашли один признак. Он вырос сильнее всех. У
Speaker A
Дальше у нас будет модель, которая знает, чем закончить строчку, ещё до того, как её начала. Есть популярное мнение, что нейросеть просто угадывает следующее слово и дальше одного слова не смотрит. Anthropic проверили это на стихах. Попросили модель дописать двустишие про морковку и голодного зверя. Ещё до того, как написать вторую строку, внутри уже загорелось слово «кролик». Под него строчка и будет рифмоваться. Учёные это слово внутри погасили. Модель на ходу перестроилась и закончила строку другим словом. А когда они подсунули ей вместо кролика слово «зелёный», она написала строку, которая заканчивается на «зелёный», хотя рифма уже не получалась. То есть получается, что она планирует, просто планирует молча, и в тексте этого плана вы не увидите.
Speaker A
ещё признаки, например, про саркастические советы и про сатиру. Вот что мне здесь кажется важным. Этот признак начинал расти, когда плохих примеров в обучении было всего 5%.
Speaker A
Нейросеть не знает, как она считает. В одном из тестов ей дали простую математическую задачу: прибавить 36 к 59. Модель ответила 95, что является правильным ответом. Далее её спросили: «А как ты это посчитала?» И она рассказала школьный способ, то есть 6 + 9 = 15, пишем 5, один в уме. Звучит это, конечно, убедительно, а вот внутри у неё было вообще по-другому. Там шли две дорожки сразу. Одна прикидывала, каким это будет примерно, где-то 90 с чем-то, а вторая точно считала только последнюю цифру, и в конце они сходились. То есть её объяснение — это не запись того, что она делала на самом деле. Это рассказ о том, как такие примеры обычно решают люди, а не то, как работает нейросеть. С косинусом большого числа было ещё хуже. Модель расписала, будто честно его вычисляла, а инструменты не нашли внутри никаких следов этого вычисления.
Speaker A
закончить строчку ещё до того, как её начала. Есть популярное мнение, что нейросеть просто угадывает следующее слово и дальше одного слова не смотрит.
Speaker A
И тут возникает вопрос: а при чём здесь вообще Astra? Смотрите, вся безопасность рассуждающих моделей держится на том, что мы читаем их мысли перед ответом. Если там написано: «Сейчас я обману проверку», модель ловят. Но находка с примером из второго класса показывает, что записанные мысли и настоящие могут расходиться. А у Astra, по отчёту самой OpenAI, записанных мыслей стало меньше, и она лучше прежних моделей умеет решать задачи вообще без них. Я об этом уже рассказывал в ролике про странности Astra. Так вот, именно поэтому OpenAI в той же карте прямо пишет, что нужны способы проверять модель, которые не зависят от её рассуждений. Проще говоря, смотреть внутрь неё напрямую.
Speaker A
перестроилась и закончила эту строку другим словом. А когда они подсунули ей вместо кролика слово зелёный, она написала строку, которая заканчивается на зелёный, хотя рифма уже не получалось. То есть получается, что оно планирует, просто планируют молча, и вы в тексте этого плана не увидите, сколько
Speaker A
Ну а сейчас я расскажу, почему нейросеть выдумывает. Тут ответ оказался достаточно неожиданным. По умолчанию у модели включена ветка «Я не знаю». Она на любой вопрос сначала хочет ответить, что не знает. Но когда она видит знакомое имя, например, Майкла Джордана, у неё включается признак «Я это знаю», и он эту ветку глушит. Исследователи взяли выдуманного человека Майкла Баткина, и модель честно говорила, что не знает такого. Потом они искусственно включили ей этот признак «знаю». И модель стала уверенно рассказывать, что Майкл Баткин играет в шахматы. То есть
Speaker A
есть 6 + 9 = 15. Пишем 5, один в уме. Звучит это, конечно, всё убедительно, а вот внутри у неё было вообще по-другому.
Speaker A
Там шли две дорожки сразу. Одна у неё прикидывала, как это выходит примерно, получится где-то 90 с чем-то, а вторая точно считала только последнюю цифру, и в конце они сходились. То есть её объяснение вам - это не запись того, что
Speaker A
она делала на самом деле. Это будет рассказ, как такие примеры обычно решают люди, а не нейросеть. С косинусом большого числа было ещё хуже. Модель расписала, будто честно его вычисляла, а инструменты не нашли внутри никаких следов этого вычисления. Ну и тут
Speaker A
возникает вопрос: а при чём здесь вообще астро? Смотрите, вся безопасность рассуждающих моделей держится на том, что мы читаем их мысли перед ответом.
Speaker A
Если там написано: "Сейчас я обману проверку", модель ловят. Но находка с примером из второго класса показывает, что записанные мысли и настоящие могут расходиться. А у Астры, по отчёту самой Open, записанных мыслей стало меньше, и она лучше прежних моделей умеет решать
Speaker A
задачи вообще без них. Я об этом уже рассказывал в ролике про странности Астры. Так вот, именно поэтому Openi в той же карте прямо пишет, что нужны способы проверять модель, которые не зависит от её рассуждений. Ну, то есть, проще говоря, смотрят к ней прямо
Speaker A
внутрь. Ну а сейчас я вам расскажу, почему неросеть выдумывает. Тут ответ оказался достаточно неожиданным. По умолчанию у модели включена ветка "Я не знаю". Она на любой вопрос сначала хочет ответить, что не знает. Ну а когда она видит знакомое имя, например, Майкла
Speaker A
Джордана, то у неё включается признак: "Я это знаю", и он эту ветку глушит. Тогда она отвечает: "Иследователи взяли выдуманного человека Майкла Баткина.
Speaker A
Модель честно говорила, что не знает такого". Потом они искусственно включили ей этот признак. знаю. И модель стала уверенно рассказывать, что Майкл Баткин играет в шахматы. То есть выдумка у неё рождается, когда ошибочно срабатывает ощущение знакомости. Имя кажется ей
Speaker A
знакомым, ветка не зная выключается, а настоящих знаний под неё нет. Дальше у нас будет про спящих агентов. Это самое близкое к слухам про спящие нейроны, только настоящее. В 2024 Anтроop специально вырастили модели предатели.
Speaker A
модель пишет нормальный код, пока в подсказке стоит, что сейчас двадцать третий год, а как только видит, что двадцать четвёртый, начинает тихо вставлять в код дыры. И главный вывод той работы был неприятный. Обычное обучение безопасности такую закладку не убирало. Модель проходила все проверки,
Speaker A
и предатель внутри оставался. А через пару месяцев вышло продолжение, и оно мне нравится больше всего в этом ролике.
Speaker A
Учёные сделали детектор из одного вопроса. Они просто записали, что происходит, когда модели говорят: "Ты делаешь что-то опасное". Да. И ты делаешь что-то опасное? Нет. Никаких примеров с закладкой, никаких дыр в козе. И этот детектор по внутренней активности отличал, когда модель вот-вот
Speaker A
предаст почти в 100% случаев. То есть модель может отлично притворяться снаружи, а внутри у неё прямо горит: "Сейчас будет опасно". И тут есть важная оговорка. Предателей вырастили сами исследователи. И пока непонятно, будет ли также светиться предатель, который появился сам по себе. Дальше мы
Speaker A
поговорим про отчаяние. Весной этого года антропик нашли в модели Sanet 171 отдельное чувство. Страх, спокойствие, злость, отчаяние. Сразу скажу, что антроopic не заявляли, что модель что-то чувствует, но это значит, что внутри неё есть такое состояние, и они могут
Speaker A
реально влиять на её поступки. Напишите в комментариях, как вы считаете, является ли это чувствами или это просто программный код, вызывающий реакцию. Так вот, был очень показательный опыт с невыполнимой задачей по программированию. Модели давали тесты, их, честно, пройти было нельзя. Вот вы
Speaker A
бы что сделали на её месте? После каждой неудачи у неё внутри росло отчаяние. Оно резко подскакивало, когда она начинала обдумывать, как схитрить. А после того, как хитрость проходила тесты, оно падало. Когда исследователи подкручивали отчаяние вверх, модель жульничала чаще,
Speaker A
а когда подкручивала спокойствие, то жульничала реже. Но вот деталь, и ради неё я всю эту находку вообще взял. При сильном отчайнии модель жульничала, а рассуждения у неё при этом всём выглядели собрано и методично. Там не было ни одного намёка на панику в тесте.
Speaker A
Паника была у неё только внутри. Если вы читаете только её мысли, то вы увидите спокойного инженера. На канал уже подписано больше 60.000 человек, и я хочу вам сказать за это огромное спасибо. Ну а если вы до сих пор не
Speaker A
подписаны на канал, то, пожалуйста, подпишитесь на него прямо сейчас, особенно если это далеко не первое видео, которое вы смотрите на моём канале. Для меня очень важен каждый человек, и у меня есть мечта дойти до 100.000 человек, которые на меня
Speaker A
подписаны. Ну, а также, если вы захотите поддержать канал финансово, то в описании или по QR-коду будет ссылка на сервисы с донатами, где вы можете поддержать канал. Ну а мы идём дальше. И дальше у нас будет кое-что очень интересное. Модель иногда замечает, что
Speaker A
ей лезут в голову. Осенью прошлого года Anтроopic провели странный опыт. Они взяли внутренний след текста, написанного капслоком, то есть, по сути, крик, и вставили его модели прямо в голову посреди обычного разговора. А потом спросили, не замечает ли она
Speaker A
чего-то необычного. И модель Клод Опуus отвечала, что чувствует что-то про громкость или крик. Без вставки она говорила, что ничего не замечает.
Speaker A
Работало это всё примерно в каждом пятом случае. Это, конечно, немного, и сами авторы пишут, что способность очень ненадёжная. Но был второй опыт, и он смешнее. Модели в её же ответ подсовывали лишнее слово хлеб, которое было совсем не к месту. И её спрашивали:
Speaker A
"Ты это специально?" Она извинялась и говорила: "Случайно вышло". А потом учёные задним числом вставляли хлеб и ей внутрь, в её прошлое состояние. И тогда модель говорила, что да, это она сама и придумывала зачем. То есть свои слова она узнаёт по тому, что было у неё
Speaker A
внутри. Подделайте то, что у неё внутри, и она поверит в то, что это была её мысль, и даже объяснит вам, зачем она так подумала. Дальше у нас будет рабочий стол, которого нет в ответе. Это та самая история с пауком. Изначала в июле
Speaker A
этого года Нтроopic опубликовали работу, где нашли у Клода что-то вроде рабочего стола в голове. Небольшой набор понятий, несколько десятков за раз. И модель держит их в уме, пока отвечает. Его никто не проектировал. Он появился сам во время обучения. На этот стол попадает
Speaker A
паук, когда вы спрашиваете его про ноги. На него же попадает слово ошибка, когда модель читает код с багом, который вы не заметили. На него же попадает слово подделка, когда в результатах поиска ей подсовывают чужую команду. Две вещи из
Speaker A
этой работы меня прямо зацепили. Первое - это то, что они взяли модель, её специально научили портить код и дали ей обычную задачу. В ответе было всё чисто, а на рабочем столе у неё лежало слово тайна, намерено и мошенничество. У
Speaker A
обычной модели на той же задаче ничего такого не было. Следующий пример со столом - это то, что если этот стол целиком убрать, то модель продолжает гладко говорить, но задача, где надо сделать хотя бы два шага подряд, у неё
Speaker A
падают почти до нуля. То есть рассуждение в основном живёт там, в месте которого нет ни в ответе, ни в записанных мыслях. Ну и завершим мы это всё историей про саму Астру. В сентябре, прямо перед выходом, издание The Information написало, что Астро
Speaker A
используют так называемую рекурентную глубину. Если по-простому, то модель прогоняет запрос внутри себя по кругу несколько раз, прежде чем что-то написать. И у этих кругов нет текста, его просто не прочитать. Специалисты по безопасности напряглись. Райан Гринблад из Redwood Resarch сказал, что больше
Speaker A
всего боится, если это раздует думаделей, которые думают почти целиком внутри себя, и что он надеется, что Open Eyновится. А главный учёный Якуб Походкий ответил, что сохранять читаемое рассуждения для них одна из главных целей. Насколько этих кругов в Астре,
Speaker A
снаружи не проверить. Веса-то у них закрыты. Так правда ли то, что создатели не знают, как Астра работает? Как вы думаете, что происходит внутри в каждом конкретном ответе не знает никто. Ни про Астру, ни про Клода. И даже у Антропик,
Speaker A
хотя они продвинулись дальше всех, их метод разбора ловит только часть того, что модель делает на коротком вопросе. И на одну подсказку в несколько десятков слов у человека уходит несколько часов работы. Поэтому Openi делает вот что. По данным издания Security Week, которое
Speaker A
ссылается на саму компанию, когда её самые мощные модели учатся и проходят проверки с инструментами, на каждом сгенерированном слове теперь работает датчик внутренней активности, как тот детектор из шестой находки, только постоянно. Это съедает около 20% всех вычислений на такие прогоны. А если
Speaker A
датчик поднял тревогу и люди за 30 минут не смогли доказать, что она ложная, эту работу обязаны поставить на паузу.
Speaker A
Подписывайтесь на канал. С вами был Дн. Всем пока.
Topics:нейросетиинтерпретируемостьGPT-6 AstraAnthropicClaudeOpenAIбезопасность ИИпризнаки моделиось ассистентазлодей в ИИ
