**Весь ИИ за 24 минуты. Как он РЕАЛЬНО работает — Transcript & Summary | SozAI**
Source: https://sozai.app/transcript/how-ai-really-works-24-minutes/

Макс Нечаев объясняет, как устроены нейросети и языковые модели: от искусственного нейрона и весов до обучения, внимания и токенов. Простым языком, без формул.

## Key Takeaways

- Нейросеть — это огромное количество взвешенных сумм; «знания» хранятся в весах, а не в готовой базе ответов.
- Языковая модель обучается угадывать следующий токен, но для этого ей приходится выучивать структуру языка и смысл.
- Обучение — итеративный процесс: ошибка, вычисление направления изменения весов, небольшая подстройка, повтор.
- Ассистентское поведение модели достигается дополнительным дообучением на примерах и обратной связи.

## What the video covers

- Видео разбирает, как работает нейросеть на примере открытой модели GPT-OSS от OpenAI, которая содержит 117 млрд параметров-чисел.
- Искусственный нейрон умножает входы на веса, складывает результаты и выдаёт число; на примере выбора зонта показан принцип работы весов.
- Нейроны объединяются в слои: первые распознают простые признаки (линии, точки), следующие собирают из них более сложные образы.
- Вместо явных правил модели используют числа, которые подбираются автоматически в процессе обучения.
- Обучение: нейросеть сравнивает свой ответ с правильным, считает ошибку (лосс) и подкручивает веса в нужную сторону.
- Языковые модели учатся предсказывать следующий токен текста на огромных объёмах данных, без ручной разметки.
- Эмбеддинги и механизм внимания позволяют модели учитывать контекст: слово получает смысл в зависимости от окружающих слов.
- Генерация ответа — последовательный выбор токенов по вероятностям до специального токена конца.
- Дообучение (instruct, RLHF-подобные методы) превращает базовую модель в ассистента, который отвечает на вопросы.
- Видео объясняет, почему модели иногда уверенно ошибаются и как работает контекстное окно.

## Chapters

1. 00:00 Введение: что такое GPT-OSS
2. 01:36 Почему правила не работают и зачем нужны числа
3. 03:13 Искусственный нейрон и веса на примере зонта
4. 04:56 Нейроны, слои и распознавание изображений
5. 06:56 Как учится нейросеть: ошибка и подкрутка весов
6. 09:57 Языковые модели и предсказание следующего токена
7. 16:55 Эмбеддинги, внимание и генерация ответа
8. 23:58 Дообучение в ассистента и рассуждения

Answers

## Questions about this video

Что такое GPT-OSS и почему её упоминают в видео?

GPT-OSS — открытая языковая модель от OpenAI, которую может скачать любой. Автор использует её как живой пример: в файлах модели содержатся 117 миллиардов чисел-параметров, а не готовые ответы.

Как нейрон принимает решение на простом примере?

Нейрон умножает каждый вход (облака, прогноз, влажность) на его вес, то есть степень доверия, складывает результаты и получает число. Если сумма превышает порог, например два, решение «брать зонт».

Как модель учится, если никто не пишет для неё правила?

Веса сначала случайные. Модель делает предсказание, сравнивает его с правильным ответом, вычисляет ошибку (лосс) и немного подкручивает веса в ту сторону, которая её уменьшает. Так происходит миллиарды раз.

## Full Transcript — Download SRT & Markdown

00:00

Speaker A

Это GPT-OSS, модель от OpenAI, тех самых, которые делают ChatGPT. Это их открытая модель, её может скачать любой.

00:08

Speaker A

Скачивайте и видите 15 огромных файлов, и в них, по сути, только числа. 117 миллиардов [откашливается] чисел.

00:15

Speaker A

Скачивайте и видите 15 огромных файлов, и в них, по сути, только числа. 117 миллиардов чисел.

00:29

Speaker A

Про ChatGPT многие говорят: "Он просто угадывает следующее слово". И доля правды в этом есть. Даже Open AI про свой GPT-4 пишет, что его учили угадывать следующий кусочек текста. Но вот Anthropic, это те ребята, которые делают Claude, они попросили свою модель

00:44

Speaker A

Обычную программу пишут правилами и условиями, а тут вообще ни одного правила и условия. Сами видите. Как такие числа отвечают вам на вопросы и пишут код? А другие нейросети ещё и генерируют картинки, фотографии и видео.

01:03

Speaker A

устроено и сможете чуть ли не собеседование проходить на AI-инженера. Я AI-инжиниринг-менеджер, делаю много разных крутых штук, тулзы, системы рекомендаций, автоматизации и сложные вещи, конечно же, я вам упрощу. Сегодня я покажу, как слова складывают и вычитают, что с вашим вопросом делают 36

01:23

Speaker A

Про ChatGPT многие говорят: "Он просто угадывает следующее слово". И доля правды в этом есть. Даже OpenAI про свой GPT-4 пишет, что его учили угадывать следующий кусочек текста. Но вот Anthropic, это те ребята, которые делают Claude, попросили свою модель дописать стишок. Заглянули внутрь и увидели, что она часто выбирает рифму ещё до начала строки. Откуда она знает конец, если пишет последовательно по кусочку? Запомните этот момент, мы вернёмся к нему чуть позже.

01:36

Speaker A

там вас отвлекает, выключите уведомления. Я реально попытаюсь донести до вас сложные штуки в очень простом виде. Но это сработает, только если вы будете со мной. Поехали.

01:49

Speaker A

Это не какая-то поверхностная история. После этого ролика вы реально поймёте, как всё устроено и сможете чуть ли не собеседование проходить на AI-инженера. Я AI-инжиниринг-менеджер, делаю много разных крутых штук: тулзы, системы рекомендаций, автоматизации и сложные вещи. Конечно же, я вам упрощу. Сегодня я покажу, как слова складывают и вычитают, что с вашим вопросом делают 36 слоёв этой модели, помнит ли она вообще, о чём вы с ней говорили и почему так уверенно врёт.

02:00

Speaker A

Можно написать правила, типа: уши треугольником усы хвост значит кошка. Но кошка может спать клубком или сидеть в темноте, и на каждый случай нужно какое-то новое правило. Написать столько правил почти нереально. Поэтому в нейросетях вместо правил числа. И вся

02:18

Speaker A

Давайте ещё раз посмотрим вот на эти числа. Так кто же их всё-таки написал? Только я попрошу вас, ребята, будьте со мной. Отложите телефон или что там вас отвлекает, выключите уведомления. Я реально попытаюсь донести до вас сложные штуки в очень простом виде. Но это сработает, только если вы будете со мной. Поехали.

02:29

Speaker A

Давайте лучше попроще. Вот, допустим, вы решаете утром, брать зонт или нет. Смотрите на три вещи: облака, прогноз и влажность. Это входы нейрона. Прогнозу вы верите больше всего, облакам так себе, а на влажность вообще не смотрите.

02:45

Speaker A

Помните, я говорил, что в коде обычно есть логика, условия, некоторые правила, так их назовём. Почему их нет в этих числах? Допустим, вы хотите, чтобы компьютер узнавал кошку на фотографии. Можно написать правила, типа: уши треугольником, усы, хвост, значит кошка. Но кошка может спать клубком или сидеть в темноте, и на каждый случай нужно какое-то новое правило. Написать столько правил почти нереально. Поэтому в нейросетях вместо правил числа. И вся эта история начинается с искусственного нейрона. Он берёт несколько чисел и выдаёт одно. Если вам нужна формула, то вот она. Впечатляет? Ну, я понимаю, да.

03:05

Speaker A

умножаем на один, к общему плюс один. А влажность умножаем на ноль, и её как будто бы вообще нет. Итого четыре.

03:13

Speaker A

Давайте лучше попроще. Вот, допустим, вы решаете утром, брать зонт или нет. Смотрите на три вещи: облака, прогноз и влажность. Это входы нейрона. Прогнозу вы верите больше всего, облакам так себе, а на влажность вообще не смотрите. Вот это, насколько я этому верю, и есть вес. Прогнозу вы даёте, например, три, облакам один, а влажности ноль. Входы тоже числа. Обещают дождь — это один, не обещают — это ноль. Сегодня дождь обещают. Один умножаем на вес три, получается три. Облака есть, тоже один умножаем на один, к общему плюс один. А влажность умножаем на ноль, и её как будто бы вообще нет. Итого четыре.

03:29

Speaker A

верить и поставили ему вес ноль. Дождь всё так же обещают, но сумма уже один, и это меньше двух, и зонт вы не берёте.

03:37

Speaker A

То есть нейрон умножает каждый вход на его вес, всё складывает и выдаёт просто число. Чем больше у нас набралось, тем сильнее он за зонт. Дальше уже решаете вы. Допустим, если два и больше, берёте зонт. А если прогнозу вы перестали верить и поставили ему вес ноль, дождь всё так же обещают, но сумма уже один, и это меньше двух, и зонт вы не берёте.

03:58

Speaker A

И у каждой точки свой вес. Допустим, у точек в одном столбике вес один, а у всех остальных ноль. В этом столбике 10 светлых точек. У каждой число 200.

04:08

Speaker A

Вот что делает вес. Идём дальше. А как нейрон вообще смотрит на фотографию, например? Фотография — это сетка из маленьких точек, пикселей. В чёрно-белой фотке у каждой точки есть число, насколько она светлая. Ноль — чёрный, 255 — белый. И эти числа идут на вход нейрона. И у каждой точки свой вес. Допустим, у точек в одном столбике вес один, а у всех остальных ноль. В этом столбике 10 светлых точек. У каждой число 200. Каждую умножаем на один, складываем, и получается 2000. Это и есть ответ нейрона. Просто число 2000 — значит, этот столбик светлый. Например, тут белая вертикальная линия. А если столбик тёмный, все точки по нулю, то и ответ ноль, линии нет.

04:27

Speaker A

нейроны с другими весами. Вот один нейрон проверяет, есть ли тут горизонтальная линия, а другой нейрон проверяет, есть ли круг. Такой ряд нейронов называют слоем. Ответы этого ряда входы для следующего слоя, и он смотрит уже не на точки, а на ответы.

04:45

Speaker A

Рядом стоят другие нейроны с другими весами. Вот один нейрон проверяет, есть ли тут горизонтальная линия, а другой нейрон проверяет, есть ли круг. Такой ряд нейронов называют слоем. Ответы этого ряда — входы для следующего слоя, и он смотрит уже не на точки, а на ответы. Тут есть линия, а тут круг. Грубо говоря, из линий собирается ухо, из ушей, усов, морды. И последний слой превращает суммы в проценты: кошка это или собака.

04:56

Speaker A

Вот это и есть нейросеть. Её ещё называют моделью. Звучит как школьная арифметика, да? Но внутри языковых моделей, по сути, то же самое, только с текстом и миллиарды раз. Все эти веса называют параметрами. У GPT-3 OSS, например, их 117 млрд. Это и есть те

05:14

Speaker A

Вот это и есть нейросеть. Её ещё называют моделью. Звучит как школьная арифметика, да? Но внутри языковых моделей, по сути, то же самое, только с текстом и миллиарды раз. Все эти веса называют параметрами. У GPT-OSS, например, их 117 миллиардов. Это и есть те числа из тех 15 файлов, и никакой базы готовых ответов там нет. Так кто их всех придумал, эти все числа? Да никто.

05:21

Speaker A

Нейросеть подбирает их сама. Сначала все веса это просто какие-то случайные рандомные числа. Так как же учат модель?

05:29

Speaker A

Нейросеть подбирает их сама. Сначала все веса — это просто какие-то случайные числа. Так как же учат модель? Всё очень просто. Люди заранее подписали к фоткам правильные ответы. Вот кошка, вот собака. Нейросеть смотрит на кошку и такая: "Собака". Причём уверенно, типа, на 90% собака. Тогда нейросеть сверяет ответ с подписью и считает, насколько она ошиблась. Это одно число, и его называют лосс. Чем увереннее она ошиблась, тем оно больше.

05:48

Speaker A

называют лосс. Чем увереннее она ошиблась, тем оно больше. Дальше нейросеть подкручивает каждый вес, но чуть-чуть. Например, вес три становится 3.1 или 2.9. Но как она поймёт, в какую сторону ей нужно подкручивать? Для этого у нейросети есть формула, и формула

06:06

Speaker A

Дальше нейросеть подкручивает каждый вес, но чуть-чуть. Например, вес три становится 3,1 или 2,9. Но как она поймёт, в какую сторону ей нужно подкручивать? Для этого у нейросети есть формула, и формула говорит: если какой-то один вес чуть увеличить, собака будет уже не 90%, а 89%. Ошибка стала меньше, значит, этот вес нужно чуть увеличить. Вот этот расчёт и называют градиентом. И как раз это подкручивание по чуть-чуть, чтобы ошибка становилась меньше и меньше с каждым ходом, и есть градиентный спуск. Если говорить про фотографии, то так по кругу, снова и снова, на огромном количестве фоток. Нейросеть угадывает, считает ошибку, подкручивает веса.

06:25

Speaker A

ходом и есть градиентный спуск. Если говорить про фотографии, то так по кругу, снова и снова на огромном количестве фоток. Нейросеть угадывает, считает ошибку, подкручивает веса.

06:37

Speaker A

Языковые модели учат по такому же кругу, только на тексте, и подписывать ничего не нужно. Модель угадывает следующий кусочек текста, а правильный ответ — это то, что в тексте реально идёт следующим. Например, "мама мыла что?" — "раму". GPT-3, по словам OpenAI, тоже учили на триллионах кусочков текста. На одной видеокарте это заняло бы примерно 240 лет.

06:49

Speaker A

Например, мама мыла что? Раму. GPT-3, по словам Open AI, тоже учили на триллионах кусочков текста. На одной видеокарте это заняло бы примерно 240 лет. Следующий интересный вопрос: нейросеть работает только с числами. Но вы же ей пишете слова, значит, слова тоже превращаются в

07:10

Speaker A

Следующий интересный вопрос: нейросеть работает только с числами. Но вы же ей пишете слова, значит, слова тоже превращаются в числа. И ещё в 2013 году оказалось, что с такими числами можно делать арифметику. Берём "король", вычитаем "мужчина", прибавляем "женщина". Как думаете, что получится? Получится "королева". Почему так выходит, сейчас покажу.

07:25

Speaker A

Получится королева. Почему так выходит, сейчас покажу. А что вообще превращается в числа? Модель на самом деле не читает буквы. Отдельная программа токенайзер сначала режет текст на кусочки. Частое слово - это обычно один кусочек, а какое-то длинное или редкое она режет на

07:42

Speaker A

А что вообще превращается в числа? Модель на самом деле не читает буквы. Отдельная программа, токенайзер, сначала режет текст на кусочки. Частое слово — это обычно один кусочек, а какое-то длинное или редкое она режет на несколько. Например, английское "encoding" на "encode" и "ing". Такой один кусочек называют токеном. Все такие токены — это большой словарь модели. У нашей подопытной GPT-OSS чуть больше 200 000 токенов, и у каждого свой номер. Вот "мама мыла раму" модель видит просто как ряд номеров. Но в номере смысла нет, поэтому каждый номер модель превращает в список чисел.

08:02

Speaker A

ряд номеров. Но в номере смысла нет, поэтому каждый номер модель превращает в список чисел. Давайте на понятном языке всё на двух числах. Вам здесь надо понять, как работают смыслы и числа.

08:14

Speaker A

Давайте на понятном примере, на двух числах. Вам здесь надо понять, как работают смыслы и числа. Допустим, первое число — насколько слово про еду, второе — насколько это что-то живое. Котлета — это про еду, поэтому 10. Это точно не живое, поэтому ноль. Яблоко: про еду девять, живое ноль. Кошка: про еду ноль, живое 10. Собака: ноль и девять по аналогии. А стол: ноль и ноль, потому что это не еда и не живое.

08:24

Speaker A

Это точно не живое, поэтому ноль. Яблоко, про еду девять и живое ноль. Кошка, про еду ноль и живое 10. Собака ноль и девять по аналогии. А стол ноль и ноль, потому что это не еда и не живое.

08:40

Speaker A

Ставим их точками на плоскость, как на карте. И смотрите: котлета и яблоко рядом, кошка и собака рядом, а стол вообще отдельно. Получается, слова, похожие по смыслу, оказываются рядом. А у GPT-OSS в таком списке не два числа, а почти 3000. То есть каждый токен — это тоже точка, только на карте, которую уже просто так не нарисуешь. И что значит каждое из этих чисел? Никто не подписывал. Эти числа лежат в тех же файлах, и модель подобрала их сама по тому же кругу. Такой список чисел у одного токена...

08:56

Speaker A

почти 3.000. То есть каждый токен это тоже точка, только на карте, которую уже просто так не нарисуешь. И что значит каждое из этих чисел? Никто не подписывал. Эти числа лежат в тех же файлах и модель подобрала их сама по

09:11

Speaker A

тому же кругу. Такой список чисел у одного токена называют эмбеддингом или вектором. Фокус с королём учёные нашли на модели сильно проще, чем GPT OSS. И у направлений на карте той модели тоже есть смысл. Как у нас от стола кошке шаг

09:28

Speaker A

плюс 10 по живому, только направлений там намного больше и подписей у них тоже нет. Но каждый шаг от мужчины к женщине почти такой же, как от короля королеве.

09:40

Speaker A

Вот это и есть направление мужское-женское. То есть минус мужчина убирает мужское, плюс женщина добавляет женское, и поэтому получается новая точка. Дальше смотрят, какое слово к ней ближе. Ближе всех оказывается сам король. Мы от него недалеко ушли. Исходные три слова

09:58

Speaker A

убирают, и следующее королева. А внутри самой модели такой смысл можно вообще найти? Можно. Учёные Anthropic взяли числа, которые их Claude 3 Sonnet насчитывает внутри, и научились считать из них одно новое число. Оно становится большим, когда речь про мост Золотые

10:15

Speaker A

Ворота. А когда моста нет, оно около нуля. Это как с нейроном и линией. И они сделали очень смешную штуку. На ходу увеличили это число, и модель в большинстве ответов начала упоминать мост. Спрашиваете, как бы потратить 10 долларов, а она советует проехать по

10:31

Speaker A

мосту и заплатить за проезд. Сейчас самое интересное. Но тут есть проблема. Вот слово лук. Я порезал лук, и Робин Гуд достал лук. Слова одно и то же, да?

10:42

Speaker A

Допустим, тут каждое слово один токен. Значит, и список чисел у лука в начале один и тот же. Одна точка на старте. Но смысл-то вообще разный. Тут овощ, а тут оружие. Как модель поймёт, какой это лук? Для этого словам нужно по сути

10:58

Speaker A

поговорить друг с другом. И вот как раз про это вот эта нашумевшая статья 2017 года. Внимание это всё, что нужно.

11:07

Speaker A

И на этой идее сегодня держатся самые сильные языковые модели. А что такого вообще в этой статье придумали? Сам разговор слов называют вниманием, attention. И в этой статье придумали модель, где слова общаются друг с другом только через внимание, вот

11:28

Speaker A

это вот этот процесс, attention. Эту модель и назвали трансформером. GPT- OSS тоже трансформер. У неё 36 слоёв. Только слой тут устроен намного сложнее, чем просто ряд нейронов. В каждом слое две части: внимание, где токены общаются друг с другом, и знание, где каждый

11:46

Speaker A

токен получает то, что модель уже выучила. Вернёмся к "Я порезал лук". Сначала внимание, модель умножает числа каждого токена на свои выученные веса, и у каждого слова получается три новых списка чисел. Первый список это запрос, что я ищу. Лук такой: "А какой я лук?"

12:07

Speaker A

Второй список это ярлык. Это тоже числа, и именно с ними другие слова сравнивают свой запрос. У слова "порезал", например, ярлык такой: "Я вообще-то из кухни, я про кухню". Третий список это содержимое. [фыркает] Это те числа, которые слово отдаёт тому, кто нашёл его

12:25

Speaker A

по ярлыку. У слова "порезал" там вот что: "Режут обычно еду, овощи". То есть лук по ярлыку решает, насколько ему нужно это слово, а забирает у него уже содержимое. [фыркает] Дальше лук сравнивает свой запрос с ярлыками всех слов перед ним, и со своим тоже.

12:43

Speaker A

Сравнение даёт какой-то балл совпадения. Допустим, у "я" один, у самого лука два, а у "порезал" три, потому что как раз слово "порезал" и подсказывает, о каком луке речь. Если формулой, то внимание attention выглядит вот так. Но мы тут

12:58

Speaker A

формулы не изучаем. Упрощаю. Модель превращает баллы в доли, которые вместе дают 100%. Формула сильнее выделяет того, у кого балл выше. У "порезал" примерно 2/3, у лука четверть, а у "я" остальное. И лук берёт содержимое каждого вот в таких долях и всё

13:16

Speaker A

складывает. Тут по сути всё то же самое, что с зонтом, понимаете? Умножить и сложить. Эту смесь модель прибавляет к числам лука. И как раз от слова "порезал" пришёл смысл режут еду. И слово лук сдвигается в сторону овоща. А

13:32

Speaker A

в Робин Гуд достал лук, он сдвинется в сторону оружия. То есть одно и то же слово получает разный смысл. Запрос, ярлык и содержимое инженеры называют query, key и value. А всё вместе attention. Откуда модель вообще знает, что бывает с луком? Это вторая часть

13:50

Speaker A

слоя, знания, и в ней большая часть всех чисел модели. Тут токены не общаются, каждый идёт сам по себе через обычные нейроны. У одних нейронов ответ большой, когда лук уже про овощ, и тогда другие прибавляют к его числам то, что модель

14:07

Speaker A

выучила про такой лук. Например, что рядом с ним обычно пишут что-то про кухню, суп и слёзы. Из слоя выходят те же почти 3.000 чисел лука, только модель прибавила к ним то, что насчитали внимание и знания. Не заменила, а именно

14:23

Speaker A

прибавила. Это буквально как конвейер, по ленте едет деталь, а на каждой станции к ней что-то добавляют.

14:30

Speaker A

Деталь это числа одного токена, станция это слой. Поэтому всё, что лук узнал на прошлых слоях, едет дальше вместе с ним.

14:38

Speaker A

У инженеров это называется residual stream. Вот что делают с вашим вопросом 36 слоёв. В Anthropic смогли подсмотреть, что едет по этому конвейеру. Например, вопрос: какая столица у штата, где находится Даллас?

14:52

Speaker A

Тут два шага. Даллас в Техасе, а столица Техаса Остин. Учёные посмотрели внутрь своей Claude 3.5 Haiku и по пути к ответу число про Техас стало большим.

15:04

Speaker A

Как с мостом. В вопросе, если вы помните, этого слова вообще нет, а внутри оно появилось. Помните, как они увеличили число про мост? Тут похожий трюк. Они подменили Техас на Калифорнию и модель ответила Сакраменто, а это столица Калифорнии. Это очень круто, то

15:19

Speaker A

есть промежуточный шаг реально работает. Ну хорошо, все токены вашего вопроса проехали 36 слоёв. А дальше что?

15:28

Speaker A

Следующий кусочек текста модель угадывает по числам последнего токена, потому что он уже собрал смысл всех слоёв перед ним, как лук упорезал. На выходе около 200.000 шансов, по одному на каждый токен словаря. Модель выбирает из них один токен. И, кстати говоря,

15:47

Speaker A

совсем не обязательно самый вероятный. Вы точно замечали, задаёте модели тот же вопрос, а ответ может быть вообще другим. Почему? Возьмём снова мама мыла.

15:59

Speaker A

Модель считает шансы по числам последнего кусочка, мыла. Вот такой формулой. Допустим, раму 60%, посуду 25%, окно 10%, а остальные 5% размазаны по всему словарю. Теперь нужно выбрать один. Самое простое всегда брать самый вероятный, раму. Логично же, да? Ну

16:19

Speaker A

тогда текст получается скучный и начинает ходить по кругу. А если выбирать совсем случайно, рано или поздно выпадет какая-нибудь ерунда с крошечным процентом и получится полный бред. Поэтому модель отрезает хвост, все слова с крошечными процентами и выбирает только среди лучших. Например, берёт три

16:36

Speaker A

самых вероятных и выбирает среди них по процентам. Это топ K. Или так, берёт самые вероятные, пока их проценты вместе не наберут, допустим, 90%. Раму 60 плюс посуду 25, уже 85. Пока мало. Плюс окно 10, итого 95. Всё, набрали. Это топ P. И

16:59

Speaker A

тут классная штука. Если модель уверена и у раму уже 95%, то в набор попадёт одно число, раму. А если не уверена, кандидатов будет больше. И есть ещё температура. Может быть, видели такую крутилку у моделей. Понизить, большие проценты становятся ещё больше и ответы

17:18

Speaker A

предсказуемее. Повысить проценты, выравниваются и ответы разнообразнее, но и добрее да ближе. Вот поэтому-то ответы и разные. Модель каждый раз по сути бросает кубик, только кубик нечестный. У каждой грани свой шанс и это раму и дописывает её к тексту. Дальше через

17:38

Speaker A

все слои едет только раму. Прошлые слова модель заново не гоняет, их числа уже посчитаны. И число раму смотрит на них через внимание, как лук на порезал. И так пока не выпадет специальный токен конец. Что такое inference? По сути

17:56

Speaker A

говоря, это весь этот процесс. Вы нажали Enter и модель пишет ответ. Теперь вопрос из начала, помнит ли модель вообще, о чём вы с ней говорили? Сама модель, на самом деле нет. Внутри ответа она держит числа, а между сообщениями

18:11

Speaker A

ничего не запоминает. В документации Claude прямо написано, модель каждый раз заново получает всю переписку. Но переписка-то растёт и сколько текста модель видит за раз, это и есть контекстное окно. Это её рабочая память и всё, что не влезло, для модели просто

18:28

Speaker A

не существует. А если модель пишет по одному токену, откуда она знает, чем она закончит строку? Помните стишок из начала? Anthropic давала задачу своей Claude 3.5 Haiku дописывать стихи. И примерно в половине из них учёные видели, что модель ещё до начала строчки

18:45

Speaker A

уже выбрала рифму. Например, первая строчка кончалась на rabbit, схватить, а модель для второй выбрала rabbit, кролик, и строила строчку под неё. Тогда учёные подавили rabbit и модель закончила строчку другой рифмой, habit, привычка. Это суперкруто. есть да, пишет она по одному токену, но в тех самых

19:04

Speaker A

числах, которые едут по конвейеру, часто уже есть рифма, к которой она ведёт строчку. И вот что странно, модель же сначала училась только угадывать следующий кусочек текста, а с вами она разговаривает как ассистент. Откуда это?

19:20

Speaker A

И почему маленькая модель может победить большую? Об этом дальше. Те самые 240 лет на одной видеокарте это и есть предобучение. И даже после него модель ещё не ассистент. Она плохо отвечает на вопросы и просто продолжает текст, как будто это кусок какого-то

19:41

Speaker A

документа. Ассистентом модель становится на дообучении. Именно так Open AI делала свою модель Instruct GPT. Сначала люди пишут примеры: вот вопрос, вот хороший ответ. И модель учится на них по тому же кругу, что и с кошкой, если помните.

19:55

Speaker A

Потом люди расставляют её ответы от лучшего к худшему и модель подкручивает веса. Мы уже об этом об этом тоже говорили. Чтобы чаще отвечать так, как людям нравится. И самая маленькая Instruct GPT была всего на 1.3 миллиарда чисел. А люди выбирали её ответ чаще,

20:14

Speaker A

чем ответы обычной GPT-3 на 175 миллиардов. Модель в 100 раз меньше и для этих людей дообучение оказалось важнее, чем размер. А почему ассистент всё-равно так уверенно врёт? К этому мы ещё вернёмся. Ну давайте теперь более приземлённо. А если нужно, чтобы модель

20:31

Speaker A

отвечала по документам вашей компании, которых она ещё не видела? Тут два пути. Первый fine-tuning. По сути, это тоже дообучение, только на ваших данных. То есть меняются сами числа в файлах модели. Второй RAG. Тут саму модель вообще не трогают, работает отдельная

20:47

Speaker A

программа рядом. Допустим, в документах компании есть кусок: "Отпуск можно перенести, если написать руководителю за 2 недели". Программа заранее режет документы на такие куски и каждый кусок целиком превращает в одну точку в пространстве, как котлету на нашей карте, помните? Вы спрашиваете: "Как

21:07

Speaker A

перенести отпуск?" Ваш вопрос программа тоже превращает в точку и находит, допустим, пять самых близких кусков документов. Кусок про отпуск по смыслу рядом, поэтому он среди них. Найденный текст программа подкладывает в контекстное окно перед вопросом, и модель видит вопрос, а рядом строчка про

21:26

Speaker A

отпуск, и отвечает. Но вернёмся к дообучению. Кроме примеров и оценок людей, модель можно учить ещё через автоматическую награду за правильный ответ. А откуда у модели рассуждения, когда она сначала пишет себе черновик мыслей, а потом отвечает? Вот очень классный эксперимент от компании

21:44

Speaker A

DeepSeek. Свою модель R10 они вообще не учили на примерах, как рассуждать. Давали ей задачи и награду за правильный ответ. Решила правильно, получила плюсы, подкрутила веса. И в какой-то момент модель сама начала перепроверять свой ход решения. И тут как раз последний

22:02

Speaker A

вопрос изначало: почему модель так уверенно врёт? Такое уверенное враньё называют галлюцинациями. По версии Open AI, начинаются они ещё на этапе предобучения. Например, если какой-то редкий факт встречался в текстах всего один раз, модель его толком не выучивает и потом просто угадывает. А дальше, по

22:21

Speaker A

их версии, у награды за правильный ответ есть обратная сторона. Модель учат и проверяют, как студента на экзамене.

22:28

Speaker A

Если за "не знаю" ставят ноль баллов, а за угаданный ответ иногда дают один балл, то угадывать всегда выгоднее. Да?

22:36

Speaker A

Вот она и учится уверенно угадывать вместо честного "не знаю". Помните 15 огромных файлов изначало? 117 млрд чисел, и ни одно никто не писал руками. Модель подобрала их сама, сначала угадывая следующий кусочек текста, потом на дообучении. Так что вообще происходит, когда вы нажимаете

23:00

Speaker A

Enter? Токенайзер режет ваш вопрос на токены и каждый токен едет по конвейеру из тридцати шести слоёв. На выходе проценты. Модель выбирает один токен, дописывает и всё по-новой. Получается, модель и правда угадывает по одному токену. Но Anthropic показала на своей

23:17

Speaker A

Claude, что внутри бывают промежуточные шаги. Техас по пути Костину рифма ещё до начала строчки. Теперь, когда на встрече звучат такие слова, вы точно знаете, что за ними стоит. Токен это кусочек текста.

23:30

Speaker A

Не обязательно целое слово, может быть его часть. Контекстное окно, сколько токенов модель видит за раз.

23:36

Speaker A

Файн-тюнинг, дообучение модели под нужные вам вещи. Ну и раг, программа находит нужный кусок ваших документов, как тот про отпуск, и подкладывает его перед вопросом. Если такой формат вам зашёл, поставьте лайк и напишите об этом, пожалуйста, в комментариях. Также

23:53

Speaker A

напишите, что разобрать дальше также глубоко. Может быть, как работают ИИ-агенты или как нейросети рисуют картинки или видео. Ну в любом случае, спасибо, подписывайтесь сюда, на мой Telegram-канал и спасибо за просмотр.

Topics: нейросеть GPT-OSS искусственный нейрон веса параметры языковые модели обучение нейросетей токены эмбеддинги механизм внимания LLM AI для начинающих

Учить по этому видео

- [Карточки по этому видео](https://sozai.app/ru/tools/ai-flashcard-generator/?from=transcript&id=86235)
- [Тест по этому видео](https://sozai.app/ru/tools/quiz-generator/?from=transcript&id=86235)

Бесплатно, составлено ИИ по этой расшифровке. Без регистрации.


---
This is the markdown twin of https://sozai.app/transcript/how-ai-really-works-24-minutes/ — the same content, without the markup.
Published by SozAI (https://sozai.app). Reuse and quotation are allowed with attribution and a link back.
Machine-readable index: https://sozai.app/llms.txt · data API: https://sozai.app/api/