**Никто не учил ChatGPT писать код. Как он это умеет? 🤖 — Transcript & Summary | SozAI**
Source: https://sozai.app/transcript/how-chatgpt-learned-to-code/

Как устроены нейросети вроде ChatGPT и Claude: от сбора данных и токенизации до предобучения, дообучения и трансформер-архитектуры с механизмом внимания.

## Key Takeaways

- Нейросеть не программируют на конкретные навыки — навыки возникают из задачи предсказания следующего слова
- Знания модели формируются на этапе предобучения на огромных массивах текста
- Дообучение превращает языковую модель из автодополнения в помощника
- Ключевая идея: простая задача в огромном масштабе порождает сложное поведение

## What the video covers

- ChatGPT и Claude создаются не через написание правил, а через длинный конвейер обучения
- Шаг 1: сбор гигантских объёмов текста из книг, сайтов, кода, статей и форумов с последующей очисткой от повторов и спама
- Шаг 2: токенизация — текст разбивается на токены, которые превращаются в наборы чисел
- Шаг 3: архитектура трансформер со множеством слоёв и механизмом внимания, определяющим важность слов друг для друга
- Шаг 4: обучение начинается со случайных чисел; модель учится угадывать следующее слово в тексте
- Предобучение даёт модели почти все её знания, но в итоге она является мощным автодополнением, а не помощником
- Шаг 5: дообучение на примерах диалогов делает модель полезным ассистентом
- Способности вроде написания кода, объяснения физики и перевода возникают из одной простой задачи, повторённой триллионы раз
- Модель ошибается всё меньше с каждой итерацией обучения

## Chapters

1. 00:00 Загадка: кто научил ChatGPT писать код
2. 00:09 Нейросеть как конвейер: введение
3. 00:31 Шаг 1: сбор и очистка данных
4. 00:51 Шаг 2–3: токены и архитектура трансформер
5. 01:15 Шаг 4: обучение предсказывать следующее слово
6. 01:44 Предобучение и проблема автодополнения
7. 01:59 Шаг 5: дообучение на примерах
8. 02:18 Почему навыки возникают сами: выводы

Answers

## Questions about this video

Почему ChatGPT умеет писать код, если его никто этому не учил?

По словам автора, никто не писал код, который учит модель писать код. Способность возникает из обучения на огромном количестве текста, включая код, где модель многократно выполняет задачу предсказания следующего токена.

Что такое токены и зачем они нужны нейросети?

Токены — это кусочки текста, на которые нейросеть разбивает слова; например, слово «невероятно» может стать несколькими токенами. Каждый токен превращается в набор чисел, с которыми модель и работает.

Чем предобучение отличается от дообучения?

Предобучение дает модели почти все знания, но она остается просто мощным автодополнением. Дообучение на примерах диалогов превращает её в полезного помощника, которым могут пользоваться тысячи людей.

## Full Transcript — Download SRT & Markdown

00:00

Speaker A

Никто никогда не писал код, который учит ChatGPT писать код. Ни одной строчки. Как тогда он это умеет?

00:09

Speaker A

Разберём, как создают нейросети вроде ChatGPT [музыка] и Claude. Снаружи это похоже на магию. Ты задаёшь вопрос, а миллиарды чисел внутри компьютера выдают ответ. Но на самом деле это длинный конвейер. Шаг первый. Данные. Собирают гигантские объёмы текста: книги, сайты,

00:29

Speaker A

Разберём, как создают нейросети вроде ChatGPT и Claude. Снаружи это похоже на магию. Ты задаёшь вопрос, а миллиарды чисел внутри компьютера выдают ответ. Но на самом деле это длинный конвейер.

00:51

Speaker A

Именно с числами нейросеть и работает. Шаг третий. Сама модель. Её называют трансформер. Много слоёв, и в каждом механизм внимания. [музыка] Внимание решает, какие слова в предложении важны друг для друга.

01:06

Speaker A

Шаг первый. Данные. Собирают гигантские объёмы текста: книги, сайты, код, статьи, форумы. Потом чистят. Убирают повторы, мусор и спам.

01:15

Speaker A

Шаг четвёртый. Обучение. Сначала модель не знает ничего. Внутри случайные числа. И ей дают одну простую задачу. Угадай следующее слово. Столица Японии? Модель отвечает: Лондон.

01:31

Speaker A

Шаг второй. Токены. Нейросеть не читает слова так, как мы. Текст режется на кусочки, токены. Слово «невероятно» может превратиться в несколько кусочков. Каждый кусочек становится набором чисел.

01:44

Speaker A

Это предобучение. Отсюда почти все знания модели. Но есть проблема. После этого она просто очень [музыка] мощное автодополнение, а не помощник. Поэтому шаг пять. Дообучение. Модели показывают примеры.

01:59

Speaker A

Именно с числами нейросеть и работает.

02:18

Speaker A

пользоваться [музыка] тысячи людей одновременно. И вот самое странное. Никто не программировал нейросеть писать код, [музыка] объяснять физику или переводить с французского. Всё это выросло из одной простой задачи, повторённой триллионы раз. Угадай, что будет дальше [музыка] и ошибайся чуть меньше с каждым разом.

Topics: ChatGPT нейросети трансформер токены предобучение дообучение механизм внимания машинное обучение Claude большие языковые модели

Учить по этому видео

- [Карточки по этому видео](https://sozai.app/ru/tools/ai-flashcard-generator/?from=transcript&id=86475)
- [Тест по этому видео](https://sozai.app/ru/tools/quiz-generator/?from=transcript&id=86475)

Бесплатно, составлено ИИ по этой расшифровке. Без регистрации.


---
This is the markdown twin of https://sozai.app/transcript/how-chatgpt-learned-to-code/ — the same content, without the markup.
Published by SozAI (https://sozai.app). Reuse and quotation are allowed with attribution and a link back.
Machine-readable index: https://sozai.app/llms.txt · data API: https://sozai.app/api/