Speaker A
Никто никогда не писал код, который учит ChatGPT писать код. Ни одной строчки. Как тогда он это умеет?
Как устроены нейросети вроде ChatGPT и Claude: от сбора данных и токенизации до предобучения, дообучения и трансформер-архитектуры с механизмом внимания.
Key Takeaways
- Нейросеть не программируют на конкретные навыки — навыки возникают из задачи предсказания следующего слова
- Знания модели формируются на этапе предобучения на огромных массивах текста
- Дообучение превращает языковую модель из автодополнения в помощника
- Ключевая идея: простая задача в огромном масштабе порождает сложное поведение
What the video covers
- ChatGPT и Claude создаются не через написание правил, а через длинный конвейер обучения
- Шаг 1: сбор гигантских объёмов текста из книг, сайтов, кода, статей и форумов с последующей очисткой от повторов и спама
- Шаг 2: токенизация — текст разбивается на токены, которые превращаются в наборы чисел
- Шаг 3: архитектура трансформер со множеством слоёв и механизмом внимания, определяющим важность слов друг для друга
- Шаг 4: обучение начинается со случайных чисел; модель учится угадывать следующее слово в тексте
- Предобучение даёт модели почти все её знания, но в итоге она является мощным автодополнением, а не помощником
- Шаг 5: дообучение на примерах диалогов делает модель полезным ассистентом
- Способности вроде написания кода, объяснения физики и перевода возникают из одной простой задачи, повторённой триллионы раз
- Модель ошибается всё меньше с каждой итерацией обучения
Chapters
- 00:00Загадка: кто научил ChatGPT писать код
- 00:09Нейросеть как конвейер: введение
- 00:31Шаг 1: сбор и очистка данных
- 00:51Шаг 2–3: токены и архитектура трансформер
- 01:15Шаг 4: обучение предсказывать следующее слово
- 01:44Предобучение и проблема автодополнения
- 01:59Шаг 5: дообучение на примерах
- 02:18Почему навыки возникают сами: выводы
Full Transcript — Download SRT & Markdown
Speaker A
Разберём, как создают нейросети вроде ChatGPT [музыка] и Claude. Снаружи это похоже на магию. Ты задаёшь вопрос, а миллиарды чисел внутри компьютера выдают ответ. Но на самом деле это длинный конвейер. Шаг первый. Данные. Собирают гигантские объёмы текста: книги, сайты,
Speaker A
Разберём, как создают нейросети вроде ChatGPT и Claude. Снаружи это похоже на магию. Ты задаёшь вопрос, а миллиарды чисел внутри компьютера выдают ответ. Но на самом деле это длинный конвейер.
Speaker A
Именно с числами нейросеть и работает. Шаг третий. Сама модель. Её называют трансформер. Много слоёв, и в каждом механизм внимания. [музыка] Внимание решает, какие слова в предложении важны друг для друга.
Speaker A
Шаг первый. Данные. Собирают гигантские объёмы текста: книги, сайты, код, статьи, форумы. Потом чистят. Убирают повторы, мусор и спам.
Speaker A
Шаг четвёртый. Обучение. Сначала модель не знает ничего. Внутри случайные числа. И ей дают одну простую задачу. Угадай следующее слово. Столица Японии? Модель отвечает: Лондон.
Speaker A
Шаг второй. Токены. Нейросеть не читает слова так, как мы. Текст режется на кусочки, токены. Слово «невероятно» может превратиться в несколько кусочков. Каждый кусочек становится набором чисел.
Speaker A
Это предобучение. Отсюда почти все знания модели. Но есть проблема. После этого она просто очень [музыка] мощное автодополнение, а не помощник. Поэтому шаг пять. Дообучение. Модели показывают примеры.
Speaker A
Именно с числами нейросеть и работает.
Speaker A
пользоваться [музыка] тысячи людей одновременно. И вот самое странное. Никто не программировал нейросеть писать код, [музыка] объяснять физику или переводить с французского. Всё это выросло из одной простой задачи, повторённой триллионы раз. Угадай, что будет дальше [музыка] и ошибайся чуть меньше с каждым разом.
Topics:ChatGPTнейросетитрансформертокеныпредобучениедообучениемеханизм вниманиямашинное обучениеClaudeбольшие языковые модели
