Speaker A
Вот сайт с шаурмой works.
Объяснение теоремы Байеса на примере с профессией Стива, её применение в науке и ИИ, с пошаговым разбором и графической интерпретацией.
Key Takeaways
- Теорема Байеса помогает обновлять вероятности гипотез с учётом новых данных.
- Априорные вероятности важны для корректного анализа и не должны игнорироваться.
- Новые данные уточняют, а не заменяют исходные предположения.
- Графическая интерпретация облегчает понимание и применение формулы.
- Теорема Байеса широко используется в науке, ИИ и повседневном мышлении.
Summary
- Видео посвящено объяснению теоремы Байеса — ключевой формулы в теории вероятностей.
- Рассматривается пример с Стивом — тихим и застенчивым человеком, профессия которого неизвестна (библиотекарь или фермер).
- Приводится исследование Книма и Тверски, показывающее нерациональность человеческих суждений без учёта априорных вероятностей.
- Поясняется, как априорные данные и новые наблюдения влияют на пересчёт вероятностей.
- Дается пошаговое объяснение формулы теоремы Байеса с конкретными числовыми примерами.
- Объясняются ключевые термины: априорная вероятность, правдоподобие, апостериорная вероятность.
- Подчеркивается важность понимания, когда и как применять теорему Байеса в реальных задачах.
- Показывается графическая интерпретация теоремы для упрощения понимания и быстрого расчёта.
- Отмечается широкое применение теоремы в науке, искусственном интеллекте и машинном обучении.
- Видео переведено и озвучено студией Вирт Дай Дар.
Chapters
- 00:00Введение и значение теоремы Байеса
- 01:02Три уровня понимания теоремы Байеса
- 02:02Пример с Стивом и исследование Книма и Тверски
- 04:02Априорные вероятности и их роль
- 05:06Расчёт вероятностей на примере Стива
- 06:04Обобщение в виде формулы теоремы Байеса
- 07:03Объяснение ключевых терминов и понятий
- 09:04Применение теоремы в науке и ИИ
- 11:03Графическая интерпретация и заключение
Full Transcript — Download SRT & Markdown
Speaker A
[Музыка]
Speaker A
В этом видео я постараюсь сделать так, чтобы вы поняли одну из самых важных формул в теории вероятностей — теорему Байеса.
Speaker A
Она играет ключевую роль в научных открытиях, разработках искусственного интеллекта, машинном обучении и даже
Speaker A
использовалась искателями сокровищ. В восьмидесятых годах команда Тони Томпсона — да, так его зовут — обратилась к этой формуле, чтобы найти корабль, затонувший полтора века назад с грузом золота стоимостью 700 миллионов долларов в пересчёте на сегодняшний курс.
Speaker A
В общем, достойный внимания предмет. Разобьём
Speaker A
объяснения на три уровня понимания: самый простой — знать, что выражает каждая буква и уметь подставлять значения; следующий уровень — понимать, откуда формула взялась; позже покажу вам диаграмму, которая поможет при необходимости вывести формулу, так сказать, на ходу; и третий, возможно самый важный уровень —
Speaker A
разобраться, когда её применять. Чтобы было проще, мы пойдем в обратном порядке. Так что прежде чем перейти непосредственно к формуле и графической интерпретации, позвольте рассказать вам про парня по имени Стив. Слушайте внимательно. Стив очень робкий, замкнут и всегда готов
Speaker A
помочь, но мало контактирует с людьми и внешним миром. Тихий и застенчивый, он очень ценит порядок и уделяет много внимания мелочам. Чем, по вашему, скорее всего занимается Стив? Он библиотекарь или фермер? Возможно, вы где-то уже это слышали. Вопрос взят из исследования психологов
Speaker A
Даниэле Кним, Амоса Тверски. Их работа получила Нобелевскую премию и обрела широкую популярность благодаря таким книгам, как «Думай медленно, решай быстро», Кним и отменённый проект Майкла Льюиса. Предметом исследования были суждения, которые зачастую вступают в противоречие с законами математической
Speaker A
вероятности. Пример со Стивом, который то ли библиотекарь, то ли фермер, иллюстрирует один из нерациональных подходов к решению подобных задач, вернее, предположительно иллюстрирует, с выводами не все согласны, но обо всём по порядку. По мнению авторов, когда людям говорят, что Стив тихий и застенчивый, большинство
Speaker A
решает, что он скорее всего библиотекарь, ведь такой образ отлично ложится на стереотипное представление о работнике библиотеки. Согласно Книму и Тверски, это не рационально, и не потому, что люди могут неверно представлять себе фермеров и библиотекарей, а потому что мало кто
Speaker A
задумывается о реальном соотношении их количества в современном обществе. В своей статье учёные говорят, что в США фермеров в двадцать раз больше. По моим данным, сегодня разрыв ещё сильнее, но возьмём предложенное ими число — оно удобнее, но и сути дела не меняет.
Speaker A
Важно помнить, что респонденты не обязаны владеть актуальными данными о количестве фермеров, библиотекарей и качествах их характера. Главное, чтобы они хотя бы задумались о том, что это может быть важно, и попытались что-нибудь прикинуть в уме. Быть рациональным не значит знать
Speaker A
всё, это значит понимать, что именно вам нужно знать. Если принять в расчёт популярность профессий, способ решения получается довольно простым. По сути, сейчас будет спойлер — именно он лежит в основе теоремы Байеса. Для начала соберём репрезентативную выборку фермеров и библиотекарей, скажем, 200 первых и 10
Speaker A
вторых. Допустим, вы считаете, что тихим и застенчивым можно было бы назвать где-то 40 процентов библиотекарей и около десяти процентов фермеров. Тогда получается, что под это описание попадают четыре из десяти библиотекарей и 20 из 200 фермеров. Значит, вероятность того, что случайный тихий застенчивый
Speaker A
человек работает именно в библиотеке — 4 из 24, всего 16,7 процента. Даже если вы считаете, что библиотекари бывают тихонями в 4 раза чаще, фермеры легко компенсируют это своим количеством. Мораль, которая и является главным выводом из теоремы Байеса, в том, что
Speaker A
новые данные не должны формировать ваше убеждение с чистого листа, они лишь уточняют старые. Если вам понятна такая логика, что новая информация сокращает количество возможных вариантов, которые надо учитывать, пытаясь рассчитать вероятность, и поздравляю — вы поняли суть теоремы Байеса. Цифры могут быть какими угодно
Speaker A
другими, главное — правильно их подставить и сделать поправку на вновь появившиеся данные. Примеры — это хорошо, но давайте попробуем обобщить всё вышесказанное и представить в виде формулы.
Speaker A
[Музыка]
Speaker A
Классическая ситуация, в которой может пригодиться теорема Байеса, выглядит примерно так: мы считаем, что
Speaker A
Стив — библиотекарь, это наша гипотеза. Тут нам дают его описание, где он оказывается тихим и застенчивым. Мы получили новую информацию, нужно найти вероятность того, что гипотеза верна с учётом новых данных. По правилам записи эта черта означает «при условии», иными словами
Speaker A
нас теперь интересуют только варианты, попадающие под описание. Помните, как мы начали расчёты? Взяли вероятность, что гипотеза верна без каких-либо уточнений, получалось один к двадцати одному. Мы опирались лишь на то, сколько людей сегодня работает в библиотеках, а сколько на фермах. Это априорная
Speaker A
вероятность. Стив казался застенчивым, и мы прикинули, сколько библиотекарей подходит под такое описание, то есть отбросили часть вариантов и пересчитали вероятность. Напомню, это вертикальная черта означает, что мы говорим о доле от некоторого количества возможных вариантов, в данном случае от
Speaker A
левого столбика, в котором собраны случаи 200 библиотекарей. В рамках теоремы Байеса данное значение называется правдоподобием. Не стоит забывать, что среди остальных вариантов также будут те, что не соответствуют новым условиям, то есть остаётся некоторая вероятность, что гипотеза не верна. В математике и теории
Speaker A
вероятностей таким уголком показывают отрицание с обозначениями. Разобрались? Вернёмся к задаче. Вероятность того, что гипотеза верна с учётом новой информации, равна количеству застенчивых библиотекарей — их четверо — разделить на общее количество застенчивых людей из выборки — их 24. Но почему библиотекари — четверо? Количество
Speaker A
людей выборки умножаем на априорную вероятность того, что они работают в библиотеке, получается 10, и на вероятность того, что они подходят под описание Стива. В знаменателе то же самое плюс то, что осталось — число людей выборки умножаем на априорную вероятность того,
Speaker A
что они фермеры, и на вероятность того, что кто-то из них подходит под описание, получается 20. Общее число людей выборки — 210, сокращаем. Тут всё логично, ведь, как я и говорил, от конкретного количества ничего не зависит. В итоге остаются
Speaker A
абстрактные обозначения различных вероятностей. Это, друзья, и есть теорема Байеса. Обычно знаменатель записывают просто как P(E) — это вероятность получить новые данные. В нашем примере это 24 с 210, вне зависимости от того, верна была гипотеза или нет, хотя на практике обычно
Speaker A
приходится рассчитывать оба случая по отдельности. И ещё один термин напоследок — по результатам A назовём апостериорной вероятностью, каков шанс, что гипотеза верна с учётом новых данных. В абстрактном виде всё может показаться несколько сложнее, чем на конкретном примере с выборкой. Это правда,
Speaker A
так и есть. Тем не менее формула позволяет выразить количественно, как меняются наши взгляды и убеждения. Учёные пользуются ею, чтобы понять, насколько новые данные подтверждают или ставят под сомнение существующую модель. Программисты обращаются к ней, создавая искусственный интеллект. Когда возникает
Speaker A
необходимость посчитать, насколько машина уверена в чём-то, теорема Байеса пригодится и лично вам, чтобы иначе взглянуть на собственные убеждения, как и почему вы их меняете, да и на процесс мышления в целом. А ещё иметь под рукой формулу очень
Speaker A
полезно, когда расчёты становятся сложнее. Правда, как мне кажется, продуктивнее будет не заучивать вот это вот всё, а использовать графическую интерпретацию теоремы, когда нужно. По сути это тоже самое, что обращаться к выборке, только нагляднее, проще и быстрее. Размер выборки нам не важен,
Speaker A
поэтому можно представить все возможные исходы квадратом со стороной один. Варианты, удовлетворяющие конкретным условиям, будут областями внутри квадрата, площадь которых отражает их вероятность. Варианты, при которых гипотеза верна, соберём слева столбиком шириной P от H, справа будет всё остальное — какое-то событие или новая
Speaker A
информация сокращает площадь допустимых вариантов, и вот что важно — облас...
Speaker A
когда участникам говорили чтобы написание подходит сотня девушек и просили оценить сколько из них работают в банке а сколько работают в банке и участвуют феминисткам движение ошибки куда-то пропали все указывали более высокую цифру в первом случае [музыка] каким-то странным образом формулировка
Speaker A
вроде 40 из 100 понятнее нашему мозгу чем 40 процентов или какие-нибудь и 04 не говоря уже об абстрактных суждениях о том что более или менее вероятно но есть один нюанс репрезентативные выборки создают ложное ощущение будто вероятность меняется четкими шагами
Speaker A
а вот представление видео областей лучше отражает плавность переходов да и пользоваться таким методом проще когда под рукой только бумага и карандаш многие считают что вероятность позволяет измерить что-то неопределенное до в науке примерно так ей и пользуются но с
Speaker A
точки зрения математики все расчеты и формулы очень тесно связаны составлением пропорций а геометрии в этом деле отличный помощник [музыка] рассмотрим теорему байеса как пропорцию количество людей или размеров фигур неважно с этой точки зрения все еще проще в обеих частях уравнения мы
Speaker A
смотрим на область где собраны варианты удовлетворяющий всем условиям и берем ту ее часть для которой верное гипотеза вот и все длинная формула просто показывает как что рассчитать даже удивительно что незатейливая пропорция играет столь важную роль в исследованиях создание
Speaker A
искусственного интеллекта и других ситуациях когда нужно численно оценить степень уверенности мы еще по разбираем формулу на других примерах но а пока вернёмся ненадолго кости его как я говорил не все психологи согласно своего домика немана и тверские о том что
Speaker A
рациональным подходом будет начать считать кого больше библиотекари или фермеров ведь все зависит от контекста кто такой этот стив случайный среднестатистический житель сша или же друг психологов которые составляли опросник может вообще один из ваших знакомых эти предположения определяют априорную
Speaker A
вероятность например я куда чаще встречаю библиотекари нежели фермеров не говоря уже о том что можно бесконечно спорить кто больше подходит под за данное описание но здесь я бы обратил внимание на друга и каждый из этих вопросов можно отразить
Speaker A
на нашей диаграмме от того кто такой стив будет зависеть априорная вероятность от наших стереотипов по поводу профессий тот фактор что мы назвали правдоподобием на самом деле доверяете в результатам эксперимента или нет не меняет сути новые данные должны не формировать ваше
Speaker A
убеждение а лишь уточнять их хоть татуировку сделайте чтобы не забыть не мне судить насколько это естественно для человеческого мозга пусть психологи решают меня куда больше увлекает мысль что мы можем приучить собственную интуицию принимать в расчет математические законы и насколько проще
Speaker A
это сделать когда есть что-то наглядное [музыка] переведено и озвучено студии вирт дай дар
Topics:теорема Байесавероятностьматематическая статистикаискусственный интеллектмашинное обучениеаприорная вероятностьапостериорная вероятностьправдоподобиеКним и Тверскиграфическая интерпретация
