AI: от основ до трансформеров. Об этом курсе и краткая … — Transcript

Лекция Евгения Разинкова о развитии искусственного интеллекта и курсе от основ машинного обучения до трансформеров.

Key Takeaways

Искусственный интеллект развивается очень быстро, что требует обновления образовательных курсов.
Объединение курсов по машинному обучению и глубокому обучению позволяет лучше охватить современные технологии AI.
Классические алгоритмы машинного обучения остаются важными для понимания основ, несмотря на популярность трансформеров.
Практический опыт и проекты преподавателя помогают связать теорию с реальными задачами индустрии.
Образование в области AI должно учитывать как историю, так и современные тренды и вызовы.

Summary

Евгений Разинков представляет новый объединённый курс по искусственному интеллекту, который сочетает машинное обучение и глубокое обучение.
Обсуждается быстрое развитие AI, влияние больших языковых моделей и роль классических алгоритмов машинного обучения.
Преподаватель делится своим опытом работы в индустрии и научной деятельности, включая проекты и компании, связанные с AI.
Курс охватывает историю искусственного интеллекта, основные парадигмы обучения и современные технологии, включая трансформеры.
Подчеркивается важность математики и базовых алгоритмов для понимания современных моделей.
Евгений рассказывает о своих предыдущих курсах и планах по созданию новых образовательных материалов.
Обсуждается роль открытых данных и публикаций в развитии AI как науки и индустрии.
Приводится краткая история развития AI с 1950-х годов до современных систем глубокого обучения и генеративных моделей.
Отмечаются ограничения и вызовы в разработке AI-систем, включая необходимость аннотации данных и стоимость разработки.
В конце лекции рассматриваются перспективы и вызовы, связанные с внедрением и адаптацией новых AI-технологий.

Chapters

Full Transcript — Download SRT & Markdown

Speaker A

Я всех приветствую. Меня зовут Рзников Евгений. Я читаю лекции, связанные с испустным интеллектом, машинным обучением. Это продолжается вот уже а 8 лет. И этот курс он немного, а точнее он в принципе радикально отличи Ладно, не знаю, радикально, не радикально, но а я

Speaker A

так ещё не делал. У меня всегда был отдельный курс введения в машинное обучение, и у меня был курс по глубокому обучению. И, соответственно, они всегда шли в такой комбинации. То есть сначала вы изучаете введение в машинное обучение, после этого вы изучаете

Speaker A

глубокое обучение, где все вся основа у вас есть. Тем не менее, произошло два аэ изменения которые сподвигали меня к тому, чтобы эти курсы несколько, а модифицировать и создать из них один. Первое изменение такое, что искусственный интеллект развивается бешеными совершенно темпами. Я не

Speaker A

успеваю подстраиваться, точнее, как, насколько это возможно. Вот. Но тем не менее, а с появлением больших языковых моделей всё сложнее, а доказывать, что, например, неглубокий алгоритм машинного обучения, они действительно достойны того, чтобы их хорошо знать и разбираться в том, какая математика за

Speaker A

ними стоит. Математика красивая. Я с удовольствием читал лекции подобутсту, по деревьям решений, а, по градиент бустингу, но тем не менее выглядит так, что эти алгоритмы будут похоронены и будут совершенно забыты в тени всех нововведений, которые появляются. Вот это первый аспект. И второй аспект

Speaker A

выяснилось, что у меня две лекции в неделю у одной и той же группы. Соответственно, у меня будет курс, который я могу читать две лекции в неделю.

Speaker A

Соответственно, я могу попробовать объединить эти курсы в один. То есть я готов резать части базового курса по машинному обучению и аа свой да и соответственно освободившееся пространство плюс дополнительные лекции, они пойдут в глубокое обучение. Причём глубокое обучение, я на него сейчас тоже смотрю

Speaker A

несколько иначе. Я давайте я сейчас перейду непосредственно к своим слайдам и будет немного удобнее это всё объяснять.

Speaker A

Так, а я о себе рассказывал миллион раз. Я по-прежнему думаю, что на первой лекции надо это делать. А, но так как у меня одна первая лекция в этом семестре, то я надеюсь, это пройдёт не так болезненно.

Speaker A

Тем не менее, я заранее прошу прощения всех, кто меня знает и тысячу раз уже слышал а этот материал.

Speaker A

Да, я вообще давно занимаюсь машины обучением. Я уже сказал 2014 года. Уже 7 лет я возглавляю отдел машинного обучения компьютерного зрения в группе компании FIX. Э в девятнадцатом году я соосновал компанию Prevision Technologies. Да, кстати, э, собственно говоря, весь смысл, а, того, что я

Speaker A

делаю, это вот, э, моя команда, которая вместе со мной решает задачки по машинному обучению.

Speaker A

И мы, соответственно, с этими ребятами в разных проектах разное делаем. А я уже упомянул компанию FIX. Что касается компании Prision, я её соосновал в 2019 году. Мы занимаемся разработкой, а, AI систем на заказ. И здесь просто важно отметить, у нас специфическая такая

Speaker A

специфическая ниша, которая, а, ну, скажем так, самая интересная, наверное, но при этом в ней не так уж просто зарабатывать. Мы занимаемся разработкой сложных систем под какие-то особенные случаи, которые не закрываются бесплатными моделями с GitHub, скажем так. Вот. Поэтому, если вдруг кто-то

Speaker A

наткнётся на эту лекцию и вам необходима разработка сложной системы на основе искурственного интеллекта, вы знаете, кому обратиться. А также я основал проект, который называется centi. Это мы помогаем людям разобраться в парфюмерии с помощью машинного обучения испысного интеллекта. Вы можете посмотреть сейчас

Speaker A

это существует в виде Telegramбота, но очень скоро это будет приложение на iOS, Android. А, ну и, собственно говоря, почему мы здесь с вами собрались, это тут может быть [откашливается] это могло бы быть этот логотип, да, или логотип Казанского

Speaker A

федерального университета. Это дело в том, что я популяризирую машины обучения и постоянно читаю лекции об этом. Я делаю это не очень организованно, может быть, это совершенно разумная могла бы быть критика в мой адрес. На 10 минут опаздываю на стрим, но тем не менее есть

Speaker A

мнение, что я неплохо рассказываю об этом. Вот, по крайней мере, какие-то какие-то темы мне когда-то удавались, скажем так. И у меня есть YouTube канал, соответственно, те, кто смотрит на Ютубе, о нём уже знают. Там больше сотни видео. Я думаю,

Speaker A

что там семь курсов, может быть, будет больше. Ну, это, видимо, восьмой. Вот. Но там ещё есть просто разрозненные видео на разные темы, оту очень популярных до очень даже технических таких что а зазеваетесь.

Speaker A

И я ещё здесь в Турции, Фитхия прочитал курс по математике для машинного обучения. Я не уверен, что он получился прямо а достойным, но я, возможно, его всё-таки смонтирую и выложу просто, чтобы был и вдруг кому-то когда-то пригодится. Вот всё дерево курсов, что у

Speaker A

меня есть, может быть представлено в следующем виде. А в то почти все они есть на Ютюбе, мне кажется, да? То есть у меня есть базовый курс математики для машинного обучения. Вот он не выложен пока. Машин - это то, а с чего мы начнём

Speaker A

этот семестр, да, и где-то лекции пть-шесть у нас будет по базовому машинному обучению. И дальше вы видите, что это является основой для следующего поколения курсов. И там очень много компьютерного зрения, обработки естественного языка и обнаружения аномалий, как курс, который самый

Speaker A

требовательный был к бэкграунду. Он у меня в каком-то урезном видео был на Ютубе. Сейчас не помню, я открыл эти видео или нет, не суть важно.

Speaker A

Так, а, и я, соответственно, раньше, когда я в Казани преподавал, я руководил дипломными работами, магистерскими диссертациями. И, на самом деле, это было классное приключение. А больше тридцати у меня выпущенных учеников. А, так, извините, уважаемые студенты, кто-то Ага, я замючу вас сам,

Speaker A

с вашего позволения, да. А, соответственно, Ой, как много комментариев-то. Так. Ладно, сейчас я, а, к этому вернусь.

Speaker A

А так люди-то смотрят, оказывается. Ладно, я рад всех видеть. Я вижу, что на Ютбе тоже есть просмотры. Это здорово.

Speaker A

Так, да, а на разные разные темы мы с ребятами делали работы, но всегда старались быть на передовой. Это означает, что мы очень рано начали заниматься глубоким обучением, потом мы рано перешли на трансформеры, а на защите в университете. В комиссии никто

Speaker A

не знает про трансформеры, хотя там нейронная сеть 6 лет уже существует. Вот. Но это просто, э, сейчас, соответственно, эта активность моя поугасла. Я не знаю, как-то возрождать её или нет. Мне очень много на это есть времени. Ну и, соответственно, так я

Speaker A

перешёл свой МК, тоже как-то поток дипломников он остановился. Вот. Вот коротко обо мне. И давайте я перейду непосредственно к потерялу лекции. Я сейчас быстренько прочитаю комментарии набечу.

Speaker A

Так, качество хорошее, отлично. Насколько примерно лекция, стандартное время у меня полтора часа. Теперь, э, будет ли запись этого урока? Она, эта лекция, останется на Ютбе висеть. Так, дальше.

Speaker A

А, курс по математике будет очень полезен. Хорошо, Евгений, спасибо. Если я, ну, в общем, я дотянусь руками и сделаю там, как вам сказать, я думаю, что он, в принципе, неплох и довольно такой лайтхар и весёлый, а, местами, но

Speaker A

при этом меня там явно можно спросить: "Вы уверены, что это для я?" И я потеряюсь в ответе. Вот. А давайте перейдём непосредственно к машинному обучению, к нашему любимому искусственному интеллекту. Слова заеженные. Каждый стартап, который хочет поднять денег, обязательно сейчас

Speaker A

пытается это слово добавить. Такую историю мы, на самом деле, уже проходили. Ну, без меня, правда, а где-то там, наверное, в семидесятых или в шестидесятых, в общем, когда было первое возрождение, мы об этом поговорим. Но главное, что, э, этот

Speaker A

слайд, он мне самому поднадоел прилично, но тем не менее конкретно в этом прочтении курса в нём есть определённая ирония. Итак, о чём этот слайд? Этот слайд о том, что мы можем с вами по-разному смотреть на то, что такое

Speaker A

искусственный интеллект. Да, мы могли бы сказать, что искусственный интеллект - это то, что думает как человек.

Speaker A

Да, давайте изучим, как человек думает, и попробуем сделать систему, которая думает также. А потом мы можем сказать: "О'кей, какая разница, как думает человек, если мы хотим решать конкретные задачи, да, и, наверное, нам нужно, а, рациональное мышление, а не человеческое

Speaker A

со всеми его недостатками". На это можно возразить, да, что какая разница, как вы думаете, самое главное то, что вы делаете, да? Если а ваш робот думает рационально, но при этом делает не то, что нужно, то какая разница, что

Speaker A

он там насколько рационально он что думает? Вот и мы можем сказать: "О'кей, давайте думать". Ну, точнее, давайте думать о том, как он должен действовать, да, и действовать в соответствующем направлении.

Speaker A

И мы могли бы так сказать: "О'кей, искусственный интеллект - это то, что действует как человек".

Speaker A

Аа здесь проблема в том, что а люди опять же нерациональны, не всегда хороши во всём, да? А и в итоге приходит всё к тому, что может быть мы сделаем то, что действует рационально. То есть действия направлены непосредственно решение той задачи, которую нам

Speaker A

необходимо решить. Вот это вроде как звучит идеально, да? А-а, неважно, как оно внутри думает, неважно, похоже это на человека или нет. Самое главное, чтобы это решало нашу задачу. И это под этим флагом искусственный интеллект, собственно говоря, и расцвёл,

Speaker A

то, что мы с вами сейчас пожинаем. Но в чём ирония конкретно этого слайда? Ирония этого слайда в том, что сейчас самое мм самые хайповые алгоритмы, тот алгоритм, который вот взорвал всё это, да, это большая языковая модель. И что

Speaker A

забавное, то, что языковая модель, она, вообще говоря, м призвана действовать как человек, скажем так.

Speaker A

Вот. То есть на самом деле она занимается лишь имитацией, а человеческой речи, скажем так.

Speaker A

И выясняется, что этого достаточно для того, чтобы вполне рационально решать какие-то задачи. Вот поэтому в этом ирония этого слайда, что, как ни странно, нас откатило в другую категорию.

Speaker A

а историй в которой находилось всё это время. Вот. Ну и, соответственно, а всё. Вот у меня суперкраткая история, и я сейчас будет.

Speaker A

Я быстро через это всё пронесусь, да. Но всё началось со статьи или вот с тех времён, да, когда вышла статья Тюринга, а Computing Machiner Intelligence, где Тюринг задавал вопрос: "А может ли машина думать?" Все знают, он предложил, а, так называемую imitation game, да,

Speaker A

которую сейчас называют тестом тюринга, который является критерием того, может ли машина думать. И идея в том, что машина должна быть способна в текстовом общении обмануть экзаминатора, да, который пытается понять перед ним машина или человек.

Speaker A

И а здесь смешно то, что я думаю, что сейчас мы можем сказать, ну, то есть, во-первых, тестюринг можно критиковать по-разному, да? Можно говорить, что как прохождение тестатюринга не гарантирует вам интеллекта, так и интеллект на самом деле не гарантирует прохождение тесттюринга,

Speaker A

да, потому что хотя бы если вам нужно взять корень из какого-то числа, да, то человек с этим не справится быстро, а машина справится и, соответственно, это будет её преимущество. Но тем не менее, а тем не менее, ой, я могу же сделать

Speaker A

микрофон лучше, простите. Да. А-а, но тем не менее тесттюринга она из этого не пройдёт, да.

Speaker A

Но почему опять же эти на эти слайды сейчас приятно посмотреть, потому что мы фактически можем признать, я думаю, что машины сейчас вся технология есть для того, чтобы пройти тестюринг. То есть сейчас, э, large model, большая языковая модель - это то, что вам нужно для

Speaker A

прохождения этого теста. И я думаю, что просто никому нет дела больше, чтобы создать систему, которая реально его пройдёт, потому что это будет во многом означать, на самом деле, мм, ну, урезание её возможностей, нежели улучшение. Вот поэтому я думаю, что этот

Speaker A

тюринга сейчас не актуален и в то же время может считаться, он перестаёт быть по-настоящему а серьёзной задачей. Это как раз, кстати про а, действовать как человек, да, то есть эта категория.

Speaker A

А, ну что, самое базовое определение машинного обучения, которое, между прочим, не остаётся мм не становится неактуальным, да, что бы не происходило, это определение вполне а держится, да? То есть говорят, что компьютерная программа обучается на основе опыта и по отношению к некоторым

Speaker A

класса задач T, и потому что experience, потому что task и некоторой мере эффективности P performance. А если эффективность программы при решении задач из T измеряемая с помощью пи, повышается с помощь с опытом и всё, что это значит, что если ваша программа

Speaker A

начинает лучше работать при увеличении у неё опыта и количества опыта, мы с мы с вами можем количество данных интерпретировать как количество опыта, то в этом случае вы имеете дело с программой, которая обучается и, соответственно, с программой машинного обучения.

Speaker A

А о чём это говорит? Это говорит о том, что вам не нужно модифицировать алгоритм программы, вам не нужно менять её код.

Speaker A

Всё, что вам нужно - это делать так, чтобы в неё было больше опыта или добавлять ей больше данных. И это, на самом деле, очень важный, а, очень хорошо объясняет, как мы пришли туда, куда мы пришли. Потому что именно,

Speaker A

а, модификация кода, модификация алгоритма - это то, что идёт тяжело, это то, где вам нужны люди всегда. А данные генерировать системы могут effortlessly, что называется, без каких бы то ни было усилий, да? У вас есть интернет, там есть, э, там есть

Speaker A

площадки, куда выкладывается людьми контент, да, а пишутся научные статьи, выкладываются тоже в открытый доступ. То есть мы как человечество, всё, что мы, всё, чем мы занимаемся с точки зрения интернета, это выкладываем так контент или, иначе говоря, создаём данные или,

Speaker A

иначе говоря, создаём тот самый опыт, на котором какая-то программа смогла бы обучиться в будущем.

Speaker A

Так, а, но тем не менее данное определение остаётся. Что здесь забавно относительно этого определения? О том, что здесь очерчен круг задач, а, ти класс задач, потому что всё время, пока люди всерьёз, ну, то есть, скажем так, у нас всегда

Speaker A

были люди, которые предсказывали, как оно будет в будущем, да, и их сфера интереса - это м не знаю.

Speaker A

О, кстати, уважаемые студенты, давайте я в Zoom остановлю трансляцию видео, чтобы, а, чтобы не занимать канал. И, кстати, я тоже всех остальных попрошу, а, видеотрансляции выключить, чтобы, может быть, было лучше. И давайте я, наверное, в зуме тоже отключу микрофон, чтобы он

Speaker A

вам не мешал, и останется только YouTube. Да. А вопросы будем в Зуме, собственно говоря, обсуждать. Так вот, а те люди, которые непосредственно инженеры, которые занимались этими системами, они работали, а-а, в направлении создания программ, которые могут решать конкретные задачи, узкий

Speaker A

круг задач. И это было справедливо для машинного обучения вплоть до 2022 года. То есть системы, которые создаются, они создаются для решения своей конкретной задачи. Там всё равно было такое движение, да, что теперь для того, чтобы научить систему решать не эту задачу, а

Speaker A

эту задачу, мы приходили всё более к более унифицированным алгоритмам. То есть, а алгоритм я немного забегаю вперёд, да, но главное, что движение, э, которое было там, я не знаю, с девяностых или с начала дх000чных и до текущего момента-

Speaker A

это движение по унификации. То есть, если сначала вам для одной задачи нужны и специфические данные, и специфический алгоритм, потом выяснилось, что вам может быть нужен один алгоритм, да, условно говоря, одна архитектура нейронной для широкого спектра задач, но разными данными определяется, какую

Speaker A

конкретную задачу система будет решать. То есть сейчас мы с вами пришли в ту ситуацию, где мы получаем универсальные алгоритмы. То есть это алгоритм, который сразу для широкого класса задачи может быть использован. И, собственно говоря, в тот момент, когда это широкий класс

Speaker A

задач станет максимально максимальным, да, то есть, грубо говоря, все возможные интеллектуальные задачи, в этот момент мы скажем, что мы пришли с вами к artificial general intelligence, да, то есть к общему искусственному интеллекту или искусственному интеллекту в сильном смысле слова. Тут тоже разные есть

Speaker A

трактовки. Кто-то говорит, что в сильном смысле слова - это тот, который имеет своё сознание, но это такая абстрактная а категория, смотря как определить. А другое определение вполне техническое - это тот искусственный интеллект, который способен решать произвольную интеллектуальную задачу. Вот. И

Speaker A

соответственно, грубо говоря, к чему мы с вами идём? К тому, что в этом определении аа часть по отношению к некоторому классу задач T, а эта часть уходила, да, и может быть она бы оставалась только для того, чтобы мера эффективности для неё была

Speaker A

специфическая. Только это так. Хорошо, мы разобрались, что такое машинное обучение, да? Самая главная идея в том, что мы не модифицируем код, а просто добавляем данные, и система становится лучше.

Speaker A

А, и теперь, что вам нужно знать про машинное обучение? Про машинное обучение нужно знать, что все методы машинного обучения от самых базовых до самых сложных, до CH GPT, до GPT4, ламы 2 и всех этих LM, они все построены

Speaker A

из трёх компонент. Точнее, есть три парадигмы, в рамках которых существует базовый алгоритм машинного обучения. И эти три парадигмы, они порождают всё в разных своих комбинациях. Это обучение с учителем Supervisar, это обучение без учителя unsupervised learning и обучение с

Speaker A

подкреплением reinforcement learning. Вот из этих трёх компонент строится вообще всё. И, а, я это говорю очень уверенно, потому что, скажем так, у меня был период, когда я когда-то вычитал это в каком-то там учебнике, поверил в это, потому что у меня не было

Speaker A

опыта, а рассказывал об этом на лекциях, как о том, что я вычитал в учебнике.

Speaker A

Потом мой кругозор расширялся, и я находил как бы опровержение этому утверждению. Я видел, есть там есть transfer learning, есть ээ self supervised learning, есть generative adversarial learning и так далее. И что стало понятно потом мне, что на самом деле там всё равно внутри вот эти

Speaker A

три компонента. Более сложных парадигм обучения - это просто микс из вот этих базовых инструментов.

Speaker A

Так, то есть, скажем так, это три химических элемента. А-а, тут, ладно, не буду в эту метафору глубоко заходить.

Speaker A

Да. То есть, что вам нужно понимать, что из этих трёх компонент строятся разные подходы к обучению. Вы можете увидеть, что о, вот это там self supervised learning. Это, кстати, очень сейчас популярный концепт, важный.

Speaker A

Вот. Но вы должны понимать, что это self supervised learning, это на самом деле, а supervis learning, просто он там немного по другим соусам, но все принципы те же. Вот. И уже из этих парадигм обучения мы можем с вами

Speaker A

получать разное разное применение. и перечислять. Аэ, я раньше как бы на первой лекции по машином обучению я перечислял, а для чего может применяться машинное обучение. И сейчас понятно, что машинное обучение может применяться по сути для всего аа всегда,

Speaker A

когда вам не нужно физически взаимодействовать с миром, да, и вы это просто интеллектуальная задача, которую можно решить, выдав текст, изображение или ещё что-то, то машиное обучения это решается. Сейчас это совершенно универсальная технология. То есть когда ты думаешь, что бы мне предложить, я не

Speaker A

знаю, потенциальному заказчику с точки зрения машинного обучения. Это всё больше похоже на то, чтобы чтобы объяснять, а зачем нужно электричество, да? Или а как вы, а зачем мне нужно электричество? И вы, ну, для всего. И также здесь с машины обучением сейчас

Speaker A

именно так обстоит ситуация. Вот. И, а, единственное, где сейчас есть некоторые, скажем так, недоработки, а-а, это, наверное, когда надо взаимодействовать с физическим миром, да? То есть без автономная автономные автомобили, да, autonoms Ding, а робототехника, она чуть-чуть плетётся позади, потому

Speaker A

что там тяжелее, там, но много дополнительных нюансов. Это ограничения связанные с тем, что если у вас автономный робот, да, то у него там конечная батарейка, у него конечныетельные мощности, он не может там в реальном времени обрабатывать что-то в облаке, у него серьёзные

Speaker A

требования к, а-а, ко скорости обработки, да, потому что если эта машина быстро едет, то ей, очевидно, надо быстрое принимать решение. Там высокая стоимость ошибки, да, потому что ошиб машина, которая делает неверное решение, да, оно врезается куда-то, люди погибают,

Speaker A

которые в ней едут. Это, ну, никому это не нужно. Вот. Аа а вы учат GPT просите составить вам план какой-то презентации, там цена ошибки невысока. Она предложила вам плохой план, вы думаете: "О'кей, ну я перегенерирую" или ещё что-то, но тем не

Speaker A

менее никто не погиб, никакой ущерб не нанесён. Вот поэтому, понятное дело, с работотехники тяжело. И там есть симуляторы, например, для дронов, где, а, обкатываются алгоритмы, да, потому что переходить в эксперименты с реальными физическими объектами, ну, это проблема.

Speaker A

Вот, тем не менее, там тоже всё а продвигается и не в последнюю очередь благодаря последним продвижениям в машинном обучении и, как ни странно, больших языковых моделях. То есть сам принцип а большой модели, а которая обучена в режиме Selfвайс на огромном

Speaker A

количестве данных, это мощная идея, которая в робототехнике тоже используется. То есть там уже а-а что-то типа video action language models, такого сорта модели, да, но в любом случае, а если вы хотите решать задачи компьютерного зрения, да, то есть понимать, что на изображение,

Speaker A

что на видео, это, естественно, машинное обучение, там какой текст написан, тоже сюда входит. А тот человек или не тот человек, да, распознавание лиц системы, это эти очень популярны. Вот, а-а, генерация нового контента, генеративный AI или там Generative AI, если на

Speaker A

английском говорить, да, это супер большая сфера сейчас, потому что, а, выясняется, что сколько угодно можно спорить, говорить о том, что машины не могут быть креативные, а люди могут.

Speaker A

Это, на самом деле, исключительное, на мой взгляд, религиозное убеждение. То есть, если вы хотите считать, что у чека есть что-то такое, чего нет у машины, ну, вы можете это считать. Это будет нефальсифицируемое знание, да? Это будет, ну, вот с точки зрения

Speaker A

позитивизма, там и Карла Поппера вот изучают в аспирантуре такие вещи. Критерий научности знания или научности гипотез, да? И критерий такой, что а гипотеза научна, если она фальсифицируема. А фальсифицируемость - это возможность провести эксперимент, при каких-то исходах которого эта

Speaker A

гипотеза будет опровергнута. Соответственно, предположение, что чеку свойственной креативности машине нет - это гипотеза, которая нефальсифицируемая. Вы не можете представить эксперимент, который это докажет.

Speaker A

Вот поэтому это исключительно как бы тело вкуса. Считаете вы так или не считаете вы так, да? Но точно можно сказать, что искусственный интеллект со всей, ну, скажем так, способен выдавать уровень креативности, который по всем формальным критериям будет засчитан как

Speaker A

креативность, да? То есть, а, генерация интересных изображений на основе текста. Я думаю, что все с этими технологиями уже аа поработали или поиграли. А вы результаты знаете, да? Я не знаю, как сейчас выживают те люди, которые это делали профессионально. Мне самому очень

Speaker A

интересно. Вот. Но я думаю, что они, у них количество работы должно было уменьшиться. Вот.

Speaker A

А что касается любых игр, да, от шахмат, ну там ещё как бы примитивные технологии победили человека. Но это, кстати, тоже забавный момент. То есть вот смотрите, Каспаров проиграл Deп в девяносто седьмом году, и Deблю - это был, ну, это

Speaker A

была простая система, я так понимаю, что во многом переборная. Там точно не было современных алгоритмов обучения с подкреплением. То есть те, которые там лежали в Alpha Zero, Alpha Star и всех этих новых разработок от Deepm, да, но Альфазира сейчас в шахматы играют лучше,

Speaker A

чем люди. И что самое интересное, что это не просто, вы знаете, м лучше, чем люди с той точки зрения, что человек там зазевался, устал, совершил неверный ход. А эта система принципиально по-другому играет. Я не шахматист, я как бы когда-то там в

Speaker A

детстве играл, ходил в какие-то кружки, но, э, в шахматах я не очень хорошо разбираюсь и, соответственно, естественно, не могу понять красоту партии в на каком-то высоком уровне. Но я смотрел видео, где, а, гросместе разбирают, как играет Альфа Zero, и они

Speaker A

просто благоговеют перед этой системой и перед тем, как она, какие она решения принимает. То есть они говорят, что аа качество ходов принципиально не такое, как играют люди. То есть люди там очень переживают за фигуры, чтобы фигуры не потерять. Альфазира там легко

Speaker A

разменивают фигуры ради там контроля над полем, что-то такое. То есть позиция всегда красивая, лёгкая, э легко вот жертвует фигурами, людей удивляет. Это, кстати, интересно, да, потому что люди-то в шахматы играют довольно давно.

Speaker A

И когда у вас есть соревнования, то понятное дело, что, ну, коллективное мастерство растёт, мастерство, скажем так, лучшего игрока.

Speaker A

Это во всех видах спорта наблюдается. И забавно, что м людям все вся их история игры в шахматы, она они по-прежнему прилично отстают от машины, скажем так, качественно. И сейчас они учатся у Альфазира, а играть. И там стыдно эти

Speaker A

истории, где они на турнирах, а пытаются списать, скажем так, да. А получается, в 2016 году Лисидоль проиграл в ГО в системе от Deep Mind.

Speaker A

Это Alpha Go. Как раз вот большое было очень событие, э, может быть, не знаю, меньшее событие или большее. А, Альфа Star выиграл у лучших игроков в Starcraft. Это во многом во со многих точек зрения более интересная, ладно, не более интересно, более сложная

Speaker A

игра, чем GO, потому что большее количество состояний, есть туман войны. И да, там единственный момент, что AI гораздо лучше на микроуровне контролирует всё, да, но там тоже пытается ограничить это. В любом случае решение тоже принимает интересные.

Speaker A

Вот. Ну и, наконец-то, мы с вами сейчас коротко посмотрим, как всё а развивалось с большими языковыми моделями, да, для того, чтобы контекст какой-то курс дать.

Speaker A

То есть GPT3 - это вот большая языковая модель от Open AI, которая всех прилично удивила, да, если её там зафантюнить на программном коде, она может оказывается да дописывать программные функции. А Пал модель там 540 млрд параметров, если я не ошибаюсь,

Speaker A

да? А-а, она, получается, смогла объяснять шутки, да, сейчас это смешно звучит, потому что чат GPT всё это, очевидно, может, да, но это было удивительно тогда, когда это появлялось.

Speaker A

Вот. А, ну и, соответственно, там большие языковые модели, которые способны были решать задачки мм для вступительных экзаменов в технические вузы.

Speaker A

И получается, что у нас с вами мы могли бы вот так описать. Вот тут одного у меня пунктика не хватает, он сейчас появится на следующем слайде, да, но а если в итоге суммировать, да, какая у нас история была искусственного

Speaker A

интеллекта, ну как суммировать, я о ней, кстати, не рассказал, да, я просто упомянул статью тюринга, а потом перешёл к возможностям. Ну хорошо. А сейчас о возможности я говорить не буду, потому что машина обучение как бы может всё. Если вы это можете, да, и вы это

Speaker A

можете м просто с со своей клавиатуры, да, своего ноутбука что-то куда-то написать или в фотошопе что-то нарисовать, скорее всего, и я это либо может, либо скоро сможет, да, здесь пессимисты относительно того, что я им сможет, когда бы это ни было, они в

Speaker A

целом проигрывают. Вот сейчас это как бы так очевидно становится. И да, если коротко очень описывать историю искурсного интеллекта, то вот у нас в сороковых пятидесятых всё зародилось.

Speaker A

Тюринг написал статью, было безумное воодушевление да пятидесятые шестидесятые. Научили компьютер играть в шашки, очень базовый машинный перевод.

Speaker A

Думали, что переводчики будут больше не нужны. Думали, что, э, роботы там через 10 лет заполонят общество. Вот. Но потом выяснилось, что вот такой эффект дайга Крюгера был у общества и специалистов, да? То есть там забавный момент с ладно, это у меня где-то этот слайд

Speaker A

здесь нет. Вот. А, да, считали, что за месяц может быть получен, ой, не за месяц, а за лето значительный прогресс, ээ, в искусственном интеллекте может быть создана система, которая там может произвольные задачи решать. Это в шестьдесят шестом году было. Вот,

Speaker A

естественно, даже не рядом. И после в какой-то момент произошло насыщение, скажем так, э, алгоритмическое, да, то есть алгоритмы достигли до какого-то своего потолка. И вот шестидесятый, семидесятый, восьмидесятый, этот период иногда называют, э, зимой искусственного интеллекта AI Winter, когда

Speaker A

глобально было разочарование, люди переходили к экспертным системам, пытались собирать, а, пытались создать системы формального такого манипулирования знаниями и пытались эти знания там как-то накапливать. Вот в девяностых перешли к цитическим подходам. Это вот наше с вами неглубокое машинное обучение. И здесь,

Speaker A

собственно говоря, а цветёт до 2012 года, когда появляется обучение глубокое. Там, на самом деле, 2011, но все заметили в 2012.

Speaker A

В 2017 году появляется нейронная сеть трансформер. И это тоже в каком-то плане остаётся, а, слабозамеченным, потому что в обработке естественного языка там вот получили результат на основе нейронной сти, которая лучше, чем там то, что было до этого. Вот. А и точнее, которая

Speaker A

сильно отличается. Результат там сколько-то лучше. Но а беды, скажем так, ещё не почувствовали. И вот, наконец-то, с 2022 года у нас с вами есть большие языковые модели. Это мы с вами пожинаем плоды, а, появления трансформера.

Speaker A

И соответственно поэтому это очень важная архитектура. И, э, мы, то есть, смотрите, с 2012 по 2020 где-то в целом это эпоха доминирования свёрточных нейронных сетей. Там где-то в 20145 был всплеск интереса к рекурентам нейронным сетям LSTM, которые появились

Speaker A

при этом в деном. Но тем не менее сейчас мы с вами LSTМ можем вообще счастливо похоронить, потому что трансформер это полностью заменяет, и он вытесняет свёрточные нейронные сети из компьютерного зрения тоже. То есть для практического, скажем так, для

Speaker A

практической работы в компьютерном зрении современном вам свёрточные нейронные сети знать нужно. Но тем не менее, если мы просто с вами говорим о том, что нужно знать машинам обучении для того, чтобы было легче всего понимать то, что появляется прямо

Speaker A

сейчас, то даже свёрточные нейронные сети мы можем с вами убрать и оставить только трансформер, потому что это универсальная а вещь, которая и в обработке естественного языка, и в компьютерном зрении показывает выдающиеся результаты. Вот и это тоже влияет на то, как наш курс с вами будет

Speaker A

строиться. У нас с вами осталось ещё а 40 минут. Мне кажется, что у меня материала довольно много. Я постараюсь ускориться. Но главное, что 2022 год он, а, в истории останется а не только а российским вторжением в Украину, но он останется в истории и как

Speaker A

год, когда а появились большие языковые модели, которые перевернули, в принципе, мир. Вот. И, а-а, в общем, Openгеamer, я не знаю, смотрели вы или нет, да? То есть, когда очень умный человек на благо общества, как он считает создаёт мощное оружие, да, то у нас Джофри

Speaker A

Хинтоном, который один из крёстных отцов машинного обучения, очень схожая история произошла. То есть он стоял у истоков очень-оченьочень много чего, в частности глубокого обучения. И, естественно, он напрямую причастен к тому, что мы получили сейчас с большими ковыми моделями. Вот. И он, я так понимаю, из

Speaker A

Google ушёл и серьёзно переживает за то, куда сейчас всё катится в плане прогресса искуственного интеллекта. Но это уже не остановить. Джин из бутылки выпущен, поэтому это у нас с вами с этим нам надо будет как-то жить и подстраиваться под это. И я не могу

Speaker A

сказать, что это очевидно, как это делать. Вот мне понятно, как мне жить, а вот как вам жить, мне не очень понятно.

Speaker A

Я имею в виду студентов, да? То есть вот вы сейчас выходите в этот мир, и а-а мне очень интересно, как вы сможете выстроить свою карьеру при том, что эти модели есть прямо. Ну то есть я не сомневаюсь в этом, но мне

Speaker A

она точно будет это будет работать по-другому, не так, как в мои времена, скажем так. Так. А, да, значит, неглубокое машинное обучение, да, что у нас было до 2012 года. Много нужно было посвящать усилий к тому, чтобы разработать алгоритм. Под

Speaker A

каждую новую задачу разрабатывался новый алгоритм, новые способы вычисления характеристик, например, на основе изображения. Сам алгоритм машинного обучения скажем ладно позвольте я переключусь сюда и поясню, что я имею в виду.

Speaker A

Значит а у нас здесь есть какой-то объект, с которым мы работаем, да, которым который подаётся на вход нашему алгоритму.

Speaker A

Например, это изображение. Вот. А оно подаётся куда-то, а потом оттуда оно подаётся в алгоритм машинного обучения.

Speaker A

и алгоритм машинного обучения вот этот, да, здесь мы получаем результат, да, на выходе. М, если мы с вами оставим всё вот так, то вам действительно от задачи к задаче даже алгоритмыши вам не нужно будет разрабатывать новый алгоритм машинного

Speaker A

обучения, да? Даже если мы с вами находимся в рамках парадигмы неглубокого машинного обучения, то а вам ничего здесь разрабатывать не нужно будет. У вас будет набор, вот представим, что мы с вами находимся в начале нулевых. У вас есть какой-то набор алгоритмов, а,

Speaker A

машинного обучения, и вы под разные задачи можете разные алгоритмы использовать при условии, да, что вы подаёте на вход сам объект, саму картинку, да, все пиксели представили в виде там, э, значений красный, зелёный, синий компонент, э, цвета в массив

Speaker A

поместили и подали на фотоалгоритм. С этой точки зрения, да, вам не нужно будет, а, ничего принципиально изобретать для каждого задачек. Какая есть проблема? Проблема будет такая, что вам необходимо будет, точнее, это будет плохо работать. Вот поэтому, э, как это

Speaker A

всё работало раньше, был ещё один шаг между самим объектом и алгоритмом машинного обучения неглубоким. Этот шаг занимался тем, что он строил векторное представление для нашего с вами объекта.

Speaker A

Vector representation. [откашливается] Сейчас я хочу это написать разборчиво, с вашего позволения. Я помню, что все очень любят это ждать, когда я это делаю.

Speaker A

Итак, а строится векторное представление этого объекта, и потом это всё отправляется на вход к алгоритм машинного обучения. И выясняется, что этот шаг он, то есть он главный, не алгоритм машинного обучения, а вот этот самый шаг, построение векторного представления.

Speaker A

И от того, как вы решите эту задачу, зависело зависело качество решения. А, ну, в смысле, итоговые проблемы. И чем люди занимались, да, у них был какой-то набор алгоритм машинного обучения, они не придумывали под каждую задачу новый, но они под каждую задачу

Speaker A

придумывали новый способ построения вот этих самых векторов. То есть как мне вектором описать моё изображение или мой текст или аудио, или ещё что-то такое.

Speaker A

Вот. И, соответственно, туда уходил, а, уходила вся энергия и время инженеров, там, например, компьютерного зрения.

Speaker A

Соответственно, вот у меня вот такая картиночка есть, да? Смотрите, здесь все ресурсы, которые есть, и чем больше текст, тем больше этого было нужно, да? Если маленький текст, то мало этого было нужно.

Speaker A

Результаты, если написаны маленьким шрифтом, то то они не очень, а если большим шрифтом, то очень. Вот, соответственно, когда мы с вами работали с неглубокими алгоритмами, у нас с вами значительный вклад требовался от инженеров, engниer effort, да, большими буквами, но нужно было мало данных, не

Speaker A

нужно было их особенно, ну, то есть мало данных, разметить их легко, размечать их нужно было, а достаточно небольших вычислительных мощностей, достаточно было процессора, и, соответственно, мы получали так себе результаты.

Speaker A

Потом, да, и, собственно говоря, вот вот так это выглядело, да, у вас есть картинка, у вас есть вычисление характеристик или иначе говоря построение самого векторного представления, потом машинное обучение и вы получаете результат.

Speaker A

Когда пришло у нас Так, стоп, сейчас я посмотрю, что у меня по слайдам-то и немного Ага.

Speaker A

Да, хорошо. Соответственно, в компьютерном зрении, да, когда мы с вами строили векторное представление, использовались разные разные подходы.

Speaker A

Характеристики Хара для обнаружения лиц, гистограмма ориентированных градиентов для обжения пешеходов - это 2005 год, а Shift - это Scale Invariant, Feature Transform - это вот ключевые точки, так называемые очень красивые алгоритмы, между прочим, и многие задачи по-прежнему с помощью них бы решались,

Speaker A

и, возможно, ещё немного решаются. Но понятное дело, что когда-то ключевые точки - это было прямо всё. Вот. И там surf - это ускоренный сив, скажем так.

Speaker A

Вот. Очень интересные алгоритмы. Вообще классическое компьютерное зрение, потрясающая сфера с большим количеством классных алгоритмов. Очень жалко, что это вс всё почти не используется.

Speaker A

Но что произошло у нас с вами дальше? Аа у нас с вами произошло вот что. 2012 год. Алекшевский, Илья Суцкевер и Джофри Хинтон, тот самый, который я уже упоминал, выпустили статью Imagnet classification with Deep Convolutional Neural Networks. Значит, э

Speaker A

это Imagnetet это большое соревнование было огромный датасет, там миллион изображений, тысячи классов. И, а, получается, что в 2012 году победили нейронные сети. А сразу скажу, что нейронная сеть - это был не новый алгоритм. Нейронные сети существовали и раньше, там, я думаю, семидесятые,

Speaker A

восьмидесятые. Просто они не показывали хороших результатов и, вообще говоря, аа ими разочаровались и ушли там в сторону бустингов, деревьев решений и randomмфо.

Speaker A

Вот. Но здесь особенность была в том, что появилось слово глубокие нейронные сети и свёрточные, то есть deep convolution. Это важно здесь. То есть здесь сам алгоритм был переработан и, соответственно, был обучен на большом объёме данных и получил лучший

Speaker A

результат. Естественно, с тех пор вы начинаете неглубокие решения, больше не побеждали. Вот. И аа сейчас я вот тут несколько слайдов пропущу, потому что это про глубокое обучение, какие там технологии, когда они используются, да, про свёртки, рекурентности внимания. Это немного не в

Speaker A

не скоуп нашей сегодняшней лекции. Главное, что вы должны знать, что глубокое обучение пришло, оно никуда не уйдёт. И а это основные инструменты, которые у него есть. Вот это получилось, потому что данных стало много, потому что были улучшены алгоритмы и были улучшены вычислительные

Speaker A

мощности. Сейчас я в эти вещи вдаваться не буду, потому что это уже мы говорим с вами про ту революцию, после которой была другая революция. Вот. А у нас ещё будет как бы первая лекция по глубокому обучению, и там мы с вами эти вещи все

Speaker A

рассмотрим. Но главное, что мы при переходе к глубокому обучению перешли вот от этой картины к этой. То есть теперь принципиальное отличие глубокого обучения от машинного обучения неглубокого в том, что вот этот шаг, а vector presentation, он стал частью

Speaker A

алгоритма машинного обучения. Это у нас deep learning система такая. То есть, а теперь вам не нужно больше инженеров привлекать в построение векторных представлений. у вас алгоритм это сам выучивает. И мало того, новый алгоритм тоже придумывать не надо. То

Speaker A

есть вы берёте один и тот же алгоритм, одну и ту же архитектуру нейронной сети.

Speaker A

И для любой задачи компьютерного зрения, ну, скажем так, для любой задачи там обножения объектов, например, э чтобы вам не нужно было обнаруживать, вы будете решать это одно и той же архитектурой. Просто разные данные будут приводить к тому, что вы будете получать

Speaker A

разные результаты. Так, соответственно, когда пришло глубокое обучение, усилия инженеров были снижены, потому что им не нужно было тратить время больше на а на то, чтобы придумывать хорошие векторные представления. И видите, вообще история прогресса машинного обучения, как я уже говорил, это история

Speaker A

в каком, простите, это [откашливается] история унификации. Но если посмотреть немного под другим углом, то это будет история снятия ботлнеков. Ой, простите у меня слайд-то. Вот этот слайд, да?

Speaker A

История устранения ботлнеков. И очевидно, что инженер, да, это был botlк. Но теперь смотрите, вам нужно много данных для глубокого обучения. Эти данные должны быть размечены annotation большим шрифтом. Вам нужны вычислительные ресурсы GPU. Уже на процессоре это не обучить. Вам нужны видеокарты. Вот. И вы

Speaker A

получаете куда более аа качественные результаты. То есть это был прямо взрыв интереса с точки зрения, а, ну, то есть со стороны бизнеса, например, со стороны всех в там пна-шестнадцатом году, то есть вот с некоторой задержкой после непосредственно появления технологии.

Speaker A

Так, сейчас, секундочку. У меня кто-то из студентов испытывает сложности. Так, хорошо. А мы можем а-а так, уважаемые студенты, мы давайте мы с вами сейчас не будем решать эту проблему. Диана, я вас прошу пока просто посмотреть на Ютбе. Вот. И,

Speaker A

соответственно, в конце сделаем секцию для вопросов. Зайдёте в Zoom и зададите вопрос. Отлично. Так вот.

Speaker A

Мы получили с вами результаты лучше, и со всей стороны был интерес, деньги пришли в machine learning, и всё это более-лименее зацвело. То есть это в каком-то плане, да, вот на этом интересе я в каком-то плане построил там аа

Speaker A

карьеру, личный бренд и всё такое, потому что а я вошёл в machшинг, получается, в 2014, когда вот эта вот волна начиналась. Вот. Но что интересно, что в какой-то момент интерес со стороны э бизнеса так или иначе пропал или

Speaker A

ослаб. Некоторое охлаждение наступило, потому что выяснилось, что технология всё-таки не она имеет ограничения. Эти ограничения значительные, и разработка этих систем не недешёвая. И одна из причин для этого, да, - это необходимость аннотации, то есть разметки данных.

Speaker A

Что произошло потом? А точнее, как как мы жили с 2012 по 2017, это очень коротко пробегу. У нас было высокое разнообразие всевозможных архитектур, да, то есть свёрточные нейроны сети применялись для компьютерного зрения, рекурентные нейронные сети применялись для обработки текста и для аудио. И там

Speaker A

свёрточные нейронные сети применялись для там генерации контента. В 2017 году появился трансформер. Он появился в сфере обработки естественного языка. И статья называлась attention is all un need, то есть внимание - это всё, что вам нужно.

Speaker A

И там предлагался новый а механизм, новый строительный блок нейронной сети. То есть мы об этом с вами будем говорить на первой лекции, ну, этого курса, но которая будет посвящена непосредственно глубокому обучению. А вместо свёрток и рекурентности пришло внимание, да? И, соответственно, статья

Speaker A

называется внимание - это всё, что вам нужно. Эта отсылка, очевидно, и аа к песне Beatles, скорее всего, да, All you need is Love. Там была строчка Love is all you need. И в то же время, а, очень такая короткое название, такое catch

Speaker A

phrase, и вы сразу видите, что, ну, что-то действительно изменилось, да? Вам говорят, что нужно только внимание, там отказались от рекурентности отвёрток и получили хороший результат. Вот. И куда всё шло с 2017? Очень коротко я поясню.

Speaker A

Во-первых, трансформер начал доминировать вообще всё. То есть, э, лучшие результаты сейчас во всех, а, областях, где применяются машинное обучение, получают с помощью архитектуры Трансформер. Будь то зрение, будь то обработка естественного языка, будь то генерация чего бы то ни было, будь то

Speaker A

распознавание речи, это трансформер. Соответственно, сейчас это та архитектура, в которой нужно разбираться, если вы хотите смотреть в будущее. Если вам нужно какой-то там Legacси код разбирать, то, конечно, там или, не знаю, вам прямо сейчас нужно решить практическую задачу. Е, у вас не так

Speaker A

много вычилительных ресурсов, тогда можно там, э, инвестировать время в том, чтобы разобраться в свёртках. Но, а, ну, точнее, если вы хотите быть хорошим специалистом, вы должны это сделать. Тут даже обсуждать это не нужно. Но конкретно сейчас я, когда для, а, тех,

Speaker A

кто только входит в машинное обучение, да, делаю курс, то я хочу вас довести вот до этой точки, да, потому что там путь очень длинный. И разби сейчас, Ладно, в общем, идея понятна.

Speaker A

Трансформер доминирует всё. Дальше пришли методы self supervised learning. Что это такое? Это методы, которые позволяют вам, если у вас есть очень много данных, но нет какой бы то ни было разметки, получать хорошие модели при условии, что у вас есть большое

Speaker A

количество вычислительных ресурсов. То есть требования к данным. Данных нужно ещё больше, аннотации нужно намного меньше или почти не нужно, нужны большие вычислительные ресурсы, да, и, соответственно, получаются ещё более интересные результаты. На принципах self supervise learning построено, собственно говоря,

Speaker A

э всё вот это наша с вами хайповая, да, большие языковые модели. По большому счёту, это sales supervised learning.

Speaker A

Потом можно в разных разрезах посмотреть. Вот третий тренд, ключевой, на самом деле, из всего этого списка в каком-то плане, да, или комбинация предыдущих двух - это так называемые foundation models, то есть фундаментальные модели. То есть речь о нейронных сетях, которые очень большие,

Speaker A

там очень много параметров, они обучены на огромном объёме данных, как правило, на основе технологии Selfise Learning и, как правило, это трансформеры. То есть, видите, предыдущие два тренда слопаются вместе, получается этот. И у этих сетей были так называемые эмержентные

Speaker A

свойства. Эмержентные свойства - это свойства, которые никто не планировал, но они появились. И а эти свойства включали в себя их универсальность.

Speaker A

Да, я думаю, что это са. То есть, грубо говоря а мы с вами получили модели, которые могут решать широчайший класс задач. То есть примеры Foundation Models - это как раз GPT3 или GPT4. То есть после этого вы делаете небольшую там надстроечку, да, и

Speaker A

получаете такой сервис, как Chat GPT или Chat GPT+, и они способны, а, способны заменять людей на в произвольных э областях да интеллектуальной работы.

Speaker A

Вот, собственно говоря, переход вот этим к Foundation Models - это то, что произошло совсем недавно. То есть в 2017 году такого особенно-то и не было.

Speaker A

Самый, наверное, явный такой пример Foundation Models - это то, что, ну, то есть такого термина не было и такой логики не было, но то, что когда вы обучали детектор на какую-то свою задачу, вы часто брали backбоone предобученный на иднете. Вот самое

Speaker A

близкое, что у нас было, да, transfer learning. Сейчас выясняется, что вам даже можно не фантюнить частю модель, а вы просто её берёте готовую, и она решает вашу задачу.

Speaker A

А, да, соответственно, Foundation Mess - это часто как раз большие языковые модели, да, здесь я просто перечисляю коротко историю.

Speaker A

У нас об этом было. И, соответственно, когда добавили Human Feedback, да, reinforcement learning based on human feedback, то есть небольшая разметка от людей, где люди действительно там поясняют нейроность, что они от неё ждут, мы с вами получили, точнее, не мы,

Speaker A

а Open получила систему Chat GPT, да? То есть вот вот вам искусственный интеллект. который способен с вами поддержать разговор, который способен, а, который помнит, что вы хотели там, то есть помнит ход разговора, да, и вы можете отсылать к началу этого

Speaker A

разговора. У него очень широкие знания о мире, и это по-настоящему аа трансформирующая будет сила во всём, что касается рынка труда. Вот.

Speaker A

Вот, собственно говоря, там, аэ, как, чем это отличалось от простой language model. Теперь давайте поговорим о нашем с вами курсе. То есть я вам дал какой-то какой-то контекст, да, куда машинное обучение шло всё это время и к чему оно пришло. То есть главные тренды,

Speaker A

да, Selfise learning, Transформер, который доминирует всё. Foundation Models - это огромные трансформеры, обученные с помощью SS learning на огромном количестве данных. И на самом деле там ещё diffusion models, то есть генерация изображений на основе текста.

Speaker A

Давайте я чуть-чуть назад проеду, просто поясню. У меня, оказывается, слайдов не было на эту тему отдельных.

Speaker A

Вот получается последний пункт здесь diffusion models. То есть, если до этого генерация контента осуществлялась, самые лучшие методы были это генеративно-состязательные сети или, иначе говоря, ганы. Если вам это интересно и вы хотите науч лекцию посмотреть про это, у меня есть на моём

Speaker A

канале, она называется Fantasia от AI. Э, я не помню, какой это год, но девятнадцатый наверное тогда когда ганы были самой горячей темой. Вот сейчас это не так, да? Сейчас diffusion models захватили генерацию качественного контента и, соответственно, на этом построен там

Speaker A

stable diffusion, med journey и так далее. Вот. Но что интересно, что ганы тоже не ушли. Недавно вышел гиган, который, а, очень качественное изображение генерирует очень быстро, быстрее, чем stable diffusion. Вот. Так что, может быть, рано, а ганы списываются со счетов. Вот это

Speaker A

ещё один важный тренд. Так. И теперь, когда у вас есть весь этот контекст, давайте мы с вами поговорим о том, чему будет посвящён наш этот курс. Во-первых, а я предполагаю, что у вас нет никакого знания, то есть от слушателей я не жду знания в области

Speaker A

машинного обучения. Это касается и студентов Михматы, это касается там слушателей на Ютбе, которые зайдут посмотреть этот стрим или эти лекции в будущем. Это не нужно. Вот. А тем не менее от вас нужно понимание а математики определённое, да? То есть

Speaker A

знание, что такое производная, что такое градиент а понимание того, что градиент показывает скорость неисходской роста функции, да?

Speaker A

критерии, а критерии, например, локального минимума, локального максимума, да, что у нас вектор градиента должен быть равен нулю, например, нулевому вектору или там производная равна нулю. А представление о сцепном правиле дифференцирования, это всё нам с вами пригодится. Ну и,

Speaker A

соответственно, некоторые некоторое понимание теоре вероятности. Вот что касается событий, независимых событий, это мы с вами, ну и, соответственно, нормальное распределение.

Speaker A

Вот. Но по сути, да, мы с вами берём курс machine learning, берём курс modern deep learning и из них делаем один большой такой суперкурс. Вот из машинного обучения, во-первых, если вам интересно, вы можете мои курсы по машинному обучению посмотреть. 2018 он

Speaker A

вживую в аудитории прочитан, потом ковидные времена и потом уже аа получается иммиграция. Вот. То есть они вот последние два они удалённо прочитаны, а в 2017- это в аудитории он поживее, но я там и я там поживее и помоложе, и опыт у меня поменьше. Вот.

Speaker A

Так что тут уже на вкус и цвет. Но в рамках данного с вами данного курса мы с вами рассмотрим первые четыре темы из базового курса по машинному обучению.

Speaker A

Единственное, что я не гарантирую, что это будет ровно четыре лекции, потому что я допускаю, что я ещё добавлю немного.

Speaker A

Думал на следующей лекции, не обещаю, что так получится, да, просто немного перспектив добавить. Это алгоритм машинного обучения, что мы от него ждём.

Speaker A

А что нам нужно измерять точность, вообще говоря, да, какие-то основные принципы. Вот, может быть, мы об этом ещё немного поговорим так абстрактно, но неточно.

Speaker A

Вот, соответственно, первые четыре 5-ше лекций будут в рамках неглубокого машинного обучения. Но почему мы там будем находиться? Потому что вот эти четыре темы - это то, что нам дальше будет нужно. То есть без изучения этих моментов, а дальше продвигаться смысла нет.

Speaker A

Почему? Потому что вот эта система, да, что у вас есть векторып презентеation, после этого есть алгоритм машинного обучения. Вот самые современные системы искусственного интеллекта, они по-прежнему выглядят вот так. А что у вас вот здесь вот в этой части

Speaker A

алгоритма? Да, это логистическая регрессия, это линейная регрессия, это ровно то, что мы с вами будем изучать в рамках, а, первых лекций. То есть считаете, что это уже deep learning course, да? Просто тот deep learnings, который, а, такой курс по глубокому

Speaker A

обучению, самому современному глубокому обучению, который не требует у вас бэкграунда. И вот это те части, вот это вам нужно для понимания современных нейронных сетей.

Speaker A

А дальше, а, смотрите, я читал курс по deep learningнгу. Он у меня на Ютбе сравнительно популярный. Ну, у меня не самый популярный вообще канал, э, но, скажем так, в рамках моего канала это довольно популярный курс, и мы от него оставим только то, что нам

Speaker A

нужно для трансформеров. Этот курс был посвящён свёрточным нейронным сетям. Да, он, а, с многослойного персикрона доходил до ресnet, да. Сnetнет - это, наверное, самая, а, ну, та главная свёрточная нейронная сеть, скажем так, в компьютерном зрении, да. Там многие

Speaker A

мудификации выходили ит совершенствовался, но основная идея осталась той же. И весь курс был построен на том, чтобы людей от самых основ довести до риснета, не пропустив ничего. То есть к тому моменту, как вы доходите до конца курса, вы знаете VGG,

Speaker A

вы знаете, и вы знаете все нюансы в реснете. Почему так? Почему там Skip Connection? Почему BCH normalization?

Speaker A

Что такое бач, тоже знаете. Но а дело в том, что если будущее за трансформерами, а в компьютерном зрении у нас с вами доминирует Visionт transформер, да, уже неet, то не всё из этого нужно.

Speaker A

И да, вот это курс, который я в двадцать втором году прочитал, он немного модифицирован. Обратите внимание, что Visionт Transформер добавился в качестве последних лекций.

Speaker A

Вот. Но теперь, а значит, получается, весной этого года я прочитал курс, который я назвал Modern Deep Learning.

Speaker A

Это курс, который был посвящён исключительно трансформерам. Предполагалось, что вы знаете основу машинного обучения. И вот мы с вами говорим о трансформерах. Эти лекции доступны. Там ещё одну лекцию я хотел дочитать, так и не собрался, к сожалению. Летом меня немного

Speaker A

разморило. Вот. Но, может быть, соберусь, там увидим. Давайте, не буду обещать. Вот. Но 15 лекций там есть про трансформер. Вот от самых основ до, ну, в общем, очень подробно мы разбираем все нюансы. Вот тот курс, который мы с вами

Speaker A

разбираем в этот раз, да, это будет первая лекция по неглубокому машинному обучению, самые основы, самая база машин-лернинга, которая нам нужна. для курса по трансформерам, для modern deep learning. И мы дальше переходим вот в этот самый курс. Вот он будет немного

Speaker A

модифицирован, естественно, потому что это был первый подход к снаряду. Там всегда хаотично, сейчас будет чуть более собрано. Я думаю, это хорошо. Вот. Ну и я не мне не очень понравилось, как я там а расставил лекции местами. То есть у

Speaker A

меня там про архитектуру было в середине, ещё в конце отдельно про архитектуру. Это признак не очень хорошего а порядка, не очень правильного.

Speaker A

Так, и на этом у меня заканчивается, на самом деле, а, первая лекция. Давайте я прочитаю комментарии на Ютбе.

Speaker A

Уважаемые студенты, вы можете задавать вопросы в зуме голосом. Так, сейчас я посмотрю. Здравствуйте, Евгений. Курс математично повез. Это да, я прочитал уже. Video quality has drpped.

Speaker A

А, всё, исправилось. Так, Евгений, спасибо большое за такие крутые лекции. Ильс, спасибо, что смотрите, мне очень приятно. А будем учиться. С чего начать в итоге?

Speaker A

Да, можно вопрос? Да пожалуйста задавайте. А, я понял. Сейчас, секундочку, я включу звук в зуме.

Speaker A

Викторович. Да-да. Да, задавайте, пожалуйста, вопрос. Да, у нас на следующих занятиях ээ ну мы будем что-то существенное разбирать, смотря что вы под существенным понимаете.

Speaker A

Ну, не вот не истории о том, как мы, ну, в общем, там алгоритмы или что-то, да, конечно, вас вы ещё устанете от алгоритмов, не переживайте.

Speaker A

Хорошо, спасибо большое. А что будет о семинаре сейчас? А, ну по практике то, что будет по практике, вам скажет преподатель по практике.

Speaker A

Я это не регулирую. Хорошо, я понял. Угу. Спасибо большое. Спасибо вам. А, то есть вообще давайте я на всякий случай поясню, что чем мои курсы отличаются от того контента, который на Ютубе популярен, они отличаются тем, что они очень техничные, технические. То

Speaker A

есть мы всё разбираем подробно и довольно уныло. Первая лекция - это единственная лекция, где я не говорю о технических деталях. Но тот контекст, который я вам даю, он принципиально важен, чтобы вы понимали, почему вам тот или иной алгоритм будет

Speaker A

нужен потом и почему вам нужно его знать. Угу, понятно. Хорошо. Всё, я понял, спасибо.

Speaker A

Э, так, спрашиваю, с чего начать в итоге? Ну, э, так, канадский рыбачок. Я не знаю, я думаю, я вам советую просто смотреть этот курс, и это и есть хорошее начало.

Speaker A

Так, уважаемые студенты, есть ли ещё вопросы? Вопросов, похоже, нет. А вот вы вы в субботу говорили, что мы, ну, что вы хотите там расписание своих пар изменить. А я думаю, что в эту субботу мы пока с вами читаем всё делаем так же, а потом мы

Speaker A

посмотрим. Может быть, может быть, сдвинем на более раннее утро. Я напишу в чате и в Telegram-канале.

Speaker A

Посмотрим. Так, уважаемые студенты, есть ли ещё вопросы? Зрители на Ютбе тоже, пожалуйста сдавайте. А в субботу практика будет также совместно двух групп вместе, да? Смотрите, у нас практики пока будут совместно, и это будет до тех пор, пока мы не поймём, что это плохая идея. Вот

Speaker A

если вдруг у вас будет столько вопросов, что их невозможно разобрать за одну практику, то в этом случае мы их разделим. То есть в любом случае вы не пострадаете с точки зрения качества образования. До сих пор, пока э практика

Speaker A

имеет как бы полулекционный характер, да, где вам преподатель что-то объясняет, то гораздо логичнее вас объединить.

Speaker A

Нет, семинары записываться не будут, мы в открытых доступ их не выкладываем. Это ответ на вопрос в комментариях.

Speaker A

Так, уважаемые студенты, есть ли ещё вопросы? спрашивают, открылась ли школа поплернингу. К сожалению, нет. К сожалению, нет. Но планы такие остаются. Я мне супер неловко, что это так, но тем не менее мы не сдаёмся.

Speaker A

Мы нашли новую команду, которая, может быть, этим будет заниматься, и я буду писать в Telegramканале.

Speaker A

Так, ну что ж, уважаемые студенты, я вижу что вопросов нет. Большое спасибо, что присоединились к лекции. А спасибо зрителям на Ютбе, что тоже зашли. А я рад начать новый семестр. Это всегда для меня большая инвестиция по времени и

Speaker A

энергии, но оно как-то оправдывается. в итоге, потому что рад с вами пообщаться. Всё, всем спасибо и хорошего дня. До свидания.

Speaker A

До свидания. До свидания. До свидания. Так, Сергей, на семинары с улицы попасть нельзя. Это студенты Мехмата только у нас.

Speaker A

Вот. Но если и когда будет онлайн-школа, можно будет попасть. Всё, спасибо всем. Пока.

Topics:искусственный интеллектмашинное обучениеглубокое обучениетрансформерыЕвгений Разинковобучение AIистория AIбольшие языковые моделиматематика для AIобразовательный курс

Frequently Asked Questions

Для кого предназначен этот курс?

Курс предназначен для тех, кто хочет получить комплексное понимание искусственного интеллекта, начиная с основ машинного обучения и заканчивая современными трансформерами.

Какие темы будут рассмотрены в курсе?

В курсе рассматриваются история AI, базовые алгоритмы машинного обучения, глубокое обучение, трансформеры, а также практические примеры и проекты.

Есть ли у преподавателя опыт работы в индустрии?

Да, Евгений Разинков возглавляет отдел машинного обучения в компании FIX и является сооснователем Prevision Technologies, что позволяет ему делиться практическим опытом.

Get More with the Söz AI App

Transcribe recordings, audio files, and YouTube videos — with AI summaries, speaker detection, and unlimited transcriptions.

App Store Google Play

Or transcribe another YouTube video here →