Переход к глубокому обучению. Лекция 10. — Transcript

Итак, я всех приветствую на десятой лекции по курсу AI от основ до трансформеров. Мы с вами идём от основ машинного обучения к самым способным и модным нейронным сетям под названием трансформеры, срезая те или иные углы на пути. Это не очевидно, потому что я думаю, что может быть свёрточные нейроны мы с вами захватим, но я буду думать, как это сделать максимально компактно, чтобы никого не травмировать. Это будет дальше. Понятно? Так. А я прошу прощения за некоторую паузу в наших лекциях, в наших видео. То есть получается, что у меня не было... А ну, три занятия у меня пропало. Вот. Но вот мы снова на коне, возвращаемся. У меня много что произошло, в частности, я переехал из Турции в Сербию. А здесь я ещё не легализовался, но тем не менее теперь я, похоже, буду жить здесь. Так да. Соответственно, если у вас есть желание провести какую-нибудь лекцию по машинному обучению где-нибудь в Белграде или на Висе, пишите. Я бы провёл. Так. Да. Теперь собственно говоря к теме сегодняшней лекции. Сегодняшняя лекция супер важная, потому что мы с вами переходим к глубокому обучению. Столько было разговоров. А и девять лекций мы с вами изучали базовый алгоритм машинного обучения, и вот наконец-то Deep Learning. А да, сразу всех тех, кому не терпится перейти к архитектуре какой-нибудь, какого-нибудь трансформера или какого-нибудь ренета, позвольте я вас не знаю как-то или остудю, или успокою. Сначала мы с вами будем говорить о том, зачем, почему это вообще важно, а в чём принципиальное отличие глубокого обучения от классического машинного обучения, когда это работает, почему это работает. И сразу скажу, что так как я курс по глубокому обучению читаю много лет, и он трансформируется у меня постоянно, точнее, как он первое время трансформировался, и в последнее время я был вынужден его трансформировать, я много думаю об этом. И нет ничего проще, чем сказать: у нас сегодня курс по рингу, давайте я вам расскажу про какую-нибудь архитектуру. Моя цель другая. Моя цель в том, чтобы было понятно принципиально, чем это отличается, то есть отличия не просто количественные, а качественные. Соответственно, об этом будет много. А я надеюсь, что это, скажем так, самое ценное на самом деле, что я могу вам рассказать, потому что про архитектуру вам расскажу все, но я тоже расскажу просто попозже, когда вы будете к этому готовы, скажем так. Так. А один из вопросов: зачем нам вообще нужен Deep Learning? То есть что не так было с классическими алгоритмами? А позвольте я поясню. Я думаю, что здесь мы проведём какое-то время с вами на этом слайде, как работаем с классическими алгоритмами. У нас есть некоторый вектор X. Он поступает на вход нашему алгоритму, и мы получаем результат. И теперь возникает вопрос: а что вообще описывает вектор X? Важно это или нет? Потому что вот эта логика, которой многие поначалу придерживаются, и я не исключаю, что и я что-то такое мог озвучивать на своих лекциях, что это же машинное обучение, это же искусственный интеллект, зачем нам думать о том, какие данные мы подаём, он сам там внутри разберётся в любом случае. Сейчас я этой логики не придерживаюсь, и я считаю, что на исследователе, на инженере лежит значительная ответственность за то, будет работать его алгоритм или нет. Просто полагаться на вот эту компоненту на самом деле наивно и, скажем так, безответственно. А теперь давайте поговорим, что за вектор X и в каких случаях для нас проблему глубокого обучения стоит особенно остро. Значит, если X имеет мерность, например, 100 или, например, даже может быть иногда 500 или 1000 элементов, или у него есть индивидуальные компоненты достаточно... Давайте ко... То есть те компоненты, которые имеют ценность с точки зрения классификации даже сами по себе. Приведу пример. Допустим, мы хотим с вами отличить женщин по каким-то параметрам, и одна из компонент у нас, например, это вес. И мужчины в среднем весят больше, чем женщины. Это недостаточные компоненты для того, чтобы точную классификацию провести, но тем не менее мы совершенно точно можем уже какой-никакой классификатор построить, зная только этот компонент, да, потому что это там два распределения. Вот. И соответственно эта компонента значима сама по себе. Если же мы с вами взяли бы в качестве компоненты, например, ну это будет совсем бредовая идея, а например вторая буква имени этого человека гласная или согласная, то эта компонента сама по себе нам информации никакой не даст. Но при этом, а если мы с вами соберём, или даже не так, давайте вот просто первая буква имени или там третья буква имени, просто по третьей букве имени вы не можете принять решение о том, это мужчина или женщина. Тем не менее понятно, что если мы знаем каждую букву имени, да, то мы можем понять мужское имя это или женское. И несмотря на то, что здесь тоже разные бывают ситуации, однако мы всё равно можем сказать, что это мужское имя, соответственно все буквы, знаете, можете определить, женское имя — это женщина. Вот. Но одна буква ничего не даёт. Так вот, вес — это значимая в данном случае характеристика сама по себе, а одна буква нет, но в сочетании они могут быть значимы. И ещё компоненты X играют разные роли. То... есть они вычислены по-разному. Давайте... То есть, например, у нас есть компонента с ростом, есть компонента с весом, есть компонента с, не знаю, с чем-то ещё, с охватом талии, бёдер и так далее. Вот. И все эти компоненты одна к другой не сводятся, они разнородные, да? Или допустим у вас какие-то медицинские тесты, да? И там есть температура тела, есть флаг, есть у вас кашель, нет у вас кашля, не знаю, красные глаза, у вас не красные глаза. То есть получается, что эти компоненты, ну скажем так, гетерогенные. А в ситуации, где мы с вами, например, знаем первую букву, вторую букву, третью букву, четвёртую букву имени, да, это ситуация иная, да, потому что все компоненты на самом деле имеют один и тот же тип. Так вот, если выполняются те условия, что вы видите, то вас в значительной степени должны устраивать классические алгоритмы машинного обучения. Вам не нужно особенно переживать, что у вас не глубокое обучение, потому что здесь глубокое обучение особенно-то не может помочь на самом деле. То есть большинство алгоритмов глубокого обучения здесь будут неприменимы, а те, которые будут применимы, будут либо еле-еле дотягивать, либо будут еле-еле опережать их. И на этом, в принципе, всё. То есть глубокое обучение здесь не принесёт никакой значительной пользы, и мало того, если вы в такой задаче используете глубокое обучение без важной на то причины, это, ну, это неправильное решение. Вы выглядите человеком, который не разбирается. Я такое видел не раз, потому что студенты в университете они спешат применить модный алгоритм к тем данным, которые для этого не подходят. Так вот. Соответственно, если наш вектор описывает параметры человека, который может быть вернёт, а может быть не вернёт кредит, или результаты медицинских тестов, или рост, вес, охват, то есть какие-то параметры человека, длину ног, вот это все ситуации, когда вам не особенно это нужно. Теперь важный вопрос: а когда Deep Learning, собственно говоря, нужен? Понятное дело, когда мы будем сейчас с вами говорить про противоположное, противоположное этой ситуации, то есть вектор X у нас имеет высокую размерность, а тысячи, десятки тысяч компонентов. Следующее: каждая компонента вектора X не несёт значение сама по себе. Третье: я сейчас всё перечислю. И после этого мы начнём с вами приводить примеры. Эти компоненты играют одни и те же роли. То есть, например, если мы подаём на вход изображения, да, то пиксель с этими координатами, пиксель с теми координатами, пиксель с третьими координатами — это всё пиксели, они все равнозначны. Я это называю гомогенными компонентами. И четвёртое здесь было неявно, скажем так, здесь, наверное, зашито, но тем не менее четвёртое свойство компонентов — значит, компоненты связаны как-то либо в пространстве, либо во времени. То есть мы можем сказать, что вот эти компоненты в пространстве ближе относятся, находятся друг к другу или дальше друг от друга. То есть они либо пространственно, либо темпорально связаны. Специфично, то есть пространственно. В таких случаях вам нужен Deep Learning. Давайте теперь мы с вами разберёмся, что всё это значит, и приведём...

что может быть свёрточные нено мы с вами захватим но я буду думать как это сделать Максима максимально компактно Чтобы никого не травмировать это будет дальше Понятно Так а я прошу прощения за некоторую паузу в наших лекциях в наших видео то

есть получается что у меня не было А ну три три занятия у меня пропало Вот Но вот мы снова на коне возвращаемся У меня много что произошло в частности Я переехал из Турции в сербию А здесь я ещё не не легализовала но тем не менее

теперь я похоже буду жить здесь так да соответственно Если у вас есть желание провести какую-нибудь какую-нибудь лекцию по машин ленгу где-нибудь в Белграде или на Виса пишите Я я бы провёл так Да теперь собственно говоря к теме сегодняшней лекции сегодняшняя лекция

супер важная потому что мы с вами переходим к глубокому обучению столько было разговоров А и девять лекций мы с вами изучали базовый алгоритм машин ленга и вот наконец-то Deep Learning А да сразу всех тех кому не терпится м перейти к архитектуре какой-нибудь

какого-нибудь Трансформера или какого-нибудь ренета Позвольте я вас не знаю как-то Или осту или успокою Сначала мы с вами будем говорить о том зачем почему это вообще важно А в чём принципиальное отличие глубокого обучения от от классического машинного обучения

когда это работает почему это работает и сразу скажу что так как я курс по глубокому читаю много лет и он трансформируется у меня постоянно точнее как он первое время трансформировался и в последнее время я был вынужден его трансформировать я много думаю об этом

и нет ничего проще чем сказать У нас сегодня курс по рингу Давайте я вам расскажу про какую-нибудь архитектуру моя цель другая моя цель в том чтобы было понятно принципиально чем это отличается то есть отли есть не просто количественные отличия

качественные соответственно об этом будет много аа Я надеюсь что это скажем так самое ценное на самом деле что я могу вам рассказать потому что про архитектуру вам расскажу все но я тоже расскажу просто Попозже когда для этого когда вы будете к этому готовы

скажем так так а один из вопросов Зачем п нам вообще нужен То есть что не так было с классическими алгоритмами А позвольте я поясню Я думаю что здесь мы проведём какое-то время с вами на этом слайде как работаем с классическими

алгоритмами У нас есть некоторый Вектор X Он поступает на вход нашему алгоритму и мы получаем результат и теперь возникает вопрос а что вообще описывает Вектор X важно это или нет потому что вот эта логика которой многие Поначалу придерживаются и я не исключаю что и я

что-то такое мог озвучивать на своих лекциях что это же машинное обучение это же искусственный интеллект Зачем нам думать о том как какие мы данные подаём он сам там внутри разберётся в любом случае сейчас я этой логики не придерживаюсь и я считаю

что на исследова на инженере лежит значительна ответственности за то будет работать его и просто полагаться на на вот эту компоненту На самом деле наивно и скажем так безответственно А теперь давайте поговорим Что за Вектор X и в каких

случаях нам для нас проблему глубокого обучения стоит особенно остро значит если X имеет мерность например 100 или например даже может быть иногда 500 или 1.000 элементов или А у него есть индивидуальные компоненты достаточно [музыка] Давайте ко То есть те компоненты которые имеют

ценность с точки зрения классификации даже сами по себе приведу пример Допустим мы хотим с вами отличить женщин А по каким-то параметрам и одна из компонент У нас например это вес и мужчины в среднем весит больше чем женщин это

недостаточные компоненты для того чтобы точную классификацию провести но тем не менее А мы совершенно точно можем уже какой-никакой классификатор построить зная только этот компонент Да потому что это там два распределения Вот и соответственно эта компонента значима сама по себе

Если же мы с вами Взяли бы в качестве компоненты например ну это будет совсем бредовая идея А например вторая буква имени этого человека гласная или согласная то эта компонента сама по себе нам информации никакой не даст но при этом

а если мы с вами соберём или даже не так давайте вот просто первая буква имени или там третья буква имени просто по третьей букве имени вы не можете принять решение о том Это мужчина или женщина тем не менее

Понятное дело что если мы знаем каждую букву имени да то мы можем понять мужское им это или женское И несмотря на то что здесь тоже разные бывают ситуации Однако мы ВС рано можем сказать чтоэто мум чи соответствено все буквы

знаете можете определить или женское имя - это женщина Вот Но одна буква ничего не даёт так вот вес - это значимая в данном случае характеристика сама по себе а одна буква нет но в сочетании они могут быть значимы и

ещё м компоненты X играют разные роли то [музыка] есть они вычислены по разному components Давайте RS То есть например у нас есть компонента с ростом есть компонента с весом есть компонента с не знаю с чем-то ещё с охватом талии

бёдер и так далее Вот и все эти компоненты одна к другой не сводятся они разношу да Или допустим у вас какие-то медицинские тесты да И там есть температура тела есть флаг есть у вас кашель нет у вас кашля

не знаю красные глаза у вас не красные глаза то есть получается что эти компоненты Ну скажем так гетерогенные а в ситуации где мы с вами например знаем первую букву вторую букву третью букву четвёртую букву имени Да это ситуация иная Да потому что все

компоненты на самом деле имеют один и тот же тип так вот Вот если выполняются Те условия что вы видите то вас в значительной степени должны устраивать классические алгоритмы компьютерного зрения Ой простите компьютерного зрения машинного обучения вам не нужно

а особенно переживать что у вас не глубокое обучение потому что здесь глубокое обучение особенно то не может помочь на самом деле то есть большинство алгоритмов глубокого обучения здесь будут неприменимы а те которые будут применимы будут либо еле-еле дотягивает либо будут еле-еле опережать

их и на этом в принципе всё то есть глубокое обучение здесь не принесёт никакой значительной пользы и мало того если вы в такой задаче используете глубокое обучение без важной на то причины это ну это неправильное решение Вы выглядите человеком который не

разбирается я такое видел не раз потому что студенты в университете они спешат применить модный алгоритм к тем данным которые для этого так вот соответственно если наш Вектор описывает параметры человека который может быть вернёт А может быть не вернёт кредит или

результаты медицинских тестов или рост вес охвата то есть какие-то параметры человека длину ног Вот это ВС ситуации когда вам не Особенно это нужен теперь важный вопрос А когда Deep Learning собственно говоря нужен понятное дело Когда мы будем сейчас с вами говорить про

противоположное противоположные этой ситуации то есть Вектор X у нас имеет высокую размерность а тысячи десятки тысяч компонент следующее каждая компонента вектора X а не несёт значение сама по себе третье я сейчас всё Перечисли И после этого мы начнём с вами приводить

примеры эти компоненты играют одни и те же роли То есть например если мы подаём на вход изображения да то пиксель с этими координатами пиксель с теми координатами пиксель с третьими координатами это всё пиксели они все равнозначны я это называю гомогенными

компонентами и четвёртое здесь это было неявно скажем так здесь наверное зашито но тем не менее четвёртое свойство components are значит компоненты связаны как-то либо в пространстве либо во времени то есть мы можем сказать что вот эти компоненты в пространстве ближе

относятся находятся друг другу или дальше друг от друга то есть они либо пространственно либо темпоральность speci то есть пространственно В таких случаях Вам нужен dearing Давайте теперь мы с вами разберёмся Что всё это значит и приведём достаточное количество примеров чтобы

Вам не казалось что я просто сочиняю что такое-то related О'кей пример конечно же мой любимый пример это всегда изображение У вас есть какая-то картинка Если мы с вами Да картинка представлена пикселями да то есть каждая точка - Это цветная точка она сдаётся

своими тремя значениями это цветовые компоненты красный зелёный и синие цвета Аа Что будет если мы изображение это сильно увеличим то тогда мы с вами увидим пиксели Я уж не знаю у нас какие-то какой-то рисунок здесь будет нарисован так каждый пиксель мы можем писать тремя

числами каждый пиксель ничего не значит да если я вам скажу что пиксель с координатами 123 478 имеет красную компоненту равную пше А теперь скажите мне пожалуйста С какой вероятностью на этом изображении представлен Дельтаплан вы скажете Я понятия не

имею Окей соответственно вот этот пункт у нас выполняется Да действительно каждый компонент сам по себе ничего не значит А это действительно High dimensional будет и да Потому что если у вас картинка 300 на 300 это уже 9.000 комне

и так картинка цветная каждый пиксель описывается тремя числами получается 270.000 каждый пиксель такой же как другой пиксель Да с точки зрения его роли тем каким значением он представлен соответственно это гомогенные компоненты и пиксели между собой пространственно связаны да то есть вот эти пиксели два

соседних эти пиксели находятся через один а пиксель который находится здесь Он от этого пикселя далеко и так далее то есть по этой части у нас всё выполняется теперь а получается что изображение у нас подходит для глубокого обучения и мы

действительно видим что все те требования Что я назвал они выполняются так Уважаемые слушатели Поставьте пожалуйста плюс если вам понятно о чём я говорю так как это у лекции номер неправильный Не может такого быть исправить 9 на 10 а у

меня 10 Ага ну смотрите на слайдах у меня а 10 в названии стрима а в названии стрима девять Спасибо большое я исправлю Но это это не критично это всё отлично поправил так хорошо здесь я вижу понятно здесь я вижу

понятно хорошо Так давайте тогда мы с вами начнём дальше рассуждать ой ой-ой Ага всё начнём дальше обсуждать и у нас а какая-то странная панелька вылезла у нас с вами помимо изображений есть конечно же их ближайшие скажем так старшие друзья это видео

файлы А что такое Видео давайте я изображение пока уберу видео у нас с вами пока мы не будем брать с вами видео со звуком это набор изображений которые сменяют друг друга во времени получается это у нас какой-то кадр и минус

первый кадр иты кадр и плюс первы мы с вами можем на самом деле Да точно также рассматривать видео как набор пикселей Давайте снова быстренько пройдёмся по нашему чек-листу Но это будет очень быстро вход имеет высокую размерность высокую потому что пикселей ещё больше

стало каждая компонента в данном случае пиксель фрейма в такой-то момент времени да такой-то пиксель в такой-то момент времени не значим всё видео - это набор пикселей который имеет свои координаты и своё временную координату да номер кадра гомогенные и они точно также связаны

между собой У нас есть например вот эти пиксели у нас соседние в один момент времени вот эти пиксели у нас это один и тот же пиксель но в соседние моменты времени и так далее А вот этот пиксель например

и там какой-нибудь вот этот жёлтый пиксель эти пиксели Ну ладно это и соседние фреймы и они в принципе не далеко но Понятно Если вы представите масштаб да то есть там не знаю а 3.000 кадров прошло между ними Ладно 3.000 на

многовато Ну давайте не знаю 100 кадров прошло Вот и они далеко на разных краях кадра находятся эти пиксели мало связаны между собой пространственно соответственно вот эта связь о которой мы говорили она у нас тоже есть соответственно видео тоже наш тест на то чтобы подходить

как данные для глубокого обучения этот тест тоже проходит соответственно Ну давайте я галочку тоже для видео поставлю так дальше мы с вами всё сейчас рассмотрим все примеры которые намм важны а аудио Если вы возьмёте фай или Wave File

то вы увидите что это набор отсчётом то есть каких-то значений как я понимаю отрицательных в том числе но могу быть не прав то есть получается что в каждый момент времени у нас есть какое-то число Да у нас там есть

какая-то частота дискретизации например 44.000 гц да то есть получается 44 тысячи чисел кодирует одну секунду и в каждый момент времени там кодируется грубо говоря а не помню точно как это интерпретируется да а получается что у нас с вами есть последованность

чисел каждый из этих компонент совершенно мало значима с точки зрения нашего понимание о чём этот аудиофайл и их много да их много поэтому это dimension Input каждая компонента мало значима сама по себе они все равны между собой и

они связаны в данном случае во времени да то есть какие-то два отчёта могут находиться близко друг к другу или далеко друг от друга а когда я говорю да что они связаны между собой в пространстве А вам может казаться что я говорю о

какой-то неестественной штуки что ли то есть ну хорошо Близко они находятся или далеко какая нам разница Но на самом деле если вы хорошенько подумаете о том как вы сами по себе распознаёт образы визуальные глазами или А смотрите видео

или слушаете другого человека то выяснится Да что я вижу там что это Например стилус потому что я вижу Там похожие точки да белого цвета и они все рядом друг с другом то есть объекты которые мы распознанию образом пото что в

пространстве они являются скажем так физическими объектами ограниченного размера Да это все пиксели сосредоточены рядом то есть нам для распознавания объекта важно что он маленький да и все пиксели там скажем так держатся за ручки Вот точно так же со звуком Если вы

хотите распознать а какую-то ноту то это будут отчёты которые идут подряд Да это не так что О я слышу ноту до потому что на третьей секунде этого аудио трека на третьей минуте этого аудио трека и на третьем часу этого аудио трека там

что-то где-то какой-то отчёт Нет они все идут подряд когда мы слышим речь другого человека Да и хотим понять Какие слова он говорит то мы слушаем это слово оно во времени идёт подряд то есть значимые Чуть более высокоуровневые компоненты да

чем отчёты аудиофайла а пиксели изображение это уже там какие-то образы они все компактно расположены либо в пространстве либо во времени Поэтому вот эта связь важна И это всё будет учитываться так или иначе архитектура которую мы будем с вами

строить так с аудио разобрались теперь временные ряды Time Series А например у нас с вами есть сенсор где-нибудь там на производстве этот сенсор мониторит температуру какого-нибудь станка во время выпуска чего-то там что это будет это будет последованность чисел и мы хотим например

обнаруживать моменты когда станок я не знаю простаивает или когда что-то аномальное происходит я не знаю что угодно тут можно придумать какие-то задачи Вот Но самое главное что мы опять получаем с вами многомерный вход потому что это сенсор может иметь

частоту считывания температуры Я не знаю там каждую сотую часть секунды соответственно мы получаем очень длинные векторы вот каждая компонента малозначительное перегрев да то температура в какой-то момент даже выше определённого порога это м признак того что всё плохо и тогда каждый компонента

будет значимой но если вы отслеживается не знаю какие-то более тонкие вещи да то в этом случае значение температуры в какой-то конкретный момент времени Вам ни о чём не говорит А вам важен там какой-то паттерн где она вырастает потом

держится потом например падает вот компоненты гомогенные и опять же Они между собой связаны во времени это момент времени т -1 а это момент времени т и опять же любое событие которые происходят Да оно тоже во времени будет компактно Отлично вот мы разобрались с

вами с ещё одним доменом временные ряды И последнее Last But not least А кстати Да даже А во-первых я хочу сразу сказать что могут существовать другие типы данных Где применим вы главное должны руководствоваться вот этими четырьмя принципами выполняются то если даже я

это не перечислил это по-прежнему а кандидат в том в применения методов глубокого обучения но всё-таки важный другой домен Да который сейчас особенно на слухо это конечно же текст То есть если мы возьмём с вами а какой-то текст например naag give you

Up то мы можем опять же проанализировать этот текст с точки зрения вот этих основных принципов применимости ПН архитектур А во-первых здесь важно что рассматривать в качестве компонента если мы в качестве компонента будем рассматривать букву то понятное дело что

это будет каждый компонента будет мало значима сама по себе а что если Пятнадцатая буква моего текста - это буква а то Как вы считаете это положительно ревью на продукт или отрицательно ревю на продукт да то понятное дело что

Ну каждый компонента малозначна Они гомогенными между собой Ну в данном случае можно сказать во времени Да что там какая-то буква соседняя это идт раньше а та идёт позже сразу скажу что Современный NLP он не работает на уровне букв Он работает

на уровне так называемых токенов которые являются скажем так граммами то есть последовательностями из там двух-трёх четырёх букв вот что-то в этом роде а но основной принцип сохраняется Там просто получается больше разнообразия Да представ себе после последовательно из Х

букв и основная идея Но это будет выполняться Но мы с другой стороны можем сказать что по-прежнему они оперируют на уровне одиночных букв просто они решают их объединить вот в такие энграммы потому что это там оптимально с точки зрения тех или иных подходов уже

глубокого обучения которые потом применяется Итак это текст а и ещё Наверное я хочу отметить всё-таки раз у нас такая с вами вводная лекция где мы вырабатываем вместе с вами интуицию когда применять глубокое обучение А когда нет А то я думаю что

здесь можно отметить ещё и графы Если у вас есть [музыка] а граф да то его описание это получается вершины связи между ними если вершин много то это точно свойства каждой вершины могут быть не важны вершин у нас много Они между собой

как бы равны Да и они у нас тоже мы можем говорить что вот эти вершины близко друг другу потому что они связаны ребром А эти вершины далеки друг от друга потому что там нужно через пять рёбер попрыгать для того чтобы дойти от

одной до другой Граф это в данном случае анали социальных сете анализ А блокчейна ну очень много чего на самом деле да то есть графы - это тоже важная штука есть отдельные архитектуры которые работают на графах Они часто заимствуют

какие-то вещи у архитектур из обработки естественного языка Ну и принцип В общем схожи это чуть-чуть другой мир но тем не менее это тоже глубокое обучение Я думаю что в рамках данного курса мы с вами графы затрагивать не будем Но кто его знает зат от того

насколько сильно мы УВМ И сколько лекций В итоге в НМ будет вообще не должны в рамках семестра университетского точно нет А иногда я курс продолжаю после и тогда всё возможно Итак Уважаемые слушатели вот я изложил перед вами четыре основных

принципа которым должны удовлетворять данные для того чтобы не просто применим А был крайне крайне полезен Поставьте пожалуйста плюс если основная идея этой части лекции вам понятна отлично Так что ж мы с вами поговорили о том а когда Dear Так а что если какое-то одно

условие будет отсутствовать А смотрите Павел здесь Давайте кстати поговорим об этом я но я предупреждаю сейчас будет медленный ответ потому что надо подумать Дело в том что они обычно да все а выполняются вместе а опять же смотрите Допустим мы говорим

гомогенные компоненты Да и здесь возникает вопрос Ну до какой степени То есть например если у вас есть видео да и это поток фреймов и там есть параллельно аудиодорожка да то пиксели Они гомогенные между собой а отчёты в аудио

гомогенные между собой соотвественно в такой ситуации вас красно применим у вас будет компоненты будет работать с фреймами другая будет работать с аудиодорожкой в этот момент и всё это будет вместе там сливаться в итоге в какой-то в какой-то части

архитектуры и будет выноситься решение которое учитывает всё это вот то есть но при этом то есть у Вас в любом случае например ЕС говорить про гомогенность компонент У Вас в любом случае все компоненты должны делиться на какие-то подмножество гомогенных между собой если

там помимо этого есть какое-то количество не гомогенных это тоже не про Но именно от вот этих вот гомогенных частей у вас de будет свою силу брать Если у вас вход не многомерный то здесь Но всё остальное выполняется то ПН нормально применяю всё

равно и он всё равно будет лучше часто чем классический алгоритм но просто разница будет не такая значительная а скажем так ваших усилий потому чтобы этот алгоритм обучить реализовать не ошибиться там с тонкостями архитектуры будет больше вот если каждый

компонент не имеет значения сама по себе вообще ленгу этот пункт не необходим даже если какая-то компонента будет очень значима а нейронная сеть поймёт что она значима будет на неё обращать внимание с этим проблем нет просто скорее если второго пункта нет то у вас

классический алгоритм надо справиться потому что даже если у вас многомерный вход и многомерный вход но какие-то компоненты намного важнее чем другие То в этом случае разные алгоритмы такие как Абу там с самыми простыми деревьями решений он уже может эти

самые важные и только их использовать то есть в итоге он из многомерного входа возьмет самые полезные измерения а всё остальное выбросит и какую-то классификацию вам проведёт вот здесь такая логика про гомогенные компоненты ответил значит по поводу того чтобы компоненты

были пространственно или временно связа сме э но особенно современной архитектуры Да Трансформеры они спокойно могут работать на множествах да то есть Представьте что у вас есть множество там А B и С Да и в этом множестве нет ничего у вас нет никакой информации про

порядок да то есть множество - это просто Мешок с вещами Ну в данном случае я множестве говорю как известном математическом понятии соответственно связи между этими компонентами три множества нет и трансформер для множества подходит хорошо вот так что в принципе можно

просто когда у вас много что из этого не выполняется то просто классический алгоритм часто будет проще а а плр нет вот но я Я надеюсь что я ответил Хороший вопрос Кстати спасибо так едем дальше мы разобрались с вами с Каки с

какими данными пнин работает хорошо и так сейчас А как тогда работает новый gp4 который умеет в картинке а не только в текст но это тот самый случай То есть это мультимодальные сети скажем так роскошь последних лет Да потому что до

этого особенно ресурс для этого не было вычислительных Вот но здесь нет никакой проблемы как я уже сказал Вы можете работать а с видео да где у вас есть изображение и есть аудиотрек параллельно да то есть фреймы и аудио А точно так же вы можете

работать одновременно и с текстом с картинками но у вас будет как бы вот эта часть которая отвечает за картинки и там пиксели гомогенные то есть для них всё выполняется отдельно Для текста всё выполняется а слить два домена вместе

где-то дальше в архитектуре Это не проблема но в любом случае скажем так а картинки заходят в gpt 4 с одной стороны с одного входа а текст заходит с другого входа это дальше по ходу дела будет понятно как это работает здесь

Э да О'кей так вот получается что есть определённые типы данных для которых ПН особенно применим да и самое популярное - это изображение видео текст и аудио временные ряды и графы чуть-чуть на обочине находятся но понятное дело это их никак не принижает это просто

количество задач которые которые с этим работают оно Чуть поменьше точнее меньше внимания может быть привлекает Однако если вам придётся с этим работать ну никуда Вы не денетесь у вас будут графы и временные ряды сейчас Прошу прощения у меня ноутбук почему-то не

заряжается один момент просто так у нас лекция может закончиться раньше времени странно так сейчас Извините пожалуйста мне надо разобраться с этим так хорошо разобраться мне с этим не удалось поэтому мы пока просто едем дальше в надежде что что-то исправится

само потому что мне придётся оборвать Стрим если я буду это делать Окей Так значит да Уважаемые слушатели если нас Стрим оборвётся чуть-чуть Подождите и он возобновится снова Просто я там что-то где-то соответственно вот у нас с вами есть

наши компоненты Да пиксели у изображений у видео тоже пиксели а слова граммы у текста и а амплитуда сигнала сэмплированный у аудио Да и соответственно они связаны там через пространство изображений через пространство время у видео через время у текстов и аудио

и что Откуда вообще это всё берётся Ой простите Да дело в том что у вас получается есть некоторый сложный объект на входе Это я условно изображение так рисую Да где есть какие-то гомогенные компоненты которые как мы уже с вами

выяснили связаны между собой какими-то расстояниями и самый большой вопрос который у нас с вами здесь есть это как мне описать этот объект для подачи на вход алгоритм машинного обучения как я возможно уже упоминал Возможно на первой лекции методов было

разработано очень много Как так представить картинку в виде вектора вот такого который мог бы обрабатываться алгоритм классического машинного обучения с хорошим результатом множество вариантов было предложено они обладали следующими свойствами под каждую новую задачу часто приходилось разрабатывать новый такой

метод раз а два соответственно разработка такого метода была а-а требовала ресурсов получается для каждой задачи да то есть она и требует усилий инженеров Раз и два она ещё и не Переносит на другую задачу и при этом она ещё работала Ну не оптимально не

очень-то и хорошо И как мы с вами знаем да машинное обучение это во многом алгоритм сам понимает что надо делать да грубо говоря так вот что даёт нам глубокое обучение глубокое обучение даёт нам возможность автоматически выучиваем для сложного

объекта которое было бы оптимальным для решения нашей конкретной задачи на основе данных То есть если в случае классического машинного обучения нам надо ломать Как же это представить виде вектора с которым ма будет хорошо работать то здесь на основе этого

сложного сложно устроенного объекта автоматически вычисляются характеристики которые потом могут быть алгоритмом машинного обучения классическим там классифицированы с высокой точностью то есть на самом деле Да мы с вами изучали логистическую регрессию изучали линейную регрессию Если мы с вами хороше покопаем

обучения то выяснится что вот э его часть Да это не что иное как например та же Логистическая регрессии вот а мы её с вами уже изучили что очень хорошо то есть а здесь получается идт как раз поиск такого

представления данных что рере с этим справилась Но это происходит скажем так в автоматической манере в результате обучения так но смотрите возникает вопрос а за счёт чего это всё работает то есть Какая такая идея лежит в глубоком обучении чтобы мы могли сказать

Окей так я по Да чтобы мы могли сказать хорошо Мы готовы обрабатывать вот такие сложные объекты Да и получается что для обработки этих сложных объектов мы должны С вами уметь работать с многомерным входом мы должны быть гото работать с

гомогенными компонентами малозначительного что мня это озарение пришло смотрите вход многомерный А давайте мы предположим что мы с вами пробуем Так сейчас секундочку вот я а чуть-чуть щусь один момент а теперь ещё Вы меня слышите так да я переместился теперь у

меня снова заряжается и мы можем [музыка] продолжить смотрите вот эти четыре компонента Почему они связаны вот у нас есть многомерный вход предположим что мы хотим для многомерного входа обучить логистическую регрессию вот у вас здесь например 300.000 компонентов ато теперь Вы меня хорошо

слышите так вот о чём я говорил я говорил о том что все эти четыре компонента очень сильно связаны и я хотел бы это продемонстрировать потому что я считаю что это продвинется вас немного в понимании Ну так как это

должно Итак допустим я хочу обучить логистическую регрессию для классификации на 100 классов и у меня здесь вход размером 300.000 Аа ну то есть размерность вектора 300.000 и у меня здесь получается 100 классов да то получается что у меня здесь

будет Помните у нас были Z от одного до K Да у нас их 100 и в итоге у нас была Матрица W Да где количество строк это было количество классов А количество столбцов получается - это размерность хода То есть это у нас например 100 А это у

нас например 300.000 то мы видим что эта Матрица Да она уже содержит а 30 млн параметров А если у нас класс будет 1.000 то это будет 300 млн параметров А если у нас изображение будет не а 300 на 300 да которая Дат 270.000 А

если будет 500 на 500 то 500 на 500 это получается 250.000 да и ещё компонента которая отвечает за цвет 750.000 то у нас уже ну вы видите Да количество параметров Улетает в небо но при этом алгоритм остаётся линейным Да

Логистическая регрессия - это линейный алгоритм То есть получается у нас уже совершенно запредельное количество параметров Да 750 млн при том что алгоритм линейный что-то здесь не так соответственно если мы хотим чтобы наш алгоритм работал А работал хорошо да При том что вход

многомерный возможно та идея которая могла бы нам здесь помочь а давайте не будем для каждого элемента входа заводить отдельный обучаемый параметр представте что мы могли бы обойтись не такой а матрицей намного меньше где это было бы не м там а

штрих и здесь Было бы совсем немного параметров как-то мы могли бы сократить то есть Давайте смотреть не на весь вход а на часть входа в каждый момент времени то есть мы посмотрим на на весь вход но по частям Если мы с вами посмотрим на весь

вход по частям Да это наша первая компонента то мы поборемся чтобы когда я смотрю на части которые соседствуют друг с другом а чтобы они представляли собой информацию цельную какую-то да то есть что пиксели пиксели в районе Вот этого

стилуса действительно об одном объекте и получается что у меня есть связь между первым компонентом и четвёртым да то есть если у меня многомерный вход и я решаю побороть это за счёт того что я смотрю на его часть то я хочу чтобы

часть на которую я смотрю содержала компоненты которые между собой связаны так как все компоненты между собой связаны для меня больше не такая большая проблема что каждая компонента сама по себе не несёт никакого значения потому что раз они между собой связаны я

могу вытащить значение из их взаимного положения из их взаимодействия друг с другом Да эта буква мне ни о чём не говорит Да соседняя буква мне ни о чём не говорит следующая буква мне ни о чём не говорит Но все эти буквы вместе

образуют слово которое начинает нести значение и поэтому у меня четвёртая компонента связана со второй потому что из нали связи становится не проблема что каждая компонента малозначительное что я у меня есть такая лупа Да она Аа как бы об этом как бы хорошо метафору

та предложить вам Например у меня есть лупа для разглядывая муравьёв есть лупа для разглядывая отпечатков пальцев и есть Ну в общем для каждого предмета в мире у меня есть отдельная лупа вот а и каждая такое каждое такое увеличительное стекло идёт с какими-то

обучаемыми параметрами Ну это скажем так фильтр будет у нас в нашем глубоком обучении Да а получается что если я хочу с помощью одного и того же увеличительного стекла смотреть на все части картинки на все части входа Да это вот

принцип связаны с этим то мне нужно чтобы компоненты были гомогенные потому что тогда у меня один одно увеличительное стекло подходит для всего и вот у меня связывается уже 1 и3 и 4 и 3 ну и соответственно то что каждая

компонента нема сама по себе это чече связывает со всем остальным То есть получается что все эти четыре свойства они на самом деле очень тонко связаны между собой внутри и порождают собственно говоря вот а то есть глубокое обучение является способом решения проблемы Вот

Таких данных и Этот способ он а слава Богу существует да то есть решение нашлось так Но что мы видим из всех этих рассуждений как-то у меня странно работает штука Ладно из всех этих рассуждений мы с вами видим что глубокое

обучение это связь компонентов друг с другом Как так посмотреть на группу пикселей вместе как так посмотреть на группу букв или слов вместе как так посмотреть на количество отчётов которые идут друг за другом то есть весь Ключевая идея Deep Learning

связывать эти компоненты находить находить значимость в их связи в связи незначимый самих по себе гомогенных компонент получается что где-то внутри Deep Learning Да внутри всех этих методов должны быть какие-то скажем так а в самом сердце должны быть какие-то главные инструменты которые

работают с этими самыми связями эти инструменты есть Я сейчас вам про них расскажу этих инструмента три два из них сейчас важны третий важен только с исторической точки зрения и для кругозора и для каких-то супер частных задач первый инструмент который

времени звучал громче всех и скажем так звучал дольше всех это свёртки свёрточные нейронные сети это то что в компьютерном зрении позволило решать сложные достаточно задачи на самом деле предложены они были давно годы здесь как раз Ян кун основная здесь идея в том что у вас

есть этот фильтр свёрточные ходит по изображению вот таким образом и вычисляется отклик То есть каждый Нейрон смотрите что мы уже с вами видим Мы видим с вами локальность да то есть анализ части изображение Мы видим что этот фильтр смотрит на пиксели которые

находятся рядом друг с другом да то есть они связаны между собой и он может вот так хоть означает что они гомогенные потому что та логика которая применена к этому пикселю она будет применена [музыка] там к другому пикселю на следующем

шаге пока Если вы не понимаете что здесь происходит это неважно Это просто вам нужно это воспринять на уровне метафоры а другой инструмент который позволял людям связывать между собой компоненты - это рекуррентно эти нейронные сети пиков популярности пришёлся Мне кажется они появились

вообще говоря давно В девяносто седьмом но пик популярности точнее как Подождите давайте так рекуррентные сети появились раньше чем В девяносто седьмой год но В девяносто седьмом году появился появилась архитектура lstm или Long shorter Memory то есть а длинная краткосрочная память эти

нейроны сети были Куда стабильнее в обучении и показывали очень интересные результаты на на то время когда дело касалось обработки текста Вот так была устроена там ячейка lstm но сейчас нам это маловажно Но самое главное Да как в свёртка Вы видели что

вот это вот 3 натри Матрица Да она смотрит на соседние точки Также вы можете видеть просто на этом рисунке Да что эти ячейки идут последо друг за другом соответственно они предназначались для анализа временных рядов для анализа текста Да где есть

связь во времени то есть преимущественно там но при этом свки можно было принять для те можно было применять для изображений но этом было менее удобно но результаты тоже давало интересные и третий самый главный сейчас инструмент глубокого обучения - это конечно же

механизмы внимания механизмы внимания удивительную гибкость имеют когда дело касается регулирование того как они работают да куда больше чем свёртки или рекуррентно соответственно а сразу скажу что механизмы внимания так громко звучали после статьи про трансформер да att 2017 год

Однако важно отметить что внимание как вспомогательный элемент было в глубоком обучении давно то есть там 2016 2017 год это была довольно модная тема но всегда в качестве дополнительного какого-то инструмента да А основную роль играли свёртки или рекуррентно и вот с

2017 удалось избавиться и от свёртка рекуррентно и построить неровную сеть только на механизмах внимания в данном случае для обработки естественного языка Но потом это было перенесено и на зрение тоже соответственно вот у нас есть наши три главных инструмента свёртки

рекуррентно и внимание вот рекуррентно да здесь А что важно что свёртки обычно это про пространство обычное изображение Да фрейм свёртки - это обычно про время то есть последовательность где есть до и после а не просто а не ещё сверху снизу

сбоку Вот и внимание похоже работает С чем угодно то есть этот инструмент ещё и уникальный так вот А мы с вами рекуррентно в рамках данного курса в принципе не рассматриваем мы рассматриваем с вами свёртки и АА внимание свёртки посмотрим рассмотрим

или нет но хотя бы коротко точно а что важно отметить важно отметить то что видите есть определённая связь между тем как устроены данные тем как устроен мир и тем как устроен итоговый наш алгоритм то есть мы говорим изображение - это многомерный

Вход где компоненты гомогенные Ниго побе и связа простран объекты которые мы расм они обычно занимают какое-то количество пикселей которые связаны между собой точнее которые находится близко друг другу та часть текста которая несёт какой-то определённый смысл - это часто

слова идущие подряд Да а и также там с аудио и отсюда выясняется точнее получается да Что если вы хотите для такого мира создавать архитектуры должны создавать архитектуры которые эту особенность мира учитывают Да и такой так пнг собственно говоря и работает

Позвольте я Аа приведу пару примеров вот у вас есть изображение и на этом Давайте даже мы уберём солнышко на этом изображение есть дерево а вот ещё одно изображение и на этом изображении Давайте даже вот так сделаю вот у меня есть два изображения

на каждом из изображений представлено дерево мало того это даже одно и то же дерево то есть Представьте что у меня была большая картинка Я вырезал одним образом а потом другим образом Так что одно и то же дерево попало

А с точки зрения нашего восприятия если я Вас спрошу что это за картинка вы скажете э картинка на которой представлено дерево я спрошу эти картинки Ну то есть описывают примерно одно и тоже вы скажете да При этом если я посчитаю какое-то

расстояние картинки приложу друг к другу посмотрю расстояние между каждым пикселем Да насколько сильно отличается яркость или интенсивность тех или иных цветовых компонентов выяснится что эти картинки очень разные Да потому что ну то есть там где в одном месте дерево в

другом месте фон и наоборот вот но тем не менее мы Наверное хотели бы чтобы наши алгоритмы которые мым для было примерно одно и тоже алгоритмы классического машинного обучения так так работать не умеют для них каждая компонента она обрабатывается отдельно и

связи между ними скажем так особенно быть не может для То есть если вы научите если у вас алгоритмом классического машинного обучения эта картинка будет классифицироваться хорошо то у вас нет никаких оснований полагать что вот эта картинка вторая будет классифи

потому что такую связь связанную с тем что какой-то объект перенесён алгоритм классического машинного обучения учитывать не умеет У него он с каждым компонентом входа общается Независимо скажем так но нейронные сети которые имеют отношение к настоящему глубокому обучению они

работают именно так есть для них это примерно одно и то просто по построению архитектуры или у Вас например есть какой-то какое-то аудиосообщение и у вас может быть Вот такое так выглядеть аудиозапись А может быть например она будет выглядеть как-нибудь

сейчас а может быть она будет выглядеть как-то вот так да с каким-то смещением но мы знаем что и там и там был один и тот же звук и опять же классическое машинное обучение скажет Вам что это два разных

вектора и они вообще говоря не похожи но когда вы будете работать с теми нейронными ме которые для этого подходит для них это изначально будет уже очень близко То есть получается что несмотря на наш многомерный вход а принципы глубокого обучения такие что

они уже а значительную часть проблем скажем так снимают то есть нейронная сеть будет работать так что те вещи которые должны быть скажем так которые тривиальным образом похожи Да как-то картинка вырезанная так Или вырезанная так или аудиофайл вырезанный так или вырезанный

Так они уже будут отображаться нейронной сетью даже не обученной в точке пространства которые не так уж далеки друг от друга просто потому как она построена соответственно вот этот многомерный вход он не обязательно приводит к тому что у нас сеть умудряется этот ри излишний Да

вот эту склонность к орфи гасить просто тем как она построена вот сейчас я в любом случае не смогу это объяснить более технически Но мы с нам с вами об этом много ещё придётся говорить так Уважаемые слушатели моя лекция на этом

подходит к концу Я хотел бы принять ваши вопросы если они есть а во-первых Поставьте пожалуйста плюс кому Понятно о чём я говорю а во-вторых а пожалуйста Задайте вопросы если они у вас есть студенты могут задавать их голос в Зуме я с радостью отвечу то есть

видите пока вы готовитесь задавать вопросы или написать Что Вопросов нет А лекция она такая очень не техническая Вот она во многом про саму суть да чем Потому что говорить что глубокое обучение Когда у вас много слоёв в нейронной сети Это неправильно

Это просто не так но много где вы услышите и даже в моих старых лекциях вы услышите такое утверждение Вот и А Или иногда спрашиваю там а начиная с какого количества слоёв это будет глубокая нейронная сеть и это будет глубоким обучением не с

количество слоёв А с тем какая там будет логика Вот и логика для Таких данных о которых мы сегодня с вами говорили специально под них подстроено а что ты ещё хотел сказать Да вроде бы наверное вроде всё А да я хотел сказать

что можно построить нейронную сеть которая будет иметь много слоёв она будет нейронной сетью она будет иметь много слоёв но тем не менее это не будет глубоким обучением Вот мы с вами кстати с этого начнём мы с вами будем строить

многослойные персептрон которые по духу глубоким обучением как бы не являются сколько бы вы слоёв там не накрутили Вот и потом мы будем в них ну добавлять ним другие слои и получать уже те самые глубокие нейронные сети так да Давайте

посмотрим ели вопросы В чём заключается конечная цель алгоритмов de они применимы только классификации А Нет смотрите конечная цель алгоритмов de в том чтобы для сложного обекта получить векторное представление которое потом может быть использовано для чего угодно то есть deepar делает всё что

угодно но а его Ключевая ценность в том что он даёт вам очень хорошее векторное представление для объекта сложного Так я надеюсь я ответил на этот вопрос то есть дап - Это всё что угодно но мы через классификацию с вами в

пнин как раз всё что угодно делаем так ну что ж вопросов вроде бы больше нет я вижу что всем А понятна моя лекция это мне всегда очень приятно что ж Уважаемые студенты Уважаемые слушатели Спасибо большое что присоединились А наша следующая лекция

будет послезавтра в субботу в 12:10 как обычно Всем спасибо и до свидания