ML System Design с Валерием Бабушкиным | Выпуск 1 | Соб… — Transcript

Обсуждение собеседований по ML системному дизайну с акцентом на ранжирование рекламы в соцсетях и важность понимания бизнес-задачи.

Key Takeaways

Понимание бизнес-задачи — основа успешного ML системного дизайна.
Задача ранжирования рекламы требует многократного отбора и оценки большого количества кандидатов.
Собеседования по ML системному дизайну оценивают не только знания, но и целостность мышления.
Важно учитывать долгосрочные эффекты и сезонные изменения при проектировании систем ранжирования.
A/B тестирование и правильный выбор метрик критичны для оценки эффективности ML решений.

Summary

Валерий Бабушкин и преподаватели из Харди Миль обсуждают особенности собеседований по ML системному дизайну.
Главное в ML системном дизайне — понимание бизнес-задачи и умение трансформировать её в техническое решение.
Рассматривается задача ранжирования рекламы в социальной сети с целью максимизации кликов и покупок.
Обсуждаются этапы отбора кандидатов для ранжирования из миллионов рекламных баннеров.
Подчеркивается важность целостного подхода и умения строить масштабируемую и адаптивную систему.
Отмечается, что собеседование по ML системному дизайну — ключевой этап оценки сеньорности инженера.
Разбираются нюансы оценки эффективности рекламы с учетом сезонности, регионов и долгосрочного эффекта.
Обсуждается необходимость использования A/B тестирования и понимания метрик для оценки решений.
Приводятся примеры из практики работы в Facebook, Яндексе и AliExpress по задачам матчинг и ранжирования.
Видео носит формат дружеского интервью с разбором типичных вопросов и подходов к системному дизайну.

Chapters

Full Transcript — Download SRT & Markdown

Speaker A

Всем привет! Сегодня мы здесь собрались с рядом преподавателей из Харди Миль, чтобы обсудить в хорошей нетоксичной манере тех людей, как они прошли собеседование, поймали дизайн, который была записана и возможно даже опубликовано раньше, чем это видео. Меня зовут Валера Бабушкин. На момент записи

Speaker A

видео я работаю в Фейсбуке в Лондоне. Представьтесь, пожалуйста. Так, меня зовут Увага. На момент записи я в индексе Яндекс Маркете, занимаюсь моделированием бизнеса. Один из преподавателей курса Хардом. И что же ты подаешь? Блог по uplift моделированию игры, скажи, почему

Speaker A

позвали сюда тебя? Меня зовут Игорь. Какую поняли по упрощению Валера Бабушкиной? Я занимаюсь и матчингом в Алиэкспрессе, до этого занимался match.com и Яндекс Маркете. Кажется, что об одной из задач, которой сегодня будем обсуждать, я что-то знаю. А про что твой блог в Хардом? И

Speaker A

тоже внезапно про matching и также про ранжирование. Отлично! Мы сейчас начнём как раз, кстати, с обсуждения собеседования про ранжирование. Но прежде чем мы начнем, я тебя же посмотрю видео, разметали, не буду давать итогов, никто не станет задавать особенности, знать какие-то на них палыч.

Speaker A

Мы прежде чем обсудим это собеседование, я задам вопрос такой: вы, наверное, читали, что QML дизайн годами сегодня — одно из ключевых собеседований, которая определяет сеньорность инженера. Это может пятый уровень, и 6, 7, 8 — это бесконечно глубокая вещь, собственно

Speaker A

который очень хорошо показывает опыт, понимание, практические знания. И мы, когда записались в 3 видео, там действительно видна разница между тем, как миддлтон себя на этом собеседовании и как сеньор вел себя на собеседовании. Почему один сеньор он не разбирался в

Speaker A

конкретном вопросе, который ему задали, потому что у него 2 года больше, избрался в этом вопросе. Тоже можно видеть разницу между опытом и общими навыками. Но что вот на ваш взгляд самая важная в мыле дизайн? Но след очень важно понимать саму бизнес-задачу, а

Speaker A

потому что в верхнем уровне у чуваков вроде сеньоров, у людей, стоящих над ними, хочется им принести какую-то бизнес-задачу, сказать, что мы хотим получить, то есть мы хотим заработать денег. Они туми транслировать какие-то понятные мэй pipeline и говорят: здесь мы сделаем одно,

Speaker A

здесь делаем другое, здесь делаем третье. У нас есть вот вариант сделать так и сделать вот так. Здесь мы потеряем побольше, здесь придется купить больше оборудования, но будет лучше, или какой-то другой thread'ов. Возможно, он знает, как замерить эффект и он знает, как посчитать

Speaker A

выгоду, как провести хотя бы базовое A/B тесто. Легко? Это не очень базовый с разными дополнениями, потому что очень часто мы не можем в тупую провести тест, и часто это не работает, потому что сиськи это без, и есть как минимум

Speaker A

кого-нить сезонность, либо разные регионы и так далее, так далее, так далее. И вот, вы скоро лючок, он должен все это понимать, все это держать в голове и уметь в достаточно короткие сроки перебивать бизнес-задачу в мыльную задачу. И давайте

Speaker A

уже технической команде такой. Мы и так, но игр значительная часть вещей, которые хотел сказать, действительно уже сказал. Вот, но действительно первый тест, который хочу выделить, это что марксистом дизайн, конечно, в каких-то моментах от общего системного дизайна может

Speaker A

отличаться, но основные пункты действительно такие: нужно уметь понимать, какая именно задача стоит, причем не обязательно с четкой формулировкой, а из какой-то общей постановке выбирать разные варианты. Дальше уже уметь выстраивать эту систему так, чтобы она именно по требованиям подходила, так

Speaker A

чтобы, если допустим обстоятельства поменяются во времени через полгода, то эту систему можно достроить, перестроить как-то по-другому. Вот, чтобы доработки были проще. Вот, но если именно в детали какие-то сдаться, то человек должен опять же все требования, там объемы данных, которые через эту систему

Speaker A

будут идти, осознать, осознать, какие сущности там есть, существует, четко выделить, что там этот товар относится к такому-то мастеру, не знает, так далее. Вот, продумать всю схему данных и там прочее, прочее. Вот, в целом дальнейшие детали мы, например, обсудим. Да, то есть если подвести итог,

Speaker A

окажется, что основная важная вещь в этом собеседовании — это целостность. Нужно составить целостную картинку рабочего решения. У нас будет дружеское интервью и мир дизайна, mr design system design by several — это три наиболее важных интервью, которые и по которым оценивается сеньорность

Speaker A

кандидата технологические компании, будь то Фейсбук, Гугл, Амазон и прочее. Задача имели дизайна и задача системы дизайна с твоей стороны — рассказать мне историю. Это очень тяжело, на самом деле, поможет 45 минут. Ты практически солируешь в идеале, и чем меньше вопросов я тебе

Speaker A

задаю, тем лучше. Я могу иногда задавать вопросы, которые просто погружают тебя в кроличью нору. Это нормально, это эти просто пишу signal. Там сейчас у нас все равно это такое пробное дружеское, тут мы в порядке, каретка сбора, потом я в

Speaker A

конце с тобой поразбираюсь, что можно было сделать лучше, что хорошо, на что обратить внимание, не так далее. То есть я просто даю тему, рассказывают, почему эта тема важна, а дальше мне рассказываешь лайма и дизайне, как бы ты это дело с точки зрения мы. То

Speaker A

есть тебе не нужно ударяться в инфраструктуру, тебе не нужно говорить: здесь нужна какая-то база данных, здесь нужно столько скверов, здесь нужно столько-то оперативки. Нет, все конкретно prime. И тема у меня будет следующая — это не matching. Марш мальчик уже был знаком, не придет,

Speaker A

кстати, достаточно классическая, ее съеденная. Пусть это будет ранжирование рекламы в фиде какой-то социальной сети. Вязать, что социальная сеть — у тебя люди просматривают ленту, и там периодически нужно подкидывать им рекламу. Понятно, почему. То можно за счет этого социальные сети зарабатывают

Speaker A

деньги. Возникает вопрос, как нам правильно каждому человеку подкинуть конкретную рекламу. Так правильно я понимаю: человек заходит в социальную сеть, просматривает ленту, периодически видит какие-то баннеры, он может кликнуть на баннер, может прокрутить, может пожаловаться. Да, сразу такой вопрос: социальная сеть

Speaker A

зарабатывает с кликов? Это очень хороший вопрос. О социальной сети безусловно зарабатывает с кликов, но в сан-сити точно так же, как у поискового движка, есть понятие длинные деньги. То есть рекламодатель платит за то, чтобы в итоге что-то купили. То есть ты, конечно,

Speaker A

можешь в каком-то промежутке времени заработать много денег, максимизировать их, но потом ты потеряешь много денег, потому что у тебя выйдут тогда задач. Понятно: показывать самый дорогой баннер, по нему кликнуть, и все хорошо, а тебе хочется еще, чтобы все-таки купили.

Speaker A

Значит, можно, наверное, так сформулировать следующую эмаль задач: у нас есть пользователь какого-то, у которого есть кое-то профиль, мы знаем про него там как минимум пол, возраст, какие-то минимальные интересы, круг его друзей и так далее, на кино ки сообществом подписан. Что это еще вот

Speaker A

соответственно, скорее всего, там какой-то продакшен системе это будет выглядеть следующим образом: он листает ленту, и там в определенных позициях этой ленты у нас есть слот для баннера, и соответственно нам нужно выбрать, какой конкретно баннер мы хотим ему показать,

Speaker A

так чтобы он там с большой вероятностью на него перешел и чет купил. Соответственно, тут возникает как раз таки наша задача ранжирования. То есть у нас есть какая-то база всех рекламных баннеров, предложений, и в данный слот мы должны предоставить

Speaker A

наиболее подходящий. То есть если говорить о праймальной задаче, это прям вот ранжирование. Как много вообще у нас может быть потенциально таких баннеров? Миллионы, носит очень большое количество. Соответственно, если мы то посмотрим на количество кандидатов при ранжировании, мы поймем, что, наверное, для начала нам

Speaker A

нужно сделать какой-то первичный отбор. То есть вообще когда решаются задачи, связанные с ранжированием, например задача поиска или того же матчинга, которую мы так любим, то есть несколько этапов отбора кандидатов. То есть это вот можно просить как такую воронку: сначала

Speaker A

у нас она большая, мы на входе имеем вот все баннеры, которые есть, ну практически, и потом мы по каким-то правилам, может быть по каким-то моделям машинного обучения, должны это количество как-то сузить, оставив там финальный n кандидатов небольшое числ.

Speaker A

там условно 10 после этого вот эти вот малое количество кандидатов мы можем уже скормить в какую-то более серьезную модель машину обучения которые там какие-то сложные признаки чтобы она там хорошо определила по какому же манеру юзер наиболее вероятно перейдет и что-то

Speaker A

купит когда саша начал рассказывать он ну не то чтобы сделал ошибку он начал рассказывать сначала про отбор кандидатов водорода еще потом он перепрыгнул к данным я причем в записке делать не записка а как данные собирать то есть даже написано экспрессе то есть он

Speaker A

проданный рассказал но если мы берем какой-то логическую целостность быстрее наверно сначала нужны данные о строении кандидат наверное нам нужно начать того как мы собираемся отбирать кандидатов я не очень прям имею хорошее представление о том как работает конкретным такая рекламная сеть

Speaker A

но так сделаю предположение о том что есть кит партнера до от которых вот эти баннеры проходят и соответственно соцсеть на их агрегирует соответственно изначально наши кандидаты это все баннеры так после нам нужно остановиться на какой-то кандидат на модели который отбирает

Speaker A

адекватное количество для последующего а ранжирования что вообще здесь может быть что вам мы можем знать про баннеры вот эти вот рекламные картинка картинка и текст кто-кто-кто какая организация сотрудница муж не первый раз уже так возможно мы можем кроме того

Speaker A

описать что это напиток футболка косметика услуга так у нас есть это сайт на который ведет достаточно много всего вот почему мы можем построить какие признаки касаемые именно банеров вот соответственно признаки пользователя у нас тоже имеются поскольку это у нас

Speaker A

социальная сеть признаки взаимодействия пользователей с баннером ну наверно там стоит посмотреть показывали ли мы ему до этого такой же баннер может быть какие то похожие вот здесь то же есть достаточно большое пространство по тому как мы можем вот эти признаки

Speaker A

генри тут он спрашивает какие фичи у нас есть и биде то есть я я когда ему говорю он спросил одессе нас картинка искал да у нас есть картинка у нас есть вебсайт некоторые видео у нас есть возможные интересы на которых идет не просто начал

Speaker A

случайно набор слов говорить александр что периодически самое случается и просто выкрикивать слова воздух но это вот это нормально просто мы задались что-то здесь можно было улучшить личную прослушку я просто наш вопрос был след от и не мог прослушать потому что

Speaker A

это не было озвучено картинка что мужчины при бондарь картинка но это очень хороший вопрос для начала диалога чтобы вообще понимать с чем мы работаем наверное передадим стал еще более углубиться в то как у цели мы преследуем и что мы хотим оценивать

Speaker A

потому что насколько помню видео вы только в конце перешли к ожиданию выигрыша от клика на баннер то так но вообще самая за что я зацепился то что он сам сначала не предположил что мы про баннер можем знать вот что в целом тоже было бы круто

Speaker A

если бы кандидат как бы сказал ну кажется что вот про баннер мы можем знать та-та-та-та-та-та и уточнить уже о интервьюера а действительно ли эта информация доступна верует то есть я соглашения причем скажем вас соглашусь на будет наверное он не должен меня

Speaker A

спрашиваете ждать это не ответ он должен искать я считаю что у баннера но в принципе даже если не специалист в рекламе ты же все равно видеорекламу она может прикинуть что там есть но сказать пусть у нас имеется это это это это тогда мы

Speaker A

делаем то то это а тут он у меня спросил о самом начале интервью сказал что чем больше это меня говорю им хуже чем одна из сложностей дизайнов как int или в том что этот патч практически 5 минутного выступления

Speaker A

но еще зачастую на иностранном языке как кстати энергично отлично ты должен был сказать нет нет нет про все хантер и вот здесь он он он задал правильный вопрос но если я был бы на реальном интервью я бы сразу это у меня был начертан что это

Speaker A

нет где 6 что это нагиб что он не говорит мне утверждает своего опыта спрашивает уточнение то есть это не ошибка но это опять же вопрос то есть кажется что хотя бы было бы круто задавать вопросы в тот моя когда это уже

Speaker A

очень специфично домена знания которые кандидат на в принципе могут знать и он спрашивать и пока настоящего эксперта глубокого где либо еще нужно прилагать вариант я не знаю может быть так может быть так может быть так вот это вот это

Speaker A

вот а после этого же уточнить а такое вам кажется ну в крайнем здание то есть river city art сказал показывали мы ему и что-то он делал да наверное в этом моменте я хочу чуть остановиться и обсудить про то как мы будем измерять

Speaker A

потому что мы вроде как определили задача машинного обучения мы вроде как поняли что у нас является так кандидатами для ранжирования что у нас является запросам то есть это вот сам пользователь его профиль и там момент времени в которой мы ему показываем вот этот

Speaker A

баннер соответственно надо так закрепить вот тот момент что как мы будем измерять нашу модель как могла умереть его плане как мы будем не умереть в онлайн наверно стоит начать с онлайн а то есть тут скорее всего других вариантов я не вижу это а.б. у

Speaker A

нас есть там модель старая модель новая мы проводим эксперимент все параметры отрегулировав чтобы точно сказать что там вот в таким-то уровнем значимости мы получаем вот такой вот прирост по какой метрики вот это хорош смотри что мы можем вообще

Speaker A

оптимизировать в качестве бизнес метрики можно оптимизировать сетях можно оптимизировать покупки то есть если мы предлагаем человеку купить что-то мы наверное сможем дальше отследить чел куда он идет и что покупает нам партнеры должны говорить я думаю что вот стоит

Speaker A

остановиться на чем-то одном из двух с покупками на дно может быть чуть сложнее потому что это более долгая история чем просто клик и как мне подсказывает интуиция не всегда наверное человек покупает вот данный товар с первого раза это правда ну знаешь какая система

Speaker A

учится как раз на клики индекс цен ты читал я xd да понимаю я мать приводит к что учиться наклейки но можем учиться на клип здесь я начала начал улыбаться человек работающий в яндексе он читал яндексе я не верю что все мы тарикат

Speaker A

ручные клики могут быть плохими ли он пришел не казаться если ты учти наклейки у тебя одна из информация это тайтл то это называется клик будет как ни странно говорить весь вопрос был достаточно простой вот он ска мы будем на что-то учиться опять же

Speaker A

когда ты говоришь на что ты будешь учиться ниже плюс есть минус у меня бы например сварского можно учиться наклейки почему кликов немного гораздо больше чем покупок у кликов есть такие минусы упаковок есть такие плюсы но такие минусы в идеале сделать какой-то таргет

Speaker A

композитный логично для это логично . врачи предположений еще знаешь что есть распространена практика обучения на время пребывания на странице после клика но не у всех компаний могут быть такая информация безусловно но допустим то что из крикета что есть

Speaker A

покупка меня бы устроил сон стал вот есть такие плюсы и минусы возьмем как бы и зла и опять же если мы говорим про целостность решения есть несколько вокруг как я первый подход это просто постройки вызван solution при этом в ком

Speaker A

на каждом пункте сказать что вот здесь может быть такая здесь такая здесь такая потом вернуться в принципе меня не смутило бы если бы он сразу оговорился что давайте мы вопрос выбора таргета даже отложим хотя это ну не очень круто

Speaker A

но тем не менее и про это поговорим подробно отдельно сейчас меня будут вам сказал бы что я вернусь к 2 рации доход у меня базовый таргет я посмотрю вопрос про b представь что ты сравнивать что я не очень это тематике представь что у тебя

Speaker A

в этой команде оранжевой реклама работает больше одного инженера так может такое быть и ты сравнить ни с одной моделью а с десятью а потому что каждый из них запилил какое-то и мега модель стандартный из транса то есть обычно в таком случае что-то меняется

Speaker A

или все тоже самое когда каждый человеком ты вперёд своих речей потом это складывают в общую корзину ну типа вопрос в том насколько у нас большое поле для экспериментов если мы можем построить эксперимент так что это не обед с то например a b c или там еще

Speaker A

дальше то в целом мы можем двигаться по такой стати мне что-то меняется меняется то что как мы будем результаты вот исследователей этих инженеров соединять ну то есть там может быть такое что мы добавили там одну фичу и добавили другую

Speaker A

фичу параллельный аппарат это протестили там каждый свечей добавленных дает какой-то прирост который мы иногда замерили а потом когда и мы это соединяем вместе у нас черт вот идет не так а почему такое может быть это может могут быть по-разному

Speaker A

составленные признаки то есть некоторые фичи могут ломать модели а может что-то в дизайне бы теста быть само по себе что делает его менее надежно в таком случае ну мы получается просто тестируем тогда нити не совсем те вещи которые мы хотим то есть у нас есть

Speaker A

там параллельная разработка два инженера пилит свои печи каждый из инженеров после того как запилил фичи конкретно свои проверил запускает какой-то б там через неделю приходит мою этого круто у нас там метрика выросла к темно все и 2 инженер

Speaker A

делать тоже самое и потом когда они говорят котят на все они как бы соединяются результаты и вот в этот момент мы получили уже третью модель который мы на самом деле не как не оценивали смотрите что он показал ну во первых

Speaker A

какая метрика это даже не то же самое на какой-то орбиты ты будешь какая метрика но не обсудили вот эту себя то онлайн там в принципе можно понять что деньги но а ты смотрел для что ты помнишь тот момент был вопрос был следующим

Speaker A

попробуем смерти отца юго б.а. представь что есть destin жене raw которые улучшают мы далеко как у нас в яндекс то есть ситуация абсолютно реально ну прям уж много инженеров они работают моделью и психологическом пойми так и происходит нет но как только есть инженеров

Speaker A

работают 10 моделями то что происходит вы готовите много моделей готовится много модель его б они получается сравнивается не просто модель с контролем а еще много раз это сравнить а что произойдет если мы вот я спросил дальше саша что если тысячи инженеров

Speaker A

работы у нас много будет ошибок на второго рода первых героев этих пытались все если мы выкатим просто тысячи моделей я спросил тысяч одинаковых моделей бака что одинаков понятно что они не одинаковые кредиты выдают то у нас даже страсти к куниц равнозначности

Speaker A

05 произойдет 50 ложных срабатываний а он не значил говорить тоже очень грамотно вещь то есть мы видим одну модель которая победила вторую модель которая победила забьем эти фичи в одну получите модели она может не победить проблема может быть в том даже не фичах а в том что в

Speaker A

принципе не пятна никто и не победили вот я сел здесь записал себе ответить и а.б.

Speaker A

sick решил то есть это реальная проблема которая возникает всегда как только вы начинаете каком-то множестве работать а если еще момент past papers of 10 инженеров а представь их не 10000 и представь каждый из них выкатил модель который реально ничем не отличается от

Speaker A

как от контрольной группы что покажет как бы в таком случае у нас есть 1000 моделей который ничем не отличаются от базового ну а нас к скажем так они могут быть обычно каких других вещах но реально они не отличаются с там

Speaker A

только также вы тоже качестве они не дают тебе одинаковый результат на одном и том же единичном сэмпле но в среднем они не отличаются ну может показать и прирост на самом деле и покажет если висение не сломаны и почему покажет ну потому

Speaker A

что каждый этом смысле почему пока ну вот почему ты скоро может показать прирост хотим и знаешь там реально нет прирост ну нету прироста у каждой там печей отдельности но 1000 инженеров запустили тысячи моделей ну это чуть другая история чем действий

Speaker A

обезьяна 10 тысяч печатных машинок и 10000 лет пишут что то но тысячи инженера запустил тащи модель реально все из этих каждой из этих тысячи моделей она ни лучше ни хуже чем контрольную модель бред но вот реальность если у нас божественной

Speaker A

истины а что покажет абэ что по каждой модели ну вот у нас и получается пройдет еще в тест вправду что что у нас получится что мы можем ожидать я здесь тогда что причесал приложи чтобы точно догадаться не сделал опять же наша

Speaker A

задача посмотреть насколько глубоко он знает какую то тему хорошо допустим сразу не сказал ok это не то чтобы проблему нельзя знать все темы очень глубоко но нужно сказать что а б не за 10 pricing это ганы или что-то еще это то

Speaker A

что возникает теперь вас очень нужно оценивать насколько лучше стала твоя модель насколько оно ужасно прежде чем лезть в проблемы с моделью посмотри как дизайна бы у тебя сделан кто тебя больше одного инженера был просчет дизайн сделан так но хорошо мы модель значит выкинули ты

Speaker A

сказал мы посмотрели попробуйте на прокси метрику быструю на клики как мы делаем в некоторых магических компаниях россии что теперь с онлайн метриками определились соответственно мы должны понять на что мы будем обучать модель pav они и как мы будем

Speaker A

собирать для обучения данные вот значит смотрите на какой на 15 минуте мы стали говорить как мы будем собирать для обучения данные не то чтобы ну то есть это правильно и это даже не ну в принципе тут не так чтобы однозначно

Speaker A

всегда мне кажется нужно вскакивать сразу так мы соберем данные иногда ты хотя бы чуть-чуть причесываюсь структуру немножечко решение или что тебе нужно потом такой ну да наверно нам нужна информация о том то том-то и ты начинаешь обсуждать данные но может

Speaker A

действительно поздновато уже на согласен что тогда вот сам начале сказать что я сначала набрали вот это от этого будет зависеть каким-нибудь вреда и об этом скажу то есть ты всегда на росте я согласен что большую часть данных топор

Speaker A

и уже чуть ли не сам начале можно обсуждать то что какие есть только ты и потенциально понадобится вот потом по ходу решения уже только вспоминать что еще можно докинуть и как это причесать схему поэтому очень хорошо пользоваться доской вот если вы

Speaker A

смотрюсь интриги там ни один человек не пользовался насколько следом выходит приготовить пирог кстати я очень удивился что ну да потому что ты вышел народов написал какие вообще есть большие условно данные x y значит сразу какие фичи какие-то объекты как собирать

Speaker A

дальше модель в ней лосс оффлайн уммой метрики дальше соответственно как только он про онлайн диплом оба тест но и дальше начал от этого танцы латина все структура есть да хорош и структуру можете не потому что декоративное доска мнение записать мне кто-то безмерно

Speaker A

медисин хоть и нам стоящие маркера то есть если мы предполагаем нас есть кайта bass line который уже работает и уже что-то там дает то мы потом конкретному пользователю конкретному баннеру можем сказать типа если он кликнул то это один

Speaker A

если не кликнул то это 0 от крикнул ни кликнул 10 задал он кстати хороший момент как даже негатива гораздо больше нужны ли нам какие-то специфичные негативы 0 и они все были очень хорошие кони что он отметить про скрытия или

Speaker A

когда кто-то жалуется на рекламу этой мочка вы негатива но обычно их очень мало даже по сравненью с обычными кликами не так на блюде жалуется на рекламу необычные вы просто пропускаю на самом деле не особо согласен с тезисом что люди просто могут расковыривать к

Speaker A

рекламу а скорее просто команда таран человек не знаю доли секунды тратит если он ничего интересно не заметила на пролистнул так что я бы их не отбрасывал как плохие негативы этот прям хорошие обычно негатива ну и согласно пью да не

Speaker A

зацепило человека и он сразу же пошел дальше проводить баланс классов ну можно купить хитро функцию поддерживать и хоть даже нормализованные нормализованы курс энтропию она в этих задачах достаточно часто используется этот аналог фо колосса в картинка когда я очень много негативов заранее известно

Speaker A

нормализованная образован трофей если я правильно помню потом покажу в коде она на дисбалансе классов на работают но хотя что имеется ввиду не работает потом обсудим одну к другой вопрос и в рекламе работу что ты скажешь так ну смотри я

Speaker A

вопрос-то в начале вам не расслышал вопросам началась разве он собирал горди ты дал 0 и единицей жениться нас мы берем все единицы секретом раз как брать нули и он скважину не бывает разные например пожаловался на объявление это 10 просто

Speaker A

быстро про скоро лил эту другую ну а увидел мол задержался на не кликал это третье нет вообще это все прекрасно что рассказал было бы вообще замечательно если бы но это уже в плюс прям было бы если бы он

Speaker A

выкинул про парные торги ты в духе если он сказал что мы запоминаем именно пару что было допустим 2 баннера но он кликнул на тот они на этот вот и вот и это парни лосс в свою функцию добавить для ранжировать

Speaker A

вот например но опять же там в постановке я просто не помню здесь просто общая задача стояла что что от одно место под баннер и нужно как бы травмирует выбрать или социальной сети у тебя есть feed.ly там вот как раз про

Speaker A

постановку задачи может быть вы в начале недостатка медленно он спросил сколько баннеров а все этому поэтому он был вопрос про про scroll если бы было только одно место не было бы но все если там ситуация так что несколько баннеров

Speaker A

то действительно вот парные штуки гриба очень посмотрим что до колена и соответственно для каждого баннера мы будем предсказывать вот такой вот скоро то есть 10 напрашивается какая-то бинарная классификации самый такой простой мы знаем что мы там для каждого

Speaker A

баннера предсказывает город нуля до единицы типа 0 совсем плохо один кликаем вот как мы будем мерить насколько хорошо мы вот это вот классифицируем если говорить про метрики для ранжирования то наверное здесь можно использовать энди сиджи можно на то чтобы используйте 10g у тебя

Speaker A

бинарные классификации тебе нужно вот вот я про это и говорю надо подумать ну если мы переходим бинарной классификации сейчас посмотрим для начала на данные то есть наверное у нас показа кликов сильно сильно меньше чем не кликов предположим что мы будем измерять f1

Speaker A

ламинарные классификации что нам это даст нам даст искал на задача ранжирования правильно ну мы можем ее свести к классификации можем свести к а можем ли мы в классификация оценить метрика и ранжирование какое-то но в теории да но нам нужно нам нужно понять

Speaker A

то есть метрики ранжирования ниже оценивают по конкретным запросам они все скопом как у нас есть метрики бинарная классификации хироси при хижины кулак один котировок ауке так рока ew.com кстати можно показывает количество верно но не от ранжированных от 01 пар который

Speaker A

верно ну даже ранжиру на и парня я забыл слова то есть целом наверное мы можем выбрать и такую метрику так да то есть для нас цель такая чтобы скоро единички был выше чем скоро 0 тогда мы все единички будем принимать

Speaker A

вверх тянули опускать вниз и соответственно нам наверное не настолько важно по какому из банеров кликнет пользователь если он кликнет ну что есть на вот данному виду этапе понятно что потом нам будет от опасным потому что там он может кликнуть и купить iphone а

Speaker A

может кликнуть и купить какую-нибудь безделушку и соответственно тут покупки немножко неравновесные но кажется что вот для бассейна можно выбрать такую штуку украшенный отговорки сделал сегодня тоже меня устроило поговорим еще раз про данные что мы обучаем клики против не кликов

Speaker A

кликов у нас сильно меньше соответственно нам нужно придумать вообще то есть крики понятно как доставать понятно что это такое а что такое не клики мы могли пользователю показывает какое то объявление какой-то баннер и он мог его про скролить он мог

Speaker A

его про скролить типа потому что он просто скрою или он мог построить потому что этому не интересно он мог на него пожаловаться вот то что человек жалуется на баннер и это нужно прям как какие-то hard негатива выносить что вот вот это ему

Speaker A

показывать не надо ну пожаловаться скрыть там какие-то еще активности связанные прямо с неприятием рекламы вот соответственно если мы на майне на май нейм примерно одинаковое количество того что юзер кликал на баннер и юзер на баня жаловался или скрывал его на как раз получим

Speaker A

какую-то более менее разметку который наверное сможем обучить бриз лайн так метрики есть данные накопали а финально как у тебя модель будет работать расскажу вот сейчас я хотела к этому перейти то есть к конкретному pipeline у все мы будем делать понятно

Speaker A

что мы не будем спорить всех кандидатов все бояре там весь миллион миллиард сколько их там который у нас есть для начала нам нужно придумать какие-то более простые модели заметил что это было и вот здесь мы обсуждали кандидатов но потом понял что это сейчас еще не

Speaker A

имеет смысл пока нет больших подробностей не тоже не имеет смысл что он пропустил какой-то важный кусочек мы обстреле сити даже кусочек он вернулся снова кандидат брянцев это оперативно интервью котором ты можешь возвращаться вот обычно говорю как это можно сделать

Speaker A

ну во первых элементарно наверно не нужно ему показывать второй раз то что мы уже показывали это первое второе если мы сможем то есть у нас есть какие-то признаки пользователя здесь какие-то признаки баннера если мы вот сможем перевести пользователей банеров

Speaker A

такие в такое векторное пространство что там вектор пользователь будет близок к вектору баннера если пользователь у него кликал соответственно взяв там к ближайших мы уже уже отберем какой-то пул кандидатов первичной которые мы можем давать модель дальше по моему

Speaker A

единственное что он вообще за все видео говорит правого фичи и кажется что этого явно недостаточно нужно было бы добавить незнакомец контекст вроде того что мы берем несколько соседних постов в этой ленте куда мы хотим что-то вклеить можно там не знаю если у тя есть пост паркует

Speaker A

событий можно вклеить рекламу этого события если у тебя расположен такой баннер можно добавить больше про признаки пользователь например что он хранил в историю недавно посещённый сайт и конь идентификатор . город или кластера ну казалось бы за него лишнюю минуту но это

Speaker A

очень важно проговорить ну да ими так просто когда он говорит что мы состоим какой-то вектор пользу или мне совершенно непонятно нас на какую информацию этот вектор пользователь будет составляться вот то есть учтено летом контекст что пользователь посещал там последний там пару дней

Speaker A

последний там 10 визитов да там каких-то страниц и так далее или это просто какое-то базовое очень тяжело обновляемый вектор вон то есть насколько он реагирует им на контекст поэтому до информации именно про факторы которые туда влетают в построении этих векторов

Speaker A

правят не через к чуть более подробно раскрыть что такое фичи то есть конечно виктор пользователи вектор баннер а действительно нужны но из чего они состоят а дальше можно интеракция между ними может быть все жду ну вообще типа если мы проектируем какой-то большой

Speaker A

поисковый движок то там бывает несколько разнородных кандидатах моделей то есть например если это прям вот поиск то там там как такой самый baila en можно использовать pn25 то есть по текстам вопрос документов 1 документ скажи слушателям чтобы им 25 и тех и дев очень

Speaker A

схожие вещи да и все работали в поисковых кампаниях ну в общем-то да б м 25 от такой типа апгрейда то и т.д. то есть мы просто смотрим на ходимость тех же самых токенов запрос документ есть на самом деле и другие

Speaker A

способы отбора кандидатов то есть по-хорошему они должны быть достаточно диверсифицированы мы например можем отбирать там если у нас вопросе есть картинки можем отбирать по картинкам если мы говорим про кита рекомендательных систем кстати говоря в том числе и про баню крутилки то

Speaker A

наверное мы можем придумывать какие-то способы связанные с коллаборативный фильтрации то есть мы можем показывать человеку те баннеры которые мы показывали его друзьям соответственно вот тут у нас уже напрашивается там как минимум два способа отбора кандидатов и после этого

Speaker A

мы должны там как 3 кандидатов нежить чтобы подать в дальнейшую модель вопрос ты построил эту модель ты падаешь им кандидату все работает хорошо возникает ли у тебя здесь какой-то петли обратной связи что ты людям выдаешь только то что моделям

Speaker A

говорит и давайте модель им говорит вдвое только то на чем она была натренирована до этого ну как правило она ну покрайней мере как мы решаем подобную задачу мать инге то есть мы так у такое было и причем модель может

Speaker A

переобучить именно надобно документы когда модель типа специально поднимает выдачи те документы которые она уже видела еще я уже запуталась том что понятно значит чем суть я пытался сашу навести на вопрос про фильмы клуб даже изначально если вы увидели некоторые

Speaker A

несогласованность между окончанием который петли обратной связи как-то это не гнется просто которой фильмы клуб имел видов где я простая если я учу моделью давать рекламу потом я воочию на рекламе как эта модель является обратная я а будет ли я пыталась не все страшно

Speaker A

просто что с этим сделать вот ты помнишь что он сказал дан отвечал очень хорошо про то что можно использовать либо эпсилон критики бы сэмплинг а после чего он сказал проведен сам сказал множество спуска следовали пас каких наводящих вопросов множество попробуем

Speaker A

на этого перемотать чуть не понял до пфр так кстати говоря это достаточно сложно за детектив вот как вариант можно вообще поделить типа все множество документов на котором мы обучаемся и на которых мы применяем ся так чтобы они не

Speaker A

пересекались мы скорее всего будем обучаться на каких-то данных из прошлого вот но здесь есть другой нюанс в том что наверное нам нужно еще показывать какие-то более свежий баннеры какие-то может быть сезонный что-то типа скажем если сейчас новый год и я хочу там купить елку то

Speaker A

она мне будет нужна там через месяц уже то есть тут наверно может напроситься щелкать 1 кредит от на модель которая будет вот в эту общую ранжиру ющий выдачу давать какие-то сезонные штуки он сначала сказал так мы на одной обучаемся

Speaker A

на другой применяем модель это было его первое предложение о том как избавиться от я буду иметь другой но вот этот вопрос а как для 2 на 2 будет переходить раз ты сказал что мы будем на одной выборки божественное применяться ну

Speaker A

хорошо допустим не возникнет когда клуб а ты про обучать уборку я не не запомнил как мы будем ее разделять на то на чем учиться на чем проверять то есть я я решила хорошо я уйду обратно к что скачать уборка мы четыре года на это как

Speaker A

мы до проверяем вот посмотрите это какая минут и 25 минут из 37 то есть и я вы меня зовут я думаю здесь если мы взяли ампул документов которые мы используем для обучения да а как мы его взяли на маниле что у нас было какие

Speaker A

клики какие баннеры какие пользователи вот это все заморозили такой snapshot получили нашей социальной сети с рекламными штуками а проверились на чем дожди в оффлайне в оффлайне мы можем проверяться на том был 1 часть этого snapshot а то есть мы поди побили там на train ted как

Speaker A

вопрос хороший здесь нужна стратегия такая чтобы наверное разные пользователи разные баннеры они разошлись по 30 тесту то есть не было такого что один пользователь он кликнул на два баннера и там один попал в трендовых тест кажется что самым надежным способом

Speaker A

будет бить именно по пользователям то есть у нас есть пол пользователей на которых мы обучались по у пользователей на которых мы будем оценивать модель так как будешь применить в плане ты обучил модель так ты и вышли к тем

Speaker A

пользователям которые были в обучающей выборке ну да я будешь в том числе они же то есть то есть ты сейчас механизм разбиение обучающие эволюционной выборки отделяет от того как то реальности будешь применять модель корректный вопрос некорректно ну кажется что он корректно

Speaker A

и помощью без всем что говорил в gopro будущее да все так но если он даже пошел по такой дорожке в которой там именно бьет по людям то там нужно прям плотно засесть объяснить почему вот конкретном кейсе тебе кажется что именно

Speaker A

по людям там полезно там например потому что у нас слишком нестационарные пространство да и мы шансов хорошо вы лидировать на будущем у нас нету а так мы хотя бы локально в моменте того что то можем прогрессировать вот потом

Speaker A

предложил как делать и не помню все людям его времени мне кажется что в данном в данном контексте это имеет смысл потому что ну вот бывают такие хитрые штуки когда мы перри обучаемся на какие-то документы на какие-то отдельные запросы кажется что типа модель не

Speaker A

должна работать сильно хуже на тех запросах и документах которые она там увидела во время обучения но мы не должны увидеть просадки качества на новых поэтому вот я считаю что вот именно такое разбиение на имеет смысл то есть мы берем так что у нас straight с

Speaker A

между собой пользователями не пересекаются а получается ли следует ли из этого что у нас может так быть что в трене у нас пользователь из июля а в тесте из июня быть такой может можем ну типа можно развивать и по времени

Speaker A

со временем но это звучит даже более логично но типа нет смысла предсказывать прошлое взяли конечно мы можем побить типа пользователем и по времени ну и еще нужно смотреть на сезонность то есть если например у нас в тесте было лет в 3

Speaker A

не было лето в тесте новый год то наверное это не очень хорошее разбиение потому что новый год обычно покупают совсем другие вещи что я не хочу разбивать именно по времени потому что мы на другой сезон попадем возможно как ты ты

Speaker A

можешь учесть учесть то что мы не попадем у другой сезон то взять типа июнь и июль как-то сезонные признаки учитесь это хорошая идея мы можем так учитывать но у нас сами документы уже будут сильно разделяться на типа летние и зимние

Speaker A

ты же это выехать я бы хотел чтобы наша модель обучалась на то есть она она видела и те и те и те кто тебе мешает как сделать то есть нам нужно v-train насыпать такие данные чтобы они представляли там более-менее равномерно

Speaker A

все там сезонные какие-то штуки которые нас интересуют и таким же образом насыпать их данные в тесте вы в идеале там есть у нас год тренингу тест например тогда по идее ну мы там до нее не ловим какие-то супер

Speaker A

модные тренды которые там появились только сейчас хотя мы можно еще переобучаться во времени а вот этот год год train a god тесты ты бьешь просто по времени или по времени пользователю осознание а не продавать но тоже как мы обсудили

Speaker A

что ты за начали предложил разбить по пользователям что в тесте одни в тренер в идеале конечно да а если год год взяли если мы сможем на собирать такие данные по времени и по пользователям чтобы у нас вообще было максимально типа

Speaker A

отделенные друг от друга trainee тесты мы на тесте могли прям вот замирятся не боясь что мы там перри обучаемся под конкретного человека чтобы у вас был совсем другой путь так в итоге у нас мы знаем какие признаки брать мы можем чуть поподробнее

Speaker A

обсудить особенно все признаки которые из разряда кликал покупал и прочее мы знаем как нам делить на тренд с сплит в принципе знаем как от оценивать онлайн но все-таки от мебели до конца понять вопрос ответ на про фидбэк лоб то есть я

Speaker A

вернусь вы думаете я забыл и а я не забыл ты свою модель же применяешь ко всем баннером как какашка ты cardo scala разделим на множество на чем обучается и множество к чему применяется и как только у тебя есть

Speaker A

модели которые ранжирует реклама на тебя ранжирует рекламу и потом все остальные данные которые ты собираешь паттерн жирной рекламе уже она там жирно было этой моделью тут тогда возникает вот этот вот еще один вопрос а можем ли мы там сделать не об этой оставь какой-то

Speaker A

дополнительную штуку вот видите тут он задумался что-то схема то получается не подходит чтобы выдавать данные показывают банер а не для того чтобы человек по ним кликал а для того чтобы собрать и выборку и как это инкорпорировать в модель расскажи в саму

Speaker A

модель да вот поговорим в тебе есть модель который выдает вероятность клика покупки клика мы же яндекс наклейки как ты применяешь и как в итоге ранжиру скажу то есть тебе вероятность клика нужно для чего для того чтобы выбрать наибольшую и показать пользователю то

Speaker A

есть арк макс много по вероятность да а увеличит и что хочешь деньги хотя при этом вот он он просто не дата дни до ушел вглубь нашем же ставка iphone и какая-то дарит всем помочь финского на msi не все клики важны

Speaker A

был уже при до должен один говоришь вроде как пальма тут чуть-чуть не дотянул хотя вот по абсолютно до этого дошел то есть вероятность клика на там смог века матожидания да хорошо то есть мы роджером по матожидания как добавить

Speaker A

сюда стохастик насти чтобы увеличить exploration но в целом гляди какой нибудь стратегию до или или еще что ип сангрию тираны липазы закончите своим или взойдет ли описан гривен так смотря ну прям просто совсем случайно исчез из всех и всех банков

Speaker A

которые у нас есть но мне кажется это просто транжирить трофи вот очень прожить потому что там есть куча очень мертвых баннеров вот который там ужасное совсем вот мы учились так ли чем во всем делились на показаны может быть минус если брать по классической

Speaker A

говорит epson где там джексон постепенно уменьшается ну не выдержали не обязательно может просто витязь он к стопам оставить как быть функция возвращает одна константа предложил это не этом солнцем прямо довольно но это был хороший год хороший ответ при этом

Speaker A

он в чем тебе не уже какой дух штуку диод интерполирует этот модель даже все же есть пазы кандидатов с которой ты выбираешь просто менее вероятно еще какой-то мент он сказал минут назад proart макс зачем подразумевал что вообще-то баннер 1 этаже может видимо в

Speaker A

разных позициях меняться и видимо все таки есть это контекстной фичи он вначале все таки говорил по моему что мы потом будем смотреть показывается елене 20 я не стал на этом разбирать не манит нас осталось мало времени уже ну и опять

Speaker A

же идея была в следующем как на что-то типа матожидания денег чаще всего смотрится да возникает вопрос у человека может меняться интерес конечно тает и ты когда сказал что мы кандидатов каких-то отбираем но ты сказал что мы стараемся это максимально syfy целовать чтобы

Speaker A

среди них отбирать но в принципе кандидатов мы можем в том числе отбирать я так понял и по каким-то кластерам интересности но как только мы говорим про ленина ближайшие соседи мы можем до если у нас есть какое-то пространство интересов человека искать его вектор то

Speaker A

мы можем там типа условно он там интересуется спорт политика музыка вот там из каждого кластера нас м прим здесь может быть очень много стратегий как мы убираем кандидатов но если ты истцов дом сен сэмплинг поставил ты уже внес

Speaker A

какой-то exploration лида хорошим то есть ну все ты нкр привел это в модели она поставить я несколько представлял что это уже наверное не относится относится больше не к модели ок там сбору данных на будущее и тебе нужно как-то учитывать что мобилизует вино

Speaker A

голуб то есть либо тебе модель не ко всем применяя тогда что применять к тем где у тебя ну да понятно как бы вовсе не знаю стоит ли нам говорит другом обидно будет мне кажется он хорошо проходим не знаю

Speaker A

выделяет ими мнению вас электронов будет on buy стаценко для прошел значительного его очень неплохо он сказал несколько хороших вещей которыми основным непонимание почему он нарушил структуру своей уже почему несколько раз возвращался к хорошим вещам и снова из них уходил и так им не удавалось 1 идет

Speaker A

конце развить но в целом все остальное очень плохо ну может быть я очень сноп ски подхожу но вообще очень интервьюеру понравится если выдержанная структура 2 ответа это во первых во вторых чтобы ты но по требование действительно все все четко

Speaker A

уточнил и сразу после требований вот на что громко бы сказал якобы обращаем внимание до что человек сразу говорит какая какие у него метрики целевые вот когда подступаться к моделям чуть не сразу говорит какой у него торги тылов что как бы далеко не

Speaker A

сразу всплывало интервью согласно про структурную целостность она она а в него все эти пункты были но не были гурманам порядке да и во вторых может быть из за того что мы здесь просто обзор делать да и так богус очкам смотрели у меня вот не

Speaker A

сложилось итоговая картинку вот что как это действительно выглядит вас важно в том числе вот если вы нарисовали на доске в да и согласья для себя три пункта подчеркну прямо которые для меня были бы красным относительно красным сигналом и the

Speaker A

train тест сплит два момента не проговорил сам проект авто а раз уж я бы вынужден был про говорить про эту то мы начали плавать на второй момент это а.б.

Speaker A

то есть тоже важная тем более проблема реально существует виртуальная не третья вещь видно клуб ну на мой взгляд один два раза отработать и вполне может шаг пройти на l5 google или facebook они так если подумать там даже ними три

Speaker A

книги назвал у него есть отбор кандидатов я ни разу за видео не услышал про то что сильная метрика на например recall того что мы в кандидаты вообще что-то здраво выдаем да то есть ее по моему за сикретов ни

Speaker A

разу не посещал этих вот у нас есть система сначала вот это потом вот это работаем если были слить нарисовалась то было бы очень легко например вместе кружочек этот сегмент а сказать здесь мы ценим у нас прокси метрика по которым и самим

Speaker A

следим своим за своими моделями такая здесь там мы смотрим на эту метрику но финале бизнесу мы все равно показан вот на денежную метрику и на это внимание это собственно оффлайн онлайн метрики бизнеса волос и вот как только есть дура

Speaker A

ты там расписал в руки и пункты найти и т.к. не приходит ты что думаешь про этот мой предыдущий комментарий было прозрачно zip from в целом в целом в целом ну посмотрев как было интервью кандидата но я допустим сразу чувствую что именно

Speaker A

вот в этом домене и в этой сфере он скорее не работал вот потому что но это на мой взгляд они проблем ну как бы не работало не будем ждать пока конкретном в домино специфичный область вот но с другой стороны если как бы в

Speaker A

других местах закрывал хиты задачу от и dota и опять просто повторюсь до ожидаешь там четкой структуры что если и за новую область возьмется то он тоже там все разложат разберется по полочкам мне очень понравилось на чем тебе ты ты ты

Speaker A

рассказал в принципе общественный момент ты сказал сбор данных немножко прошелся профи чем то есть это зависит от интерьера я например мог пойти с тобой фичи начать прошла city or а если товар новый а сеть archos сглаживает наверное нужно учиться на что это может быть

Speaker A

такое по pipeline у все отлично метрики apts ты теперь на что тебе обратить внимание train тест сплит естественный вопрос то есть видишь мы примем иначе я начал тебя докапывать корнева я вот в этом этом моменте да немножко проскочил то есть у меня была такая

Speaker A

мысль что нужно подумать как мы встретим а в принципе вот это может был огромен сбора донская теперь как он потому что иначе мы метро какую такой тренд и сплита мы вот с тобой обсудим 3 на 3 in this

Speaker A

pride мы вышли только кто-то сказал профи вколите спросил профит da club соответственно фильме клуб тоже вот это в итоге ты сам пришел к мысли сказал что мне хочется как-то исследовать и про б тест в чем суть чем севернее оппозиция тем больше вот этому

Speaker A

нужно мой вопрос был наводящий представил apts иметь некоторую вероятность того что он выдаст ложноположительный результат и обвес от работы 95 процентов зрительными интервале даже если у тебя нет никакого результата пять раз состав среднем про краситься теперь когда я

Speaker A

сказал про тысячу инженеров представь что из тысячи инженеров который крутит еще б тестов и разных и нету тебя по умолчанию 95 процентам интервале 50 прокрасить и ты начнешь а почему же когда я бил их результаты у меня нет

Speaker A

результат это потому что его и не было то есть вот это имел долго достойно достойно мне понравилось на эти вещи ну ты сам я думаю вами беседы понял на стране то есть но я думаю что еще одно два это можешь пол не

Speaker A

проходить оси вам что тебе спасибо что пришел спасибо что посмотрели и до новых встреч всего доброго пока

Topics:ML системный дизайнсобеседованиеранжирование рекламымашинное обучениеFacebookЯндексAliExpressA/B тестированиебизнес-задачаmatching

Frequently Asked Questions

Что такое ML системный дизайн и почему он важен на собеседованиях?

ML системный дизайн — это процесс проектирования масштабируемых и адаптивных систем машинного обучения, который оценивает понимание кандидатом бизнес-задачи и технических аспектов. Он важен, так как показывает уровень сеньорности и опыт инженера.

Какая основная задача рассматривается в видео?

Основная задача — ранжирование рекламы в социальной сети, где нужно выбрать наиболее подходящий рекламный баннер для пользователя с целью максимизации кликов и покупок.

Как оценивается эффективность ML решений в ранжировании рекламы?

Эффективность оценивается с помощью A/B тестирования, учета сезонности, региональных особенностей и долгосрочного эффекта, а также правильного выбора метрик, отражающих бизнес-цели.

Get More with the Söz AI App

Transcribe recordings, audio files, and YouTube videos — with AI summaries, speaker detection, and unlimited transcriptions.

App Store Google Play

Or transcribe another YouTube video here →