🎙 ВИДЕО: Как мы в GetYourGuide делаем масштабируемые а/б эксперименты, Евгений Ключников

Видео с митапа @leands и @mlinmarketing

🎤Спикер: Евгений Ключников, Data Engineer at GetYourGuide

Мы активно используем а/б тестирование для оценки новых продуктов и идей; в некоторые дни у нас запущено до 70 экспериментов от разных команд одновременно. В докладе я расскажу, как мы организовали такую систему технически, где секрет её масштабируемости, что ломается чаще всего и почему не все всегда ею довольны. Затронем тему документации, обучения, неправильного дизайна, расскажу, как сломать эксперимент так, что этого никто и не заметит.

https://youtu.be/1fHldTOiZOY

В этот четверг проведем очередной митап @leands.

🔥 Что, если АБ тест провести просто невозможно? Как провести проверку модели?

🔸19:00 - 20:00

📋 тема: Жизнь без A/B: как ещё сравнивать версии ML-систем?

🎤 спикер: Евгений Никитин, Head of AI, АО Калуга Астрал

Как понять, что новая версия ML-системы будет работать лучше, чем предыдущая? Обычно достаточно провести офлайн-валидацию (померить метрики) и онлайн-тест (например, в формате A/B). А что делать, если проведение онлайн-теста невозможно по техническим, юридическим или экономическим причинам? В этом докладе на примере медицинских ML-систем мы попробуем разобраться как минимизировать риск деплоя плохих моделек, когда с онлайн-тестами всё сложно.
— — —

🗓 14 октября, начало в 19:00 мск, четверг

🌐 ОНЛАЙН

Регистрация на мероприятие тут

Добавляйте в календарь, ссылка придет на почту перед началом митапа

>> Хей 👋👋👋, все привет, напоминаю, что сегодня в 19-00 у нас митап. Обсудим как обойтись без A/B тестов в том случае, когда их использование невозможно. О своем опыте расскажет Женя Никитин.

Регистрация тут: https://leands.timepad.ru/event/1811066/

Ссылка тут, заскакивайте 🤩 https://us02web.zoom.us/j/83185615805?pwd=VGR0N3FPc3JCa0Q0eFdFWGN6Q0ZtUT09

ВИДЕО: Жизнь без A/B: как ещё сравнивать версии ML-систем?

🎤 спикер: Евгений Никитин

Как понять, что новая версия ML-системы будет работать лучше, чем предыдущая? Обычно достаточно провести офлайн-валидацию (померить метрики) и онлайн-тест (например, в формате A/B). А что делать, если проведение онлайн-теста невозможно по техническим, юридическим или экономическим причинам? В этом докладе на примере медицинских ML-систем мы попробуем разобраться как минимизировать риск деплоя плохих моделек, когда с онлайн-тестами всё сложно.
— — —
ССЫЛКА НА ВИДЕО: https://youtu.be/Grwo1RJIcrM 🤛🤛🤛

Всем привет!

В этот вторник (26-го октября) проведем совместный online митап (@leands и @mlinmarketing)

🔥 Поговорим про А/Б тестирование

🔸20:00 - 21:00

🎤 спикер: Иван Максимов,
- Data Science Team Lead at Delivery Club
- автор телеграм канала @ml4value

📋 тема: 13 способов ускорить А/В тест, или "Не CUPED-ом единым"

📋 описание: Многие аналитики для ускорения А/В тестов в первую очередь используют достаточно сложные статистические приемы (например, CUPED). Однако существует огромное множество более простых и эффективных способов ускорить А/В тесты. Мы обсудим 13 таких способов: от улучшения процесса дизайна теста до применения стат критерия и финального принятия решения о выкатке/нет фичи. А также оценим потенциальный trade-off эффект-затраты от внедрения каждого из способов.

— — —

🗓 26 октября, начало в 20:00 мск, Вторник

🌐 ОНЛАЙН

Регистрация на мероприятие тут

Добавляйте в календарь, ссылка придет на почту перед началом митапа

КУРС LeanDS

11 ноября стартует последний в этом году курс по управлению DS проектами и продуктами

Изучаем Product Management в Data Science от идеи до результата. Будет очень много практики в мини-группах на реальных кейсах.

7 занятий по 3 часа каждый четверг с 19:00 МСК ОНЛАЙН

Промокод — leandsnov21 дает 20% скидки

Записываться тут: https://leands.university/online-course

ВИДЕО с совместного митапа LeanDS & MLinMarketing

13 способов ускорить А/В тест, или "Не CUPED-ом единым", Иван Максимов

🎤 Иван Максимов, Data Science Team Lead at Delivery Club
Автор телеграм канала @ml4value

Многие аналитики для ускорения А/В тестов в первую очередь используют достаточно сложные статистические приемы (например, CUPED). Однако существует огромное множество более простых и эффективных способов ускорить А/В тесты. Мы обсудим 13 таких способов: от улучшения процесса дизайна теста до применения стат критерия и финального принятия решения о выкатке/нет фичи. А также оценим потенциальный trade-off эффект-затраты от внедрения каждого из способов.

https://youtu.be/TPgTwTxFFoA

В эту пятницу (3.12) проведем совместный online митап (@leands и @mlinmarketing)

🔥 Доклад про ускорение А/Б тестов

🔸20:00 - 21:00

🎤 Ваагн Минасян, Lead Data Scientist at X5 Retail Group

📋 Ускорение A/Б тестов линейными методами: сравнительный анализ

📋 Задача ускорения А/Б тестов ( a.k.a. повышения чувствительности ) является одной из самых актуальных в индустрии. К наиболее удобным методами ускорения А/Б тестов, статистические свойства которых можно вывести аналитически, относятся линейная регрессия и методы на остатках, например, CUPED. Однако, некоторые реализации этих методов и, в частности, реализации CUPED'a, незаметно приводят к очень нежелательным последствиям - оценки получаются смещёнными, т.е. результаты A/Б теста искажаются и перестают отражать реальность на ограниченном количестве данных.
— —

🗓 03 декабря, начало в 20:00 мск, Пт

🌐 ОНЛАЙН

Регистрация на мероприятие https://mlinmarketing.timepad.ru/event/1860895/

Добавляйте в календарь, ссылка придет на почту перед началом митапа

🧞‍♂️ ВИДЕО с ML in Marketing Meetup

Совместный митап @leanDS и @MLinMarketing

📋 Тема: Ускорение A/Б тестов линейными методами: сравнительный анализ

📋 Описание: Задача ускорения А/Б тестов ( a.k.a. повышения чувствительности ) является одной из самых актуальных в индустрии. К наиболее удобным методами ускорения А/Б тестов, статистические свойства которых можно вывести аналитически, относятся линейная регрессия и методы на остатках, например, CUPED. Однако, некоторые реализации этих методов и, в частности, реализации CUPED'a, незаметно приводят к очень нежелательным последствиям - оценки получаются смещёнными, т.е. результаты A/Б теста искажаются и перестают отражать реальность на ограниченном количестве данных.
— — —

🎤 Спикер: Ваагн Минасян, Lead Data Scientist at X5 Retail Group

🎬 Видео

📥 Презентация

— — —
Кстати, вопросы по докладу можно задавать тут же в комментариях ;)

— — —
Тут же в комментариях опубликовали запись с QnA сессии, ее нет на youtube

🎤Тема: Особенности проведения глубинных интервью для B2B - продуктов на основе ИИ.
👋 Павел Логинов, Руководитель продуктов на основе ИИ в Билайне

🔥Проблемные интервью - это один из самых важных этапов в создании продукта. В сфере разработки крупных B2B - продуктов продакты очень часто его прокрастинируют из-за сложностей в поиске респондентов и страхе ошибок.

• Где и как искать респондентов? Какие сложности нас при этом ждут?
• На что стоит уделить особое внимание во время интервью?

🗓Дата: 14 декабря в 19-00 МСК онлайн

Регистрация: https://leands.timepad.ru/event/1871846/

Через час встречаемся на митапе!

Залетайте ) https://us02web.zoom.us/j/83421192920?pwd=dXY4QjlPKzFSemt4YU4zQ3BqSDY0QT09

ВИДЕО с миатапа LeanDS

🎤Тема: Особенности проведения глубинных интервью для B2B - продуктов на основе ИИ.
👋 Павел Логинов, Руководитель продуктов на основе ИИ в Билайне

🔥Проблемные интервью - это один из самых важных этапов в создании продукта. В сфере разработки крупных B2B - продуктов продакты очень часто его прокрастинируют из-за сложностей в поиске респондентов и страхе ошибок.

• Где и как искать респондентов? Какие сложности нас при этом ждут?
• На что стоит уделить особое внимание во время интервью?

Видео: https://youtu.be/BpTdjcc8jIE
Презентация: https://www.dropbox.com/s/k0sgn2ij5tld719/Loginov-ProblemInterviews.pdf/dl1

Новогодний мем с дата-елки :) Все совпадения случайны! С наступающим :)

Онлайн митап LeanDS
🎤Тема: MLOps своими руками - успехи и ошибки на примере AdTech
👋 Сергей Козлов, Head of Research & Analytics в PropellerAds

‼️ В докладе будет рассказана реальная история внедрения Machine Learning в production в то время, когда готовых решений еще не было.

Также будут описаны основные компоненты и задачи ML Ops решений, а так же, на примерах, объяснено что мы считаем важным делать сначала и как можно итерировать в процессе внедрения 🔥🔥🔥

Дата и время: 19 Января в 19-00 МСК
Формат: 📺 Онлайн в зум
Регистрация: https://leands.timepad.ru/event/1900576/

Ждём всех через час на онлайн митап LeanDS

🎤Тема: MLOps своими руками - успехи и ошибки на примере AdTech
👋 Сергей Козлов, Head of Research & Analytics в PropellerAds

‼️ В докладе будет рассказана реальная история внедрения Machine Learning в production в то время, когда готовых решений еще не было.

Также будут описаны основные компоненты и задачи ML Ops решений, а так же, на примерах, объяснено что мы считаем важным делать сначала и как можно итерировать в процессе внедрения 🔥🔥🔥

Дата и время: 19 Января в 19-00 МСК
Формат: 📺 Онлайн в зум
Регистрация: https://leands.timepad.ru/event/1900576/

ВИДЕО
🎤Тема: MLOps своими руками - успехи и ошибки на примере AdTech
👋 Сергей Козлов, Head of Research & Analytics в PropellerAds

‼️ В докладе описывается реальная история внедрения Machine Learning в production в то время, когда готовых решений еще не было.

Также описаны основные компоненты и задачи ML Ops решений, а так же, на примерах, объяснено что мы считаем важным делать сначала и как можно итерировать в процессе внедрения 🔥🔥🔥

📺Видео: https://youtu.be/M_Zap0cEkRc

👉Онлайн-интенсив “Управление проектом и продуктом с LeanDS”

С 2 по 4 марта пройдет онлайн-курс в формате интенсива (11 по счету):
Три дня подряд в рабочее время — с 10-00 до 18-00 с перерывом на обед и кофе.

Вот что пишут участники:

🎙 “Собраны полезные техники, подходы, методы, и, в дополнении к этому, максимально профессиональная команда, терпеливо и доходчиво отвечающая на каждый заданный вопрос. Всё это не дает пройти мимо. Попробуйте, вам точно понравится :)”
🎙 “Сразу попробовала на практике применить AI Project Canvas и подход User Story Map в интерпретации, которая задана в курсе для 2х новых проектов - получилось быстро вовлечь команду в обсуждение и мозговой штурм, быстрее написать и согласовать ТЗ.
🎙 “Очень понравился урок, посвященный экономике проекта. Во многих командах не всегда об этом задумываются, а стоило бы. Как правильно сказано в курсе - ROI вовремя отмененного проекта выше ROI большинства проектов вашей компании. И большое спасибо лекторам - Асхату, Юлии Алексею за то, что вы так хорошо потрудились и сделали такую крутую программу.”

Проходим весь путь создания ML продукта — от идей, оценки экономической эффективности, проектирования, планирования, оценки до деталей управления проектом

✅🤼‍♂️Практика. Занятия состоят из небольшого количества обязательной теории и много практики, где мы совместно решаем реальные кейсы и отвечаем на вопросы.
✅👀Видео. Дополнительно вы получаете доступ к видео. Они состоят из небольшого количества видео по “ядру” LeanDS и множества дополнительных по самым разным аспектам управления DS — от сбора команды до управления ожиданиями заказчика в заказной работе.

🎤Ведущие курса Асхат Уразбаев, Алексей Могильников и Юлия Рубцова
🗓 Курс пройдет с 2 по 4 марта

‼️ПРОМОКОД (20% скидка для читателей этого канала — leandsmarch22)
🗓 Регистрация и подробности: https://leands.university/online-intensive-mar22

Онлайн митап LeanDS
🎤Тема: Документация в DS-проектах
👋 Евгений Никитин, Head of AI @ Цельс

‼️ Полезная, актуальная и при этом полная документация - миф или реальность? В этом докладе обсудим зачем вообще нужна документация (а когда она и не нужна вовсе), поговорим о распространённых проблемах и ошибках, а также посмотрим на примеры специфичной документации, связанной с ML-моделями и данными

🔥🔥🔥

Дата и время: 22 февраля в 19-00 МСК
Формат: 📺 Онлайн в зум
Регистрация: https://leands.timepad.ru/event/1934992/