Пока болтался в отпуске, попалась на глаза статья от X5 Tech про разметку событий. Какой трекер они выбрали, как называть события, какая логика организации параметров. То, что я называю “дизайном событий” и что вполне может занимать до трети рабочего времени аналитика на ранних этапах проекта (потом, конечно, существенно меньше).

Статья в целом симпатичная, сам буквально неделю назад думал над правилами названия событий и в целом над структурированием своей документации. В геймдеве набор сущностей, действий и процессов ощутимо сложнее, кажется, чем приведенные. Тем не менее подходы и идеи все равно весьма схожи.

Но самое полезное в статье, на самом деле — не очень заметная ссылка на полную документацию по разметке событий. Она намного полнее и понятнее, чем статья, содержит в себе определения основных понятий, правила создания и ведения разметки, а также описание процессов разметки.

Очень хочется свою документацию довести до схожего вида, ведь примерно половина уже есть. Мечты-мечты.

Скрытая суть

В «Криптономиконе» Стивенсона герои все окружающее описывают математически, от чего видят скрытую от многих суть явлений. Слушал этот роман и попробовал для себя этот формат размышления с ИИ: когда изучаю какую-то концепцию (философскую, социальную, экономическую) или явление, то смотрю на нее через математический язык описания.

За это отвечает очень простой промпт:

Представь что эту концепцию надо описать математически - как математический закон или формулу. Опиши с помощью математики, формулы, математической структуры: [концепция для описания]

Его можно применять почти ко всему, что вы изучаете, чтобы увидеть математические законы, заложенные в явлении.

Несколько примеров применимости подхода (все просим описать по данному выше промпту):

1. Опиши математически этот мем (для image2text моделей)
2. Опиши бизнес-модель сервиса Kindle через формулу
3. Я поругался с котом: он оцарапал меня, я обиделся и не хочу с ним общаться. Опиши это математически.
4. Представь философский принцип абсурда Камю в виде формулы (с философией классно заходит - это мой самый частый случай использования)
5. Я изучаю понятие продуктивность - предложи 3 способа как можно ее описать математически (добираемся до первых принципов явления)
6. Я не могу сделать выбор между А и Б. Опиши математически эту дилемму

Для более высокого качества надо попросить модель сначала расшифровать концепцию на естественном языке, чтобы насытить диалог контекстом, и только потом просить описать ее математически - качество будет лучше.

В комментариях еще промпты для продолжения диалога и примеры выдачи.

Люблю черпать вдохновение и новые идеи для продуктовой аналитики и исследований в смежных областях.

До 2022 года мое внимание было обращено в сторону UX, ML, игр, социологии и экономики. Особенно интересно изучать какие знания и процессы из оффлайна адаптируются в онлайн. Глубоко в каждой области разобраться невозможно, но кажется мне удалось почерпнуть оттуда ключевые мысли, теории, концепты и методы.

Любовь последних двух лет - системология / теория (сложных) систем / system science / complexity science.

В этом домене пытаются вывести общие принципы и закономерности, которые есть в других областях. По правде сказать, в академических кругах до сих пор нет единой позиции о том, является ли это отдельной наукой или нет. Но мне, как практику, это не важно. Главное, что есть люди, которые стараются найти общие знания и способы их переиспользовать в разных областях.

К сожалению, готовых "преобразователей мыслей и ситуаций" из академических изложений complexity science в коммерческую продуктовую аналитику я не нашел, но заставляет задуматься.

Теперь на рабочие задачи смотрю как на "анализ сложных адаптивных систем" и пытаюсь применять изучаемые подходы. С одной стороны прикольно, с другой - часто себя одергиваю, чтобы не уходить в переусложнения.

Для погружения в предмет, можно почитать Вики - https://en.wikipedia.org/wiki/Portal:Systems_science
Если хочется по хардкору, то вам дорога на сайт https://santafe.edu/ - это спец.учреждение, где умные дяди и тети двигают эту область вперед в плане теории.

#мысливслух

Прикладные инструменты, где замечаю проникновение теории сложных систем - стратегии принятия решений.

Когда-то давно в недрах IBM разработали CYNEFIN - фреймворк как принимать решения в бизнесе. Авторы вывели ряд правил изучая тонны реальных ситуаций приправляя теорией из complexity science.

Ключевая идея в том, что разные ситуации или проблемы требуют разных способов реагирования.

Порядок действий такой:
- определить, с какой ситуацией мы имеем
- выбрать подходящий алгоритм действий с помощью этого фреймворка.

Звучит просто в теории, но на практике как всегда будут возникать нюансы. Автор методологии до сих пор развивает фреймворк, зарабатывает на обучении и его внедрении в больших корпорации и гос.структуры.

Коротко + набор основополагающих ссылок - https://untools.co/cynefin-framework/
Рекомендации для еврокомиссии - https://publications.jrc.ec.europa.eu/repository/handle/JRC123629

Papers с тулами для анализа и визуализации sequential data.

Sequential data встречается много где, но в моей практике это анализ...:
- ...последовательности шагов в процессах
- ...действий пользователя в сессиях

https://docs.google.com/presentation/d/1fJBku_-BIet8k45POYJiHuIE7R52Lpg9Ts4nb6g_ng4/edit?usp=sharing

Самый важный SQL-запрос в моей карьере.

Сегодняшний пост про анализ аб-тестов. Будет полезен всем аналитикам и bi-девелоперам.

Создатель in-house платформы для A/B-тестирования в Авито Данила Леньков делится лайфаком: как свести задачу расчета Minimum Detectable Effect к простому SQL-запросу.

Читайте и делитесь в комметриях своими лайфхаками про анализ #аб!

Лена: - Выпуск выложен, пишите пост)
Я: - Пишем🫡

Если вы пропустили долгожданный (ну да ира) пуш о публикации нового выпуска - то вот он вам!!! В гостях Антон Марцен - лид продуктовой аналитики Яндекс Музыки (теперь-то наш подкаст войдет в топ), автор телеграм-каналов Product Science (тут мясо) и Collective Intelligence (тут жесть). Поговорили про исследования, покекали, а вы слушайте и расскажите как вам

Лена собрала для вас ссылки, скажите Лене спасибо♥️
Лена: - Даю ссылки:
на Яндекс.Музыку
на Apple Podcasts
на Youtube
на остальные платформы

Поговорим про Product Science?

Aha'24 на этот раз проходит с припиской Product Science (все совпадения случайны👀). Спектр тем: продуктовая аналитика, продуктовые подходы и все более проникающим в продукты и процессы ИИ.

В этом году не выступаю, но веду и модерирую секцию персонализации и рекомендательных систем. Обещаю вдумчивых вопросов для спикеров и приятной атмосферы в зале для всех слушателей.

P.S.
А что бы вы спросили у спикеров? В комментариях к этому посту предлагаю написать вопросы, которые бы вы хотели задать. Вот тут список докладов (F43:F49), чтобы понять кто и о чем будет рассказывать.

P.S.S.
Уверен, что немалая часть аудитории этого канала уже приобрела себе билетик, но если нет, то вы знаете что делать на сайте https://matemarketing.ru/aha (промо LASTCHANCE дает приятный скидон)

График от QuantUX-ресерчера, который повлиял на стратегию YouTube

https://elizlaraki.substack.com/p/how-one-ux-researcher-ignited-sweeping

История из бородатого 2010 года, в которой общими мазками описывают как взяли кучу данных поведения пользователей на сайте, систематизировали их и отобразили визуально. И этот визуал стал настолько виральным внутри компании, что с ним печатали футболки и никому в YouTube не удалось увернуться от выводов, которые прилагались к графику.

Герой этой истории был первым квант-ресерчером, затем переквалифицировался в dataviz-инженера и вернулся обратно в ресерч. Попутно родился вот такой чудесный темплейт для рисования sunburst-диаграмм.

https://observablehq.com/@kerryrodden/sequences-sunburst

Я таких историй прочитал много, но что важно:
- персонализированные продукты генерируют большой объем разнообразных паттернов
- с каждый годом персонализации в продуктах все больше и больше
- чтобы емко и понятно отобразить результаты исследования их надо не только систематизировать и упростить, но и эффективно отобразить.

Поэтому подчеркиваю важность dataviz-скиллов и в целом навыки презентации своей работы. Современные персонализированные продукты, которые оперируют в разных странах, на разных платформах и для разных сегментов аудитории почти невозможно объяснить "простыми, понятными" и неэффективными инструментыми коммуникации.

Тренд на усложнение инструментов аналитики виден и в других частях продуктовой работы.
Вспомним, как постепенно индустрия отходит от воронок и чаще начинает оперировать траекториями путей пользователя, а линейные деревья метрик уступают места каузальным графам со сложными неявными связями между метриками. А это требует новых методов обработки информации (напр. сетевой анализ) и их отображения (напр. знания по укладки графов или изучение/создание новых моделей визуализаций).

Речесч подборка от Юры Ветрова. Обратите внимание на статью Криса Чапмана - жиза.

Тяжеловесная мини-подборка свежего о пользовательских исследованиях. Такая плотность редкой годноты собирается нечасто:
 
1. Michele Williams: Годная памятка по проведению исследований для улучшения accessibility. Инструменты и методы сильно ограничены, но она предлагает альтернативы.
 
2. UXtweak: Мощнейшая памятка по поиску респондентов. Они опросили экспертов, которые дали много толковых советов.

3. Noreen Whysel: Разобралась, делятся ли сервисы для исследований какими-то данными со сторонними платформами. Есть нюансики.

4. Faten Habachi: Структурированная подборка статей о построении базы знаний и инсайтов. Как инициировать, построить, наполнить, использовать и т.п.

5. Adam Palanica: Решил разобраться с мифами о поведении людей. Зачастую это клише, искажённые научпопом, которые не подтверждаются реальными исследованиями или сильно искажены относительно первоисточника.

6. Chris Chapman: Напоминает, что исследования не всегда могут дать простой ответ на сложные бизнес-гипотезы. Он предлагает отличный обзор разных аспектов бизнеса, в каждом из которых можно принести много годных инсайтов.

7. Steve Bromley: Отличная памятка о том, когда и сколько игровых тестов нужно проводить на каждом этапе работы над игрой. Какие риски есть на этих этапах и что за методы помогут их снизить.

8. Jeff Sauro и Jim Lewis: Памятка по всем своим исследованиям шкал опросов, которые они делали в последние годы. Они пытались разобраться, есть ли разница в результатах при изменении формы.

Из последнего — они испытали необычный вариант — сплошную полоску, где можно кликнуть в любое место, а не классические радио-кнопки. В целом заметной разницы нет.

9. Jake Burghardt: Принципы хорошей базы знаний и инсайтов.

10. Сервис Dovetail для ведения базы знаний и инсайтов из пользовательских исследований провёл свою конференцию Insight Out 11 апреля в Сан-Франциско. Они начали публиковать видео и транскрипции выступлений. Вот несколько толковых:
 
— Со-основатель и глава Dovetail Benjamin Humphrey рассказал об изначальной задумке при создании продукта и том, как её удалось реализовать только сейчас, с помощью недавних наработок рынка в ИИ. Он также рассказал о новых алгоритмических функциях для упрощения работы с инсайтами.
 
— Команда Jared Forney в Okta умеет здорово миксовать разные методы под запрос команды. Он рассказал о нескольких подходах, используя метафору меню в ресторанах.
 
— Из-за массовых сокращений в ИТ 2020 и 2022-2023 года рынок сильно изменился, включая пользовательские исследования в компаниях. John Garvie из Uber делится своим пониманием обязанностей и возможностей генералистов в такой ситуации.
 
#research

Хорошо сказал

Понравилась вот эта часть статьи Криса:

"Ответ на вопрос типа « Как влияет ___ на ___? » обычно требует больше усилий, чем оно того стоит . Забудьте о редком исключении.

→ Вместо этого : сосредоточьтесь на хорошей оценке в каждом блоке — оценке опыта пользователей, оценке поведения, оценке качества продукта, оценке цен, оценке конкурентов и т. д. — и не пытайтесь связать их вместе (что, даже если бы вы это сделали, в любом случае потребуется хорошая оценка внутри каждого блока; на самом деле, потребуется отличная оценка, чтобы справиться с объединенной дисперсией и помехами.)"

Зачастую, действительно хочется упороться в анализ причинно-следственных связей и понять, а что конкретно влияет на нужную тебе метрику. Например я работаю с cr1, можно много ковыряться в событиях и искать корреляции и пытаться обосновать их причинность.

Но как правило более эффективно идти от понимания системы и анализа отдельных блоков. Например на cr1 влияют:
- ценность оффера для сегментов, которые приходят на сайт
- этап пути клиента на котором находится пользователь
- доверие к продукту и бренду
- удобство и понятность интерфейса и отсутствие барьеров в процессе заказа
- позиционирование и цены конкурентов
- сезонность
- факторы принятие решения по сегментам.

Построить модель влияния всех этих факторов на cr1 и оценить вклад каждого параметра, кажется практически не возможно, а также всегда могут быть скрытые переменные.

Но можно провести исследование в каждом из блоков и найти гипотезы по улучшению в каждом из блоков и проверить их через АБ, такой путь более практичный, более понятный и приносит конкретный результат в виде роста метрик

Фреймворк для систематизации культур и особенностей поведения в них

https://www.behavioraleconomics.com/what-behavioral-scientists-should-know-about-hofstedes-cultural-framework/