Котятки🐱,
Еду с завода, читаю в электричке всякие статеечки по философии анализа - я тут уже как-то постила про эту сторону моих интересов)
И тут прямо приятный артефакт - хорошая статейка про историю BI-с терминами, персоналиями и оч хорошим сторителлингом по эпохам.
https://www.cio.com/article/221963/history-of-business-intelligence.html
Пожалуй, я так не рассказываю: я в своих обучалках иду, как и многие, от истории диаграмм) но этот подход мне зашел.

Котятки🐱,
У меня тут не так много контента по FineBI, ибо у меня сейчас в стеке Qlikview, а до него я как-то пыталась не утонуть в Superset.
Поэтому экспертиза в нем у меня только формируется, - уже не на уровне ‘поставлю себе триалку и потыкаю’, а на уровне ‘что бы почитать’. Из последних, апрельских, подписок - канальчик Алисы Ручкиной по датавизу.
Первым я себе оттуда сохранила вот эту подборку статей для старта и вот это более системное. И ковыряю себе тихонько.
Что там еще, кроме классики датавиза и внутрянки FineBI?
-мемасики
-новости всякие
-разбирают дашборды в стиле ‘что правильно’. Назвали антипрожаркой, но имхо, я бы отнесла это к классическому ‘зыринг-тыринг’. Репост ниже, зацените.
Реклама. Ручкина А. В. ИНН 783900791086. erid: 2VtzqwAw7n6

Первый дашборд в новой рубрике #референс

Референс (от англ. reference — «отсылка», «справка») — это изображение, которое используется для поиска вдохновения и идей.

💡И то, что вдохновляет, и то, откуда можно взять концепцию.

Под этим хэштегом я планирую выкладывать примеры дашбордов и отмечать в них интересные детали, которыми можно обогатить свои проекты.

Почему я решила создать такую рубрику?

В визуализации данных популярен формат «прожарки», когда эксперты критически оценивают дашборды и предлагают варианты улучшения.

Такие разборы очень полезны для развития датавиз-навыков и понимания того, «как не надо», но для развития также важно тренировать насмотренность на хорошее и черпать свежие идеи.

Итак, открывает рубрику «антипрожарки» дашборд Прадипа Кумара HR Attrition Dashboard, который занял 3-е место в номинации «Бизнес-аналитика» в конкурсе Information is Beautiful 2022.

Что интересного хочется отметить?

✅ Есть переключатель «Показать только текучесть», чтобы убрать с дашборда отображение второй метрики

✅ Есть подсказка для пользователя, что дашборд кликабельный и при нажатии на элементы графиков дашборд будет фильтроваться по ним

✅ В карточках KPI названия метрик написаны светло-серым цветом и более мелким шрифтом, потому что акцент сделан на сами числа

✅ Есть переключатель для изменения гранулярности графика с динамикой: W/M/Q/Y – неделя/месяц/квартал/год.

При выборе другого периода перестраивается сама визуализация и изменяется название в подписи предыдущего периода для величины изменения

✅ В этом же графике динамики есть ориентир для анализа — линия среднего значения

✅ Таблица небольшая и находится в нижнем правом углу, таким образом не занимает много места и не перетягивает внимание на себя.

Кому нужно, тот выгрузит или увеличит таблицу с детализированными данными, а по умолчанию акцент в дашборде сделан на общие показатели и визуализации

✅ Указан автор дашборда (в левом нижнем углу)

❓Что еще вы бы взяли на заметку?

Для развития рубрики присылайте примеры дашбордов: @alisaruchkina. Буду рада их рассмотреть!

#дашборд

Котятки🐱,
Я не люблю data vault просто потому что, все мои детские травмы связаны с этой моделью,- она по факту стопорит self-service до момента, пока ваша команда не родит достаточно датамартов или не соберет приблуду для автосборки вьюх on demand. Команда архитектуры всегда медленная)) Однажды я пережила даже страшный выбор - пускать пользователей в денормализованный и грязноватый ODS и давать буст для развития аналитики, или тянуть и следовать идеологии контролируемости датасетов и чистоты данных. Но в жизни бывают случаи, когда эта модель прямо вот совсем уместна, как не крути. Вот: https://www.scalefree.com/knowledge/webinars/data-vault-friday/the-power-of-data-vault-business-use-cases/#data-vault-and-business-intelligence

Котятки🐱, еще сегодня я была в поиске прекрасного, и не смогла пройти мимо этого портала-каталога открытых датасетов. Пусть останется тут, в копилочке: https://opendatainception.io

Котятки🐱,
В далеком 2019 году я впервые услышала о стандартизации BI - подрядчик занес нам идеи гайдбуков, а мой тогдашний BI-разработчик популярно объяснил, почему не нужно делать 6 коннектов к одному и тому же датасету в одном и том же дашборде.
В общем, на воспоминания натолкнул меня white paper Why Should You Standardize Your Business
Intelligence Tools, делюсь.
Что еще интересного:
1)что такое bi-архитектура https://www.techtarget.com/searchbusinessanalytics/definition/business-intelligence-architecture
2)Что советует качать, чтобы из bi-разраба стать bi-архитектором https://www.geeksforgeeks.org/gfg-academy/business-intelligence-developer-to-business-intelligence-architect/
Последняя статья имхо не все раскрывает, ибо всегда есть всякие платформенные вопросы типа конфигурации, репликации и восстановления, железо, мониторинг и логирование и пр - короче все те вопросики, которые между любым архитектором и инфрой/девопс.

Котятки,
в ту же тему стандартизации внутренней архитектуры данных и загрузок Qlikview: ко мне в ручки однажды попала преза с объяснением подхода к загрузке данных в формате tier-3, где логика загрузки уже внутри BI бьется по слоям. Я пользую ее и не придумываю велосипед)
Это норм, так как по факту мы получаем переиспользуемость, ускорение загрузки, нормальное масштабирование, а главное - изоляцию логики, пресловутую семантическую модель.
По идее, это должно было бы сильно упростить поддержку и тестирование, но добавьте к этому еще 3 слоя хранилища под капотом
и... па-рам-пам-пам-пам))
С другой стороны, все солидные BI-ребята идут в модный семантический слой, например в Power BI этот подход тоже декларируется: https://learn.microsoft.com/en-us/power-bi/guidance/center-of-excellence-business-intelligence-solution-architecture.
P.S. Я ранее была склонна хранить семантический слой на BI, а не на уровне хранилища, но после изменения политики лицензирования у крупных игроков развернула диван на 180 градусов: хранить что-то из фундаментальной бизнес-логики на "подписочных" лицензиях меня не вдохновляет.

279. Эстетическое искажение правды.

Мы можем нередко доверять источнику информации без фактчекинга, и сейчас эта проблема становится все более актуальной. Красивая визуализация, интерфейс, хорошо оформленный текст воспринимается как более достоверный.

И так мы неосознанно связываем визуальную чистоту с интеллектуальной точностью. Запускается вроде такой цепочки: красивое = проработанное, проработанное = кто-то потратил время. Значит это серьезно. Раз серьезно– значит можно не перепроверять.

Тут даже не речь про то, что мы уже живем в эпоху реалистичных ИИ генераций, фейки кроются в лентах фэйсбуков, телеграмов и линкединов. Все чаще встречаю посты в LinkedIn, когда чистый буллшит, но с хорошим шрифтом через графики показывает чьи-то прогнозы, неподкрепленные ни одним реальным отчетом или данными. Потом мозг может запомнить это и выдавать за правду из уголком памяти.

В общем важно, скролля ленту тратить еще какой-то процент энергии на то, чтобы отделять эстетику от содержания.

Если охото углубиться в тему, в этом исследовании смотрят на связь облегченной обработки информации с чувством понятности и доверия. А вот это постарше, тут как раз есть про то, что визуально привлекательная информация воспринимается как более достоверная, разбирают в контексте вопросов здоровья.

Котятки, что ни день то какая -то тусня👆у меня вполне осознанный зоопарк из Qlikview и Power BI под разные цели, но! в текущих реалиях я на такие штуки по миграции захаживаю)

Котятки🐱,
Сейчас сижу над задачкой по облагораживанию интеграций, вспоминаю всякие страшные истории про то, как кто-то кого-то потер и радуюсь, что у меня нормальное резервирование и адекватное RPO.
А всякие страшилки на тему sql пусть будут в прошлом)) И тут:
https://www.brentozar.com/archive/2019/06/brace-yourself-for-these-9-database-horror-stories/

Котятки🐱,
В моей копилочке гайдов по Power BI пополнение: книжечка From rookie to rockstar.
Читать по главам тут:
https://radacad.com/online-book-power-bi-from-rookie-to-rockstar/
Я уже публиковала тут отдельные статьи этого эксперта, особенно по темам отношений и моделей в Power BI, но и его цельный мануал тоже норм.
p.s. Если лень переходить по каждой главе отдельно, то при вводе e-mail мануал целиком можно получить по почте в pdf)

Котятки😺, когда мои пользователи дорастают до требования ‘дайте нам самим доступ к бд, сами себе SQL будем писать’, я достаю этот шедевр моего детства) Пусть и тут он будет https://youtu.be/PTAkqURmI0s?si=H_SKbbHGbhfDkGc3

Котятки🐱,
я уже тут делилась, что периодически почитываю лекции по DevOps - ну правда, они же должны понимать, что от них архитекторы хотят)
Иногда у меня лекции по софтам и командообразованию.
В общем, на фоне подготовки к очередной лекции по топологии команд между делом собрала подборочку по топологии BI-команд.
Ну что ж, честно признаюсь, пока у нас в домене все менее очевидно, чем в DevOps, через раз ловлю себя на том, что удачный паттерн может легко стать антипаттерном.
Погнали:
1) Hub-and-Spoke
О чём модель: Централизованная команда отвечает за инфраструктуру и стандарты, а в бизнес-подразделениях работают встроенные аналитики, адаптированные под нужды своих функций.
Где почитать: https://www.fivetran.com/blog/how-to-organize-your-analytics-team
2) Централизованная модель
О чём модель: Вся аналитика сосредоточена в одном отделе или департаменте, включая инженеров, BI-аналитиков, дата-сайентистов.
Где почитать: https://atlan.com/structure-for-your-data-team/
3) Гибридная модель
О чём модель: Комбинация центра экспертизы (или платформенной команды) с встраиваемыми аналитиками в каждом юните.
Где почитать: https://atlan.com/structure-for-your-data-team/
4) CoE / BICC (Центр компетенций)
О чём модель: Выделенная структура для стандартизации BI, развития навыков и внедрения лучших практик в организации.
Где почитать: https://en.wikipedia.org/wiki/Business_Intelligence_Competency_Center
5) Tiger Teams / Purple Teams
О чём модель: Временные кросс-функциональные команды, собранные под конкретные бизнес инициативы с глубокой доменной специализацией.
Где почитать: https://datalere.com/articles/an-operating-model-for-data-analytics-part-iii-team-composition-and-dynamics
________________________________________
Что я не стала сюда включать?
-всеми любимый embended/data mesh, когда аналитики полностью встроены в продуктовые или бизнес-команды, при этом используют платформу, управляемую централизованно – частный Hub-and-Spoke, который возникает, когда BI-команда раньше сидела централизованно, а теперь ценных специалистов погнали в поля поднимать аналитические компетенции бизнеса.
-чистую децентрализованную модель. Ну коммон, это не топология команды, а чистые хаос и анархия)
В общем, все как я люблю

Котятки🐱,
Сегодня утром я размышляла о том, как перейти от Озера данных к DWH и обратно на разных этапах жизненного цикла организаций, и в как сделать механизм трансформации гибким.
Вот это интервью в целом интересно:
https://www.astera.com/ru/type/blog/data-warehousing-financial-services-industry/
В нем рассказ об эволюции, шаблонах, подходах, о взглядах финансистов на BI-процессы.
Стандартная история про шаблонизацию первичных загрузок тут прерывается рассуждениями о качестве данных, что для этого домена является важнее скорости.
Занимательно, но с развитием AI некоторые ранее правильные вещи уже шатаются

Котятки, я думала, что меня уже ничто не удивит. Но боже, как же я хочу научиться снимать вот такие ролики, чтобы популяризировать мой self-service BI 😻 https://youtube.com/shorts/JU-cMV6rTTk?si=pfDLSgpKyrffW6S5

Котятки🐱
Мы с коллегами достаточно часто дискутируем на тему, в какую еще точку приложить наш AI (кроме тех, которые уже окучены).
Я всегда стояла на том, что финальный анализ данных - это прерогатива человека, особенно в аналитических дашборд ах.
В этой маленькой и совсем не программной статейке есть мысль доверить ИИ преданализ, и нет, речь не про качество данных.
Линк:
https://croclub.com/data-reporting/stages-of-business-intelligence/
Предлагается фактически доверить ему Exploratory Data Analysis.
Что ж, я бы конечно скинула на AI всякий data blending