Нашелся репозиторий вида "все про интеграцию": технологии, паттерны, протоколы. Не знаю, как использовать, но может вам полезно будет: https://github.com/stn1slv/awesome-integration

Котятки🐱,
Я сейчас корплю над data lineage в своем хранилище, и грущу. Раньше я искренне считала это одноразовым инструментом, который продать пользователям почти нереально: пресловутый data trust не продается, если в компании достаточно аналитической культуры и понимания происхождения своих данных.
У меня была пачка заблуждений, которые проще не пересказывать, а поделиться с вами вот этой статьей:
https://medium.com/alvin-ai/the-most-common-misconceptions-about-data-lineage-18a65e10d9a1
И хотела бы я высказаться в стиле ‘а раньше я не понимала, а вот щас каак поняла’, но нет. Я по прежнему думаю, что оно того не стоит, если твой вопрос, на который ты отвечаешь с помощью data lineage, не окупается созданием и сопровождением этой хмурой цепочки.
У меня два фактора окупаемости:
-я кормлю этой цепочкой AI, так он лучше контекст датасета понимает. Но не всегда результат идеален, ибо иногда в незнании ему проще, и результаты лучше
-реверс инжиниринг: ненавижу хранимки, хоть они и кэшируют план запроса и вообще полезные типа. Полная цепочка сразу показывает, где и что переделать.
Ну и да, согласна с автором статьи, это точно не ‘просто диаграммы’.

Котятки🐱,
Я предпочитаю не экономить на печеньках, поэтому экономлю на лицухах;)
В любой компании, где внедряется BI, стратегия управления лицензиями плавно меняет вектор от ‘как раздать’ к ‘как не дать’. Но иногда гибридный подход закладывают в самом начале, при проектировании процесса, в 2 ветки:
-раздача лицензий: активным пользователям, которым необходимо интерактивное взаимодействие с дашбордами.
-рассылка отчетов: пассивным пользователям, которым достаточно получать статические отчеты по электронной почте.
У меня чаще всего история всегда развивается по-классике, так как заранее закладывать гибридную стратегию=замедлить темп роста аналитической культуры.
Поэтому все полезные действия, а именно сегментация пользователей, мониторинг и анализ использования отчетов (сиречь, слежка), оптимизация и разработка механики переназначений лицензий, - у меня в процессах возникают не сразу.
Почитать про всякие тактики можно тут (статей без привязки к какому-то ПО у меня в копилочке, увы, нет, но буду благодарна если поделитесь):
https://redresscompliance.com/optimizing-microsoft-365-licensing-for-hybrid-workforces/

Котятки🐱 Я очень люблю всякие исследования по считыванию диаграмм с точки зрения когнитивных аспектов. Сегодня вселенная мне подкинула обзорную статью, как тестируется разная когнитивная нагрузка и в целом про ее влияние на эффективность визуализации данных:
https://datafloq.com/read/how-cognitive-load-impacts-data-visualization-effectiveness/
Ее я читала минут 5 и была очень рада, ибо предыдущую монументальную работу про визуализацию network-диаграмм я прямо буквально дожимала
https://vcg.seas.harvard.edu/publications/scalability-of-network-visualisation-from-a-cognitive-load-perspective/paper
P.s. помнится, дет 5 назад у меня были проблемы с horizon -диаграммой. Так вот, ничего не поменялось. Я по-прежнему не могу ее читать, она сильно перегружает меня. Боюсь, ее когнитивная ценность для меня близится в нулю.

Котятки🐱,
спустя десяток лет в аналитике и IT я сегодня узнала, что когда я крашу кнопочку в дашике в ярко красный и пишу на ней "Жми меня", то это называется аффорданс.
Еще я иногда поля для ввода параметров для пересчета делаю крупненькими и с жирненькой границей. Это оно же.
Мир полон невероятного.
Линк на статью:
https://idbi.ru/blogs/blog/affordansy-v-dizayne#:~:text=%D0%90%D1%84%D1%84%D0%BE%D1%80%D0%B4%D0%B0%D0%BD%D1%81%20%E2%80%94%20%D0%BD%D0%B0%D0%B2%D0%B8%D0%B3%D0%B0%D1%82%D0%BE%D1%80%20%D0%B4%D0%BB%D1%8F%20%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D1%82%D0%B5%D0%BB%D0%B5%D0%B9.,%D0%B8%20%D0%BF%D0%BE%D1%81%D0%BB%D0%B5%D0%B4%D1%81%D1%82%D0%B2%D0%B8%D1%8F%20%D0%BC%D0%BE%D0%B3%D1%83%D1%82%20%D0%B1%D1%8B%D1%82%D1%8C%20%D0%BD%D0%B5%D0%BF%D1%80%D0%B5%D0%B4%D1%81%D0%BA%D0%B0%D0%B7%D1%83%D0%B5%D0%BC%D1%8B%D0%BC%D0%B8.

Котятки,
Сегодня утром искала себе аргументы, почему я не стану пересаживаться на модный Rolap в BI, ибо иногда недостаточно просто обозвать их ‘Джаваскрипт на ножках для бедных’, нужно что-то более осознанное.
Поиски привели меня в Хабр, вчитываться в неудачные кейсы Superset (хотя он не совсем ROLAP, имхо).
Хабр привел меня к статье, где ребята из Ростелекома решают классические хотелки пользователей в BI:
-‘Давай введем параметр прямо в дашборд, и чтобы оно все пересчитало’
-‘Давай пользователи будут довносить данные руками прямо черкез дашборд, а они сохраняться будут’
Что ж, на Superset это выглядит прямо не космосом, а чем-то более осознанным. Аргументов остаться на Qlik стало меньше.
В общем, неудачный день для гугления, может шашлык выйдет лучше.
Линк:
https://habr.com/ru/amp/publications/772118/

Котятки, очень хотела написать сегодня пятничный пост, но что-то мешает

Котятки🐱,
В этот день, добрый и прекрасный, я наконец ушатала нагрузочный тестированием базу MS SQL и перешла к новому кусочку -нагрузочного тестированию BI.
Начала я с вот этого занятного докладика, так как он по моему стеку:
https://sqadays.com/ru/talk/11073
Ну и сразу ломанулась в эмуляторы нагрузки эндпоинтов, и начала с Power BI, ибо у меня на этом инструменте весь self-service отстраивается:
https://github.com/microsoft/PowerBI-Tools-For-Capacities/tree/master/LoadTestingPowerShellTool/
Но в коробочных вендорских BI мы упираемся в то, что нагрузочное тестирование почти всегда сводится к нагрузке по сценарию массового чтения/рендеринг при обновлении фильтров, а мне хотелось бы все же тестировать нагрузку по созданию дашбордов.
Думаю о Selenium, ибо пока хз что делать. Чувствую себя древним мамонтом среди котяток.

Котятки🐱,
Я иду шаткой дорогой автоматизации и ИИ. Что-то выходит, как с системным анализом, но Business intelligence- точно для живых)
В нашу дружную команду нужны Джуны.
Итак,
Компания - Lactalis,
Локация оформления - Казахстан
Позиция - в штат.

Вакансия: junior/middle-администратор Qlik. Навыки разработки приложений будут конкретным преимуществом. Обязанности: 🔹Поддержка инфраструктуры QlikView (до 300 пользователей); 🔹 Настройка ролевой модели доступа пользователей; 🔹 Решение инцидентов и запросов от пользователей; 🔹Разработка/доработка технических приложения Qlik; Пожелания: 🔹Высшее образование (желательно специализация в области информационных технологий); 🔹 Знание SQL, понимание принципов разработки BI-приложений; 🔹Опыт работы от 1 года в области аналитики и автоматизации; 🔹Знание и опыт работы с Qlik View/ Qlik Sense или иным BI-инструментом; 🔹Ответственность, системное и аналитическое мышление, ориентация на результат.

От себя: у нас опытный BI-тимлид, который видел то, что я названий таких и не знаю, международная команда и хороший стек. В общем, вам будет, куда вырасти.
Ах да, у нас сырочек вкусный.
Кидайте резюмешки @Dddv_2705 и помогите пожалуйста репостом ! Ваша Даша

Котятки, у Ромы Бунина и Тани Мисютиной был прикольный курс Лаборатории данных.👍

Поэтому когда я наткнулась на анонс вебинара от AW BI — решила вас позвать, там будет Таня Мисютина, один из самых сильных специалистов по визуализации данных. Она преподавала в Яндексе, Сбере, X5 и точно знает, как донести мысль не только до аналитика, но и до тех, у кого KPI в Excel.

📊Таня будет рассказывать, как подходить к визуализации не с позиции «выбора цвета графика», а с позиции мышления — что, зачем и почему стоит показывать.
Продемонстрирует дашборд для банковского кейса и на его примере — как может выглядеть понятная и чистая визуализация в отечественной BI-системе AW BI (всё больше интересных продуктов появляется у нас, кстати).

Участие бесплатное. 🔗Регистрируйтесь по ССЫЛКЕ

Уверена, будет полезно даже тем, кто давно работает с визуализацией.

Реклама. Рекламодатель АО «ОСТ»
ИНН: 9709108924

Котятки🐱,
Сегодня пятничка, и я чилю на MTS True tech days. Площадка Mts hall, мне с ней все понятно еще со времен фестиваля Будущее.
А вот мысли тут сегодня бродят достаточно новые.
Первый же доклад на главной сцене заставил меня чувствовать себя в сбывшейся реальности черного зеркала, поэтому я свалила на инженерный трек, сверить часы.
Выяснила, что в сфере применения ИИ примерно все крутятся возле одних и тех же доменов/кейсов. У меня тот же самый списочек с разным прогрессом)
P.S. Ну кроме автоматизации код ревью. Я параноик, и принятие решений ИИ доверить не готова.

Котятки🐱 я впервые пользовалась MongoDb очень давно - так давно, что у крупных BI тогда и коннекторов к нему не было. Сегодня я уже более осознанно проходила этот путь, но уже с Qlik https://www.youtube.com/watch?v=RgXFRDRujKg
Зачем делала?
У одного из систем-источников, который у меня сейчас есть, родная база - Mongo, и я очень хотела ее отзеркалить вместо парсинга json. И сразу вытянуть в Qlik. Так сказать, в качестве промежуточного решения.
Что еще для себя нашла? -я думала, что вязка Mongo+BI не очень пригодна для ad-hoc, кроме аналитики поведения. Оказалось, что для категорийного анализа тоже годно, да и агрегации можно сделать.
-я все еще осталась при своем мнении, что лучше подключать Mongo через промежуточные слои.

И короче вернулась я в парсинг json на питоне и плоскую раскладку в Postgresql.

Но кому интересно, такой общий гайд и всякие кейсы тут: https://moldstud.com/articles/p-integrating-mongodb-with-bi-tools-enhancing-data-warehousing-capabilities-for-better-insights

Котятки🐱,
Вчера вечером я читала лекцию про методы управления временем в рамках курса DevOps Lead.
И хотя лекция в целом была про тайм-менеджмент, я не удержалась и немного залезла в сторону структурирования - ну подумаешь, не только же время можно структурировать.
На волне вдохновения сделала памятку с 4 методами, делюсь👆. Мой любимый - Zettelkasten.
История и теория тут.
Реальный опыт и шаблоны тут.

Котятки🐱,
В далеком 2022 году я ковыряла задачку по дрилл-дауну и впервые объясняла бизнесу, что такое агрегаты и предагрегаты в БД и почему я не могу ‘как в экселе’ выдать простыню, а оно само просуммирует.
Скажем так, даже на миллионах строк просуммирует, но выжрет всю память)
С объяснением сути работ я тогда, мягко говоря, была не особо успешна.
С тех пор у меня была прикопана вот эта статья, но она чуть сложновата для бизнес-юзеров:
https://habr.com/ru/amp/publications/539016/
Благо, теперь есть ИИ, которому можно ее скормить и попросить ‘расскажи это для 14-летнего подростка со средним уровнем интеллекта’. Этот ‘паттерн’ для создания всяких объяснялок и обучающего контента мне в 2014 дала мой тогдашний директор, и в ИИ он тоже пришелся к месту🤦‍♀️)

Котятки🐱,
Еду с завода, читаю в электричке всякие статеечки по философии анализа - я тут уже как-то постила про эту сторону моих интересов)
И тут прямо приятный артефакт - хорошая статейка про историю BI-с терминами, персоналиями и оч хорошим сторителлингом по эпохам.
https://www.cio.com/article/221963/history-of-business-intelligence.html
Пожалуй, я так не рассказываю: я в своих обучалках иду, как и многие, от истории диаграмм) но этот подход мне зашел.

Котятки🐱,
У меня тут не так много контента по FineBI, ибо у меня сейчас в стеке Qlikview, а до него я как-то пыталась не утонуть в Superset.
Поэтому экспертиза в нем у меня только формируется, - уже не на уровне ‘поставлю себе триалку и потыкаю’, а на уровне ‘что бы почитать’. Из последних, апрельских, подписок - канальчик Алисы Ручкиной по датавизу.
Первым я себе оттуда сохранила вот эту подборку статей для старта и вот это более системное. И ковыряю себе тихонько.
Что там еще, кроме классики датавиза и внутрянки FineBI?
-мемасики
-новости всякие
-разбирают дашборды в стиле ‘что правильно’. Назвали антипрожаркой, но имхо, я бы отнесла это к классическому ‘зыринг-тыринг’. Репост ниже, зацените.
Реклама. Ручкина А. В. ИНН 783900791086. erid: 2VtzqwAw7n6

Первый дашборд в новой рубрике #референс

Референс (от англ. reference — «отсылка», «справка») — это изображение, которое используется для поиска вдохновения и идей.

💡И то, что вдохновляет, и то, откуда можно взять концепцию.

Под этим хэштегом я планирую выкладывать примеры дашбордов и отмечать в них интересные детали, которыми можно обогатить свои проекты.

Почему я решила создать такую рубрику?

В визуализации данных популярен формат «прожарки», когда эксперты критически оценивают дашборды и предлагают варианты улучшения.

Такие разборы очень полезны для развития датавиз-навыков и понимания того, «как не надо», но для развития также важно тренировать насмотренность на хорошее и черпать свежие идеи.

Итак, открывает рубрику «антипрожарки» дашборд Прадипа Кумара HR Attrition Dashboard, который занял 3-е место в номинации «Бизнес-аналитика» в конкурсе Information is Beautiful 2022.

Что интересного хочется отметить?

✅ Есть переключатель «Показать только текучесть», чтобы убрать с дашборда отображение второй метрики

✅ Есть подсказка для пользователя, что дашборд кликабельный и при нажатии на элементы графиков дашборд будет фильтроваться по ним

✅ В карточках KPI названия метрик написаны светло-серым цветом и более мелким шрифтом, потому что акцент сделан на сами числа

✅ Есть переключатель для изменения гранулярности графика с динамикой: W/M/Q/Y – неделя/месяц/квартал/год.

При выборе другого периода перестраивается сама визуализация и изменяется название в подписи предыдущего периода для величины изменения

✅ В этом же графике динамики есть ориентир для анализа — линия среднего значения

✅ Таблица небольшая и находится в нижнем правом углу, таким образом не занимает много места и не перетягивает внимание на себя.

Кому нужно, тот выгрузит или увеличит таблицу с детализированными данными, а по умолчанию акцент в дашборде сделан на общие показатели и визуализации

✅ Указан автор дашборда (в левом нижнем углу)

❓Что еще вы бы взяли на заметку?

Для развития рубрики присылайте примеры дашбордов: @alisaruchkina. Буду рада их рассмотреть!

#дашборд

Котятки🐱,
Я не люблю data vault просто потому что, все мои детские травмы связаны с этой моделью,- она по факту стопорит self-service до момента, пока ваша команда не родит достаточно датамартов или не соберет приблуду для автосборки вьюх on demand. Команда архитектуры всегда медленная)) Однажды я пережила даже страшный выбор - пускать пользователей в денормализованный и грязноватый ODS и давать буст для развития аналитики, или тянуть и следовать идеологии контролируемости датасетов и чистоты данных. Но в жизни бывают случаи, когда эта модель прямо вот совсем уместна, как не крути. Вот: https://www.scalefree.com/knowledge/webinars/data-vault-friday/the-power-of-data-vault-business-use-cases/#data-vault-and-business-intelligence