Котятки🐱
В последнее время тут крен в Power BI (ура, мне дали лицензию), и я наконец добралась до Deneb, который сначала мне было лень ставить, а потом уже стало не можно. Этот экстеншн (хотя его считают тулом) больше подходит для дата-журналистики, ну тут даже не знаю. Я, что называется, открываю для себя новый мир.
Что почитать? Ну, вот тут блог, в нем много практических примеров в целом и культ Deneb, очень неплохие разъяснялки IBCS(это стандарт такой, который неплохо преломляется в BI) и вишенка-датавиз - мануал по хорошим и плохим диаграммам:
https://www.powerofbi.org/bad-and-good-charts-in-power-bi/

Котятки🐱
Когда я была юна, прекрасна и не сильно опытна в магии BI, у нас однажды было обучение по истории датавиза.
Там было много отсылок к источникам, но не было ответа на мой главный вопрос - почему современные графики такие и почему новые типы диаграмм так сложно приживаются. Ответ я нашла у господ Кливленда и Макгилла, которые в 1984 году опубликовали одну интересную статейку по датавизу.
Кливленд и Макгилл подробно описали общие когнитивные задачи, которые возникают при чтении диаграммы. Позже они оценили, насколько хорошо субъекты справлялись с этими задачами в зависимости от особенностей графика.
Они короче предложили общую иерархию типов данных, которые мы понимаем наиболее точно:
1. Расположение на общей шкале (столбиковая диаграмма, точечные диаграммы)
2. Позиции вместе с невыровненными, идентичными шкалами (малые кратные)
3. Длина, направление, угол (круговая диаграмма)
4. Площадь (карта дерева)
5. Объем, кривизна (3-D столбчатые диаграммы, диаграммы площадей)
6. Затенение, насыщенность цвета (тепловые карты)

Собственно, многие новые формы и не приживаются, потому что их визуальная составляющая не стыкуется с когнитивной задачей. Па-рам-пам-пам-пам🤦‍♀️

Котятки🐱
Сегодня что-то на заумном. Я держала этот материал про запас, но время пришло. Ниже статейка Bird&Bird, и вы о них, наверное, не знаете. Это юристы от мира технологий с историей, древнее, чем интернет.
И в 2019 году у них выходит, на мой вкус, провокационный материал про технологии Big Data, свободную волю и BI: https://www.twobirds.com/insights/2019/global/big-data-and-issues-and-opportunities-trust-surveillance-and-free-will
Что вызвало взрыв мозга у меня тогда:
🤦‍♀️ Я тогда стояла на концепции DDD (Data-driven decision making) и вращалась в среде с культом данных. После прочтения их материала ( и не одного) и не только, меня догнала мысль, что надежность информации может меняться в зависимости от того, с кем мы говорим, где собираются данные или как они представлены.
📊Измерение доверия: в статье приводится и механика оценки доверия к данным, и анализ связанных проблем. То, что доверие можно и нужно измерять не только в маркетинге, но и по отношению к данным, было моим открытием. Как и то, что мои первые предложения начать измерения, были подняты на смех. Что ж.
🫶Тотальное data observability и data collect приведет к снятию необходимости в корреляционном анализе: еще год назад я бы посмеялась, а теперь, когда ИИ способен проглотить и оценить сотни факторов сразу, мне не до смеха. Уже не особо нужно ручками искать наиболее влияющие факторы и строить какие-то прогнозы: мы реально переходим к полноценным многофакторным сценариям. Раньше на это нанимался консалтинг.
🕵🏻‍♂️Рано или поздно поменяется подход к анализу: вместо изначальной генерации гипотез и их проверки мы плавно переходим к общему наблюдению, а уже затем начинаем генерировать «подозреваемых». Короче, велика вероятность, что вся генерация гипотез была нужна для ранжирования усилий для сокращения ресурсов. А ИИ не устаёт.
P.S. Еще там раскапывается проблема моральных агентов и права не подвергаться автоматизированному принятию решений. Собственно, от этого пошло формирование моего отношение к HR-аналитике,-очень аккуратное.

Котятки🐱
У меня пару лет назад был период увлечения поведенческой экономикой и эвристикой.
Тогда же в моих обучалках появился слайд про когнитивную эвристику и семиотику, а именно - как использовать наши существующие ‘мысленные ярлыки’, чтобы информация с дашборда считывалась быстрее.
Что почитать? Я читала занимательную книжечку по эвристике в анализе, она ниже.
Но можно начать с правил в этой статье: https://alekseyshutow.medium.com/что-такое-эвристическая-оценка-и-как-её-проводить-37d7c82d6627

Котятки,🐱
Заходя в новый проект с новым источником, раньше я с ходу предлагала CDC. Ну было модно, что уж.
Шло время, и теперь я предлагаю работать с захватом изменений только там, где это безопасно, уместно по нагрузке на систему-источник, и что главное, нормально уживется с паттерном проектирования базы данных системы.
Новая библиотека (предыдущая ссылка, которую я публиковала в канале, умерла):
https://gitart.gitbooks.io/bazi-dannih-i-proektirovanie-dannih/content/shabloni-proektirovaniya.html
Сейчас мой алгоритм достаточно прост:
🕵🏻‍♂️Почитать архитектурную документацию (если есть)
Понять, на какой паттерн я смотрю (иногда на никакой, особенно в легаси, где базу пилили 5 криворуких аутсорсеров в разные эпохи)
🔹Определить происхождение данных, создаются они в системе или тоже интегрируются извне, какие у них метки времени и порядка.
🧑‍💻Почитать документацию по источнику - вы можете столкнуться с ситуацией, когда CDC -это свойство таблицы, и даже без явных меток она вам по индексу отдаст данные, а можете долго бодаться с системами типа SAP, которые защищаются от CDC, и после долгой позиционной борьбы забирать через экстракторы.
🦸Договориться о доработках , так как иногда проще попросить API или вьюху, чем строить из себя героя и воспроизводить логику какой-нибудь зубодробильной системы на DWH.

Вы мне можете возразить, что это все задачки Дата-инженеров, пусть они сами об этом думают, а нам, аналитикам и архитекторам данных, надо всего лишь описать данные и сделать S2T.
Но давайте объективно, это базовые элементы системного анализа в DWH. Без них, ну такое себе.

Котятки, после Gitoqlok для управления версиями Qlik Sense меня долгое время не отпускала идея сделать нечто похожее для PBI, и каюсь, я куски хранила в Гит - и книги, и списки формул, и вообще все что Dax Studio мне показывало. Более системное решение описано тут, и жаль, что нахожу я его только сейчас: https://www.powerbiops.com/blog/how-do-i-do-version-control-in-power-bi/

Котятки, на прошлой неделе я вам писала про Changellenge >> Education, и да, это была затравка на рекламу курса.
Теперь давайте к конкретике: у них стартует курс “Аналитик PRO”.

Я могу тут расписаться кровью, что после него вы найдете работу за миллиард $$, (и конечно, я вам совру), но что я сама вижу:

-в вакансиях, которые мне предлагают на публикацию (а я не беру, даже за деньги), объем компетенций и знаний, которые требуются от кандидата, улетел в космос. Пару лет назад такие вакансии вызывали умиление (типа хотите сразу все и задёшево), сейчас мне не до смеха.
-везде нужен живой опыт, пусть и симуляционный, как на курсах. Посмотреть обзорщиков на YouTube — мало.
-Короче, с GPT и прочими друзьями ваши супер умения писать SQL, которые тщательно репетируются на тренажерах, уже не играют такую значимую роль, как, например, целостное понимание всей цепочки поставки аналитики.

В общем, если вы что-то для себя подыскиваете, и хотите идти постепенно, то обратите внимание на “Аналитик PRO”. Курс неплохо сбалансирован, там есть как бизнес-куски (финансовая и бизнес аналитика), так и чистая тех часть, а еще рисование презентаций (на прошлой неделе я с болью вырисовывала слайд по стратегии, но все обычно забывают об этой говнообязанности в жизни синиоров).

На выходе: вы не станете тру разработчиком и аналитиком в DWH, об этом написано честно. Но если вы какой-нибудь трейд маркетолог, сейлз или занимаетесь планированием на производстве, то после курса в любой крупной организации вы уходите в пресловутый self-service, навыков будет достаточно. Если вы работаете в малом и среднем бизнесе, то думаю, расширение горизонтов вас тоже порадует. Ну а дальше вы поняли.

p.s. в авторах курса - мои бывшие коллеги, с кем-то пересекались, с кем-то работали примерно в одно время. Ну а еще одна барышня, чья статья на медиуме у меня в закладках. Наверно, это хороший знак.

p. s.s. не забываем промокод ВЕСНА, который дает скидку 25% (активен 2 дня).
Вся информация по ссылке » https://u.to/A4o6Ig

Котятки🐱 вы меня знаете, я чутка ленивенькая и люблю коллекционировать всякие ништяки. Тут я однажды оставляла ссылочку на ресурс DVBI Южакова, но тогда, кроме глоссария, к себе в копилочку я ничего не взяла. Сейчас там короче опубликованы критерии оценки ETL систем и каталогов данных, шаблоны для ведения моделей данных и нормальные такие шаблоны к SAP PD. В общем, неплохой стартовый набор FSD для любого хранилищника. Пример: https://www.dvbi.ru/articles/reading/data-catalog-evaluation-checklist. P.S. в 2014 году там была статья про MDS с критическим разбором, которая фактически является полным набором функциональных требований для любой системы-загрузчика пользовательских данных в песочницу Хранилища. Я тогда не прониклась, а сейчас кааак прониклась🤦‍♀️Короче, что б мне так уметь.

Как за 5 часов выполнить работу, на которую планировалось потратить 19 недель?
Правильно, с курсором ))))

👆Ах, котятки)) Если бы не пережила подобное сама, то сказала бы, что невозможно. Теперь … короче, добро пожаловать в новую реальность.

Котятки🐱
Мне подключили Copilot к…. Ко всему короче.
Что ж, боюсь, меня плавно раскачивает на эмоциональных качелях от ‘А что, так можно было?’ до ‘да ладно, и так тоже?’
В общем, после попыток протестировать тех гипотезы я пошла на гуманитарные, когнитивные и всякие perception-вещи.
Буду честна, пока с оценкой искусства ИИ справляется плохо. Например, прогон одного нашего стандартного фин дашборда по критериям эргономичности и качеству проектирования дал абсолютно вариабельные результаты в зависимости от целей ИИ-агента.
Ну то есть чувство прекрасного у него, как у инопланетянина. Окончательно сломался на скроллинге: не мог решить, что лучше - больше информации, но скролл, или меньше инфы для пользователя и меньше контекста, но без скроллирования таблицы.
По каким тестам гнала и что почитать?
Вот тут хорошая подборочка антипаттернов с примерами и занятной легендой в стиле хоррора (не все смотрели Чаки, но я - да), оч старенькая, а и потому я ее берегу:

https://www.yellowfinbi.com/blog/chucky-s-top-bi-dashboard-design-and-delivery-worst-practices-part-one

https://www.yellowfinbi.com/blog/chucky-s-top-bi-dashboard-design-and-delivery-worst-practices-part-two/amp