Котятки🐱
Сегодня что-то на заумном. Я держала этот материал про запас, но время пришло. Ниже статейка Bird&Bird, и вы о них, наверное, не знаете. Это юристы от мира технологий с историей, древнее, чем интернет.
И в 2019 году у них выходит, на мой вкус, провокационный материал про технологии Big Data, свободную волю и BI: https://www.twobirds.com/insights/2019/global/big-data-and-issues-and-opportunities-trust-surveillance-and-free-will
Что вызвало взрыв мозга у меня тогда:
🤦‍♀️ Я тогда стояла на концепции DDD (Data-driven decision making) и вращалась в среде с культом данных. После прочтения их материала ( и не одного) и не только, меня догнала мысль, что надежность информации может меняться в зависимости от того, с кем мы говорим, где собираются данные или как они представлены.
📊Измерение доверия: в статье приводится и механика оценки доверия к данным, и анализ связанных проблем. То, что доверие можно и нужно измерять не только в маркетинге, но и по отношению к данным, было моим открытием. Как и то, что мои первые предложения начать измерения, были подняты на смех. Что ж.
🫶Тотальное data observability и data collect приведет к снятию необходимости в корреляционном анализе: еще год назад я бы посмеялась, а теперь, когда ИИ способен проглотить и оценить сотни факторов сразу, мне не до смеха. Уже не особо нужно ручками искать наиболее влияющие факторы и строить какие-то прогнозы: мы реально переходим к полноценным многофакторным сценариям. Раньше на это нанимался консалтинг.
🕵🏻‍♂️Рано или поздно поменяется подход к анализу: вместо изначальной генерации гипотез и их проверки мы плавно переходим к общему наблюдению, а уже затем начинаем генерировать «подозреваемых». Короче, велика вероятность, что вся генерация гипотез была нужна для ранжирования усилий для сокращения ресурсов. А ИИ не устаёт.
P.S. Еще там раскапывается проблема моральных агентов и права не подвергаться автоматизированному принятию решений. Собственно, от этого пошло формирование моего отношение к HR-аналитике,-очень аккуратное.

Котятки🐱
У меня пару лет назад был период увлечения поведенческой экономикой и эвристикой.
Тогда же в моих обучалках появился слайд про когнитивную эвристику и семиотику, а именно - как использовать наши существующие ‘мысленные ярлыки’, чтобы информация с дашборда считывалась быстрее.
Что почитать? Я читала занимательную книжечку по эвристике в анализе, она ниже.
Но можно начать с правил в этой статье: https://alekseyshutow.medium.com/что-такое-эвристическая-оценка-и-как-её-проводить-37d7c82d6627

Котятки,🐱
Заходя в новый проект с новым источником, раньше я с ходу предлагала CDC. Ну было модно, что уж.
Шло время, и теперь я предлагаю работать с захватом изменений только там, где это безопасно, уместно по нагрузке на систему-источник, и что главное, нормально уживется с паттерном проектирования базы данных системы.
Новая библиотека (предыдущая ссылка, которую я публиковала в канале, умерла):
https://gitart.gitbooks.io/bazi-dannih-i-proektirovanie-dannih/content/shabloni-proektirovaniya.html
Сейчас мой алгоритм достаточно прост:
🕵🏻‍♂️Почитать архитектурную документацию (если есть)
Понять, на какой паттерн я смотрю (иногда на никакой, особенно в легаси, где базу пилили 5 криворуких аутсорсеров в разные эпохи)
🔹Определить происхождение данных, создаются они в системе или тоже интегрируются извне, какие у них метки времени и порядка.
🧑‍💻Почитать документацию по источнику - вы можете столкнуться с ситуацией, когда CDC -это свойство таблицы, и даже без явных меток она вам по индексу отдаст данные, а можете долго бодаться с системами типа SAP, которые защищаются от CDC, и после долгой позиционной борьбы забирать через экстракторы.
🦸Договориться о доработках , так как иногда проще попросить API или вьюху, чем строить из себя героя и воспроизводить логику какой-нибудь зубодробильной системы на DWH.

Вы мне можете возразить, что это все задачки Дата-инженеров, пусть они сами об этом думают, а нам, аналитикам и архитекторам данных, надо всего лишь описать данные и сделать S2T.
Но давайте объективно, это базовые элементы системного анализа в DWH. Без них, ну такое себе.

Котятки, после Gitoqlok для управления версиями Qlik Sense меня долгое время не отпускала идея сделать нечто похожее для PBI, и каюсь, я куски хранила в Гит - и книги, и списки формул, и вообще все что Dax Studio мне показывало. Более системное решение описано тут, и жаль, что нахожу я его только сейчас: https://www.powerbiops.com/blog/how-do-i-do-version-control-in-power-bi/

Котятки, на прошлой неделе я вам писала про Changellenge >> Education, и да, это была затравка на рекламу курса.
Теперь давайте к конкретике: у них стартует курс “Аналитик PRO”.

Я могу тут расписаться кровью, что после него вы найдете работу за миллиард $$, (и конечно, я вам совру), но что я сама вижу:

-в вакансиях, которые мне предлагают на публикацию (а я не беру, даже за деньги), объем компетенций и знаний, которые требуются от кандидата, улетел в космос. Пару лет назад такие вакансии вызывали умиление (типа хотите сразу все и задёшево), сейчас мне не до смеха.
-везде нужен живой опыт, пусть и симуляционный, как на курсах. Посмотреть обзорщиков на YouTube — мало.
-Короче, с GPT и прочими друзьями ваши супер умения писать SQL, которые тщательно репетируются на тренажерах, уже не играют такую значимую роль, как, например, целостное понимание всей цепочки поставки аналитики.

В общем, если вы что-то для себя подыскиваете, и хотите идти постепенно, то обратите внимание на “Аналитик PRO”. Курс неплохо сбалансирован, там есть как бизнес-куски (финансовая и бизнес аналитика), так и чистая тех часть, а еще рисование презентаций (на прошлой неделе я с болью вырисовывала слайд по стратегии, но все обычно забывают об этой говнообязанности в жизни синиоров).

На выходе: вы не станете тру разработчиком и аналитиком в DWH, об этом написано честно. Но если вы какой-нибудь трейд маркетолог, сейлз или занимаетесь планированием на производстве, то после курса в любой крупной организации вы уходите в пресловутый self-service, навыков будет достаточно. Если вы работаете в малом и среднем бизнесе, то думаю, расширение горизонтов вас тоже порадует. Ну а дальше вы поняли.

p.s. в авторах курса - мои бывшие коллеги, с кем-то пересекались, с кем-то работали примерно в одно время. Ну а еще одна барышня, чья статья на медиуме у меня в закладках. Наверно, это хороший знак.

p. s.s. не забываем промокод ВЕСНА, который дает скидку 25% (активен 2 дня).
Вся информация по ссылке » https://u.to/A4o6Ig

Котятки🐱 вы меня знаете, я чутка ленивенькая и люблю коллекционировать всякие ништяки. Тут я однажды оставляла ссылочку на ресурс DVBI Южакова, но тогда, кроме глоссария, к себе в копилочку я ничего не взяла. Сейчас там короче опубликованы критерии оценки ETL систем и каталогов данных, шаблоны для ведения моделей данных и нормальные такие шаблоны к SAP PD. В общем, неплохой стартовый набор FSD для любого хранилищника. Пример: https://www.dvbi.ru/articles/reading/data-catalog-evaluation-checklist. P.S. в 2014 году там была статья про MDS с критическим разбором, которая фактически является полным набором функциональных требований для любой системы-загрузчика пользовательских данных в песочницу Хранилища. Я тогда не прониклась, а сейчас кааак прониклась🤦‍♀️Короче, что б мне так уметь.

Как за 5 часов выполнить работу, на которую планировалось потратить 19 недель?
Правильно, с курсором ))))

👆Ах, котятки)) Если бы не пережила подобное сама, то сказала бы, что невозможно. Теперь … короче, добро пожаловать в новую реальность.

Котятки🐱
Мне подключили Copilot к…. Ко всему короче.
Что ж, боюсь, меня плавно раскачивает на эмоциональных качелях от ‘А что, так можно было?’ до ‘да ладно, и так тоже?’
В общем, после попыток протестировать тех гипотезы я пошла на гуманитарные, когнитивные и всякие perception-вещи.
Буду честна, пока с оценкой искусства ИИ справляется плохо. Например, прогон одного нашего стандартного фин дашборда по критериям эргономичности и качеству проектирования дал абсолютно вариабельные результаты в зависимости от целей ИИ-агента.
Ну то есть чувство прекрасного у него, как у инопланетянина. Окончательно сломался на скроллинге: не мог решить, что лучше - больше информации, но скролл, или меньше инфы для пользователя и меньше контекста, но без скроллирования таблицы.
По каким тестам гнала и что почитать?
Вот тут хорошая подборочка антипаттернов с примерами и занятной легендой в стиле хоррора (не все смотрели Чаки, но я - да), оч старенькая, а и потому я ее берегу:

https://www.yellowfinbi.com/blog/chucky-s-top-bi-dashboard-design-and-delivery-worst-practices-part-one

https://www.yellowfinbi.com/blog/chucky-s-top-bi-dashboard-design-and-delivery-worst-practices-part-two/amp

Котятки🐱
Я люблю блоги, в которых на конкретных примерах пошагово рассказывается аналитический путь: как были подготовлены данные, как выделялись и перерабатывались группировки, как работает декомпозиция и что идет в дриллдаун. Недавно восторгалась материалами коллег по P&L в это стиле)
Короче, люблю контент для BI-аналитиков в бизнесе, стык BI и бизнес-смыслов, и при этом тебе дают не готовый результат, а показывают, как думал аналитик.
Сегодня я про анализ покупательского поведения, подобрала два неплохих образца)
Что подметила: в иностранных статьях больше стараются показать свой ход мыслей, а вот в российских - дать методологические основы. Бывают исключения, конечно, но в целом почему-то наши материалы претендуют на универсальность чаще.
Короче, ловите наиболее типичных представителей:
https://blog.enterprisedna.co/customer-analysis-in-power-bi-reviewing-performance-over-www.tg-me.com/

https://www.passteam.ru/blog/bolshoy-gayd-po-rfm-analizu-klientskoy-bazy-industrii-krasoty

Котятки🐱
Иногда наступает время, когда команде нужен PM. Порой это происходит из-за размера самой команды, иногда из-за стадии развития, а бывает, что амбициозность задач требует, чтобы вами порулил опытный капитан.
Ну и поною: найти нормального PM в разработке непросто, найти его в хранилище - еще сложнее. Проще украсть у кого-то)
А уж вводить его в роль, закапывая материалами и курсами - такое себе.
Но вот эту книжечку я бы рекомендовала, она очень неплохо дает понимание, что ждут от проджекта в BI и хранилищах, да и вообще хорошее понимание домена:
https://ebrary.net/99159/business_finance/business_analytics_for_managers_taking_business_intelligence_beyond_reporting

Котятки🐱,
Вчера у меня было занятное обсуждение на тему ‘скрестить ежа с ужом’- как провести маппинг функций, бизнес-процессов и физических объектов в системе-источнике без логической модели источника. Ну хотя бы с качеством процентов 70, чтобы от чего-то оттолкнуться.
Я сразу по памяти выдала ‘Берем Наташу’, имея ввиду библиотеку Natasha, чтобы выделить устойчивые онтологии с двух сторон и их смэтчить, а потом чуть притормозила.
Мне не нравится паттерн работы в стиле ‘готовишь гипотезу-готовишь данные-тестируешь-смотришь’, и никогда не нравился. Я тот еще хаосит при ресерче, и в подготовке данных весьма агрессивно себя веду, сначала пробую, потом думаю.
В общем, спасибо небесам за Power BI и его функции для анализа текстов, а также за нормальный откат изменений в Power Query:
https://learn.microsoft.com/ru-ru/power-bi/transform-model/desktop-ai-insight

Котятки🐱,
Когда я училась в аспирантуре, у меня была философия науки.
С подачи одной из дискуссий на лекции, в моей голове устойчиво сформировалась мысль о том, что статистика - это не наука, а суповой набор из тервера, матанализа и рядов с острой приправой всего, что под руку попадется (включая, например, замес между режимами вывода типа абдукции, дедукции и индукции при генерации гипотез). С тех пор я завалила десяток собеседований, так как, если мягко выражаться, мое мнение не совсем классическое, но я упорно ищу подтверждение. Отсюда и мой интерес к анализу и BI.
Короче, были длинные выходные, на столе лежала книжка про ДАО,  и я озаботилась влиянием философии на рамки формирования науки о данных (и да, не считаю наукой).
Удалось наскрести парочку занятных материалов, делюсь. Последнее исследование очень интересно, так как оно ставит вопрос о знаниях, полученных с помощью науки о данных, и заходит на такой интересный термин, как "объяснимость" - что является достаточным? В практическом смысле, это сводится к тому, запихивать ли объяснение каждой запятой в легенду к дашикам, или полагаться на культурный контекст :) Ну а в более широком очень неплохо закрывает вопрос, зачем нужны эти ваши аналитики.
• How do Taoist thoughts influence big data technological innovation? - исследование влияния даосизма на технологические инновации в области больших данных
• A Taoist Foundation of Systems Modeling and Thinking - статья о применении даосских принципов в системном моделировании и мышлении
• Regarding Big Data through the Lens of the Philosophy of Information - исследование философии информации и её связи с большими данными
• The epistemological foundations of data science: a critical review - критический обзор эпистемологических основ науки о данных