Котятки,
Я люблю Qlik, но больше Sense, чем view.
Сейчас слежу за новыми обновлениями MCP -сервера от ChernovDev , пробую тихонько. Он основан на API Qlik Sense, и меня настиг флешбэк.
В общем, однажды я столкнулась с задачей обратного инжиниринга Qlikview,— в классическом кейсе, когда дашборды есть, а документации к ним нет. И надо вытянуть начинку —скрипты, объекты и пр, а также сразу обработать и обернуть в формат некой спецификации.
Попытки простучать QlikView Management Service API не дали ничего из-за авторизации, а менять уже сложившийся паттерн и протокол не хотелось. Ну и честно, я с SOAP мало работала.
Путем перебора мой выбор пал на Qlikview COM API, вызываемый из python:
-это медленно, однопоточно и однонаправленно, никакого параллелизма
-я не сразу привыкла к фишке с правами: при использовании COM-интерфейса система открывает приложение с дефолтными правами юзера, а мне нужны были админские. Пришлось шаманить с подхватыванием текущей сессии.
-это полностью закрывает задачу
-и это дешево, так как задача по сути одноразовая (один раз прошелся по текущим аппликам по списку, сделал и живи себе)
-благодаря питону можно наваять систему, которая учитывает двухуровневую загрузку данных при разработке спеки (помните, когда мы загрузчиком высасываем данные и кладем в qvd, а потом их уже подсовываем под основной аппликейшн). Ну и сам COM-интерфейс может чуть больше, чем задекларировано, надо его только чуть поковырять.
Что хочу сказать?
Доки просто не очевидны, они тут: https://help.qlik.com/en-US/qlikview-developer/May2024/Content/QV_HelpSites/APIsAndSDKs.htm
и спасибо AI , который как раз послужил тем мостиком, который объяснил буквально на пальцах, что с этим делать и как пользоваться.

Котятки🐱,
Неделю назад при работе с датасетом в AI меня поставила в тупик достаточно нетривиальная проблема: он читал и пытался делать аналитику на ‘мусорных’ столбцах -guid, нумерация строк, аудиторский след, технические отметки времени, суррогатные ключи. И поле row_number, которое у меня вылезло из оконной функции.
Я была сильно удивлена - ибо заранее скормила ему набор метаданных (‘сущность’ в копилот) и объяснила, как с ним работать на уровне вшитых промтов - то есть, я полагала, что AI-агент держит контекст на каждое значимое поле. Почему ему вдруг понравились другие поля хз, я была озадачена. В итоге в ТЗ на витрину все незначимые столбцы убраны.
Ну и сегодня Гугл навел меня на старенькую статью про графические датасеты:
https://www.aiweirdness.com/when-data-is-messy-20-07-03/
Проводя параллели, если в обучении модели, которая под капотом моего агента, был фактор ‘равенства’ всех столбцов в датасете, то поведение становится очевидным, как бы я не задавала доп контекст значимым полям. Поможет или их исключение совсем, или доп контекст с ограничением на использование.
P.S.
Будем честны, с людьми такой проблемы не возникает. Ни одному BI-разработчику на моей памяти использовать мусор в датасете в голову не приходило, это некая очевидная вещь, гигиенический минимум профессионализма в нашей профессии. И она же сделала меня ‘небрежной’ в датасете. Расслабилась, короче;)
Всем хороших выходных!

Котятки🐱,
Вчера у меня была интересная дискуссия по моей традиционной теме - self-service BI.
Я готовилась, почитала хорошую статейку- в ней разобраны 2 метода развития BI с традиционным внедрением и через self-service, разобраны факторы влияния, приведена казуальная петля (зависимость факторов друг от друга) и введена модель ‘организационного принятия’.
В общем, занимательное чтиво, но не в стиле ‘развлеки себя на 5 минут’, надо прямо вчитываться:
https://www.sciencedirect.com/science/article/pii/S2772503023000300
P.S. Завтра будет пост-размышление на тему создания self-service BI-комьюнити : почему одни умирают, другие выживают, и какие факторы играют роль, а какие ‘мы думаем, что играют роль ‘, - а на самом деле пшик.

Котятки,
я обещала пост-размышление по self-service BI, и вот он.
Что на него повлияло:
-знакомство со связкой Power BI + Copilot – теперь Copilot может сам строить дашборды, с помощью ТЗ, которое мы формулируем на естественном языке.
-Qlik Sence MCP сервер – новая находка.
-статья с архетипами внедрения Self service BI
Читать
Для лиги лени: в связи с неминуемым встраиванием AI-агентов в BI могут меняться и факторы успеха Self-service BI, и архетипы/сценарии SSBI. Может измениться не только «стоимость» успеха, но и что считать «успехом».

Котятки,
Я уже не первый раз сотрудничаю с нишевой школой аналитики Changellenge >> Education. Настало время рассказать про их флагманский курс "Аналитик данных":

- программа составлена аналитиками-практиками и охватывает все ключевые компетенции, которые нужны аналитикам в бизнесе
- обучение проходит в формате реальных групповых кейсов от компаний уровня Т-Банк, РЖД и Ozon, что поможет вам освоить работу с данными с нуля
- курс подойдет для специалистов разных направлений, которые хотят развить свои навыки, получить повышение и успешнее продвигать свои идеи руководителям
-курс в целом очертит границы работы аналитика и современный инструментарий, поможет легко войти в self-service BI, если он в вашей компании уже есть, а также осознать, как ставить ТЗ команде IT для поставки датасетов.

Про сложности в начале новой карьеры оговорюсь: за счет опыта работы над реальными кейсами компаний-партнеров - вы будете презентабельно выглядеть на рынке, даже если у вас не будет релевантных строчек в резюме.

Остальные преимущества школы можно почитать тут, а по промокоду “ДАШБОРДЕЦ” до 22 августа будет действовать скидка 25 000р

Котятки😻,
Наверное, некоторые вспомнят это видео - демку агента AI в Power BI?
https://youtu.be/wr__6tM5U6I?si=Jn5VkX9STmVB0cfd
Это выглядело как магия вне хогвартса.
Сейчас Copilot в PBI подкачался, хоть и не позволяет нам поменять модель под капотом:
-может полностью обеспечить тебе data discovery в режиме диалога (как это)
-создаст тебе готовый дашборд и объяснит твои данные
-склонирует тебе, что ты пожелаешь (но сначала ответит, что не может, но если правильно попросить, то может)
-он даст наконец-то расширенную диагностику.
Из минусов я себе выделила: ограниченный набор визуализаций (как в API), невозможность кастомизировать оформление по команде, и, наверное, главный — это своя отдельная область подготовки модели для использования в ИИ. То есть вместо привычных в Copilot Тем и сущностей, здесь все еще предлагаются ‘Проверенные ответы’ и добавление инструкций.
Оч надеюсь, что это отомрет, и просто добавят функцию ‘Спросить агента’, как уже сделано в Power Point.

Собственно, мои размышления о self-service и артефактах к нему пока концентрируются на уровне 1 и 2 из вот этого видео про уровни Self-service, кои гипотетически реализуемы в Power BI, которым я и заканчиваю этот вечер:
https://youtu.be/BdG0a6tQ96M?si=2UZD6ZTABCpKUjuX
Всех с пятничкой 😍

Котятки🐱,
В субботу у меня был интересный разговор, и мы с одним инженером затронули тему, какие прикладные задачи в сфере BI можно поручить AI, с учетом их ограничений (неидемпотентность, косяки в распознавании намерений, галлюцинации, проблемы проброса данных в исполняемую среду и пр)?
Что ж, вот общая статья с вариантами, что поручить AI в сфере BI:
https://hackernoon.com/the-role-of-business-intelligence-in-ai

Кроме data discovery и генерации дашбордов, об артефактах к которым я уже писала подробно, с табличкой, нравится: тема с персонализацией, которая постепенно идет на смену ‘единой версии правды’(последнее всё больше топится на уровень датасетов)
Что не нравится: трансформация Data prep в ‘AI data prep’. Щупала уже продукты, которые пытаются себя так позиционировать, пока степень вовлечения человека в них очень высокая, нельзя сказать, что мы это делегируем агенту.

Котятки🐱,
Утром читала материал про черри-пикинг: у меня в работе отчет с построением прогнозов, и результат может быть достаточно чувствительным к такому явлению.
В статистике и в ML черри-пикинг - это буквально выбор удобного набора данных, который подтверждает определенную гипотезу. Короче, когда все в датасете правда, но это не вся правда🤦‍♀️
В BI чуть сложнее, ведь у нас два уровня манипуляции - датасет и визуализация. С помощью сторителлинга мы, конечно, вряд ли сделаем чистый черри-пикинг, однако простроить анализ так, чтобы отсекать у пользователя возможность формирования каких-то «нежелательных» гипотез - на изи:)
Что почитать:
1)Ниже монументальный материал с исследованиями, который раскрывает вопросы:
-как оградиться от черри-пикинга при визуализации
-как его распознать в датавизе
-как создать пространство работы, которое исключит черри-пикинг
-как стимулировать критическое мышление юзеров
https://dl.acm.org/doi/full/10.1145/3706598.3713385
Материал не в стиле ‘когда графики врут’, а чуть глубже, но про это там тоже есть) Грузился долго, но читать интересно.
2)Статья для легкого чтения с понятийным аппаратом, раскрывающая основные риски: https://statisticseasily.com/cherry-picking/

Разработчик DWH, найдись)
В связи с расширением ищем человека в команду.
Компания Lactalis –всемирноизвестный производитель продуктов питания
(бренды - President, Santal, Parmalat, Galbani и др.)
Локация оформления - Казахстан.
Формат работы: удаленка (офис есть, но по желанию)
Занятость: полная.
Позиция - в штат.
Уровень: миддл-
Стек: MSSQL/SSIS
Про вакансию:
Что предстоит делать:
• Проектировать потоки данных: от источника до датасетов для заказчика под различные эндпоинты(операционная отчетность, кубы, ad-hoc аналитика, ИИ);
• Проектировать логическую и физическую модель данных в рамках разработки датасетов в соответствии с общей концепцией хранения данных;
• Разарабатывать потоки данных на SSISи скрипты на sql.
 
Требования:
• Высшее техническое/математическое образование;
• Опыт работы на схожей позиции от 2 лет;
• Знание основных архитектурных паттернов и подходов к проектированию БД ;
• Понимание принципов проектирования и работы хранилищ данных;
• Опыт работы с MS SQL: умение проектировать запросы, владение T-sql, работа с джобами и функциями;

Преимуществами с вашей стороны будет:
-Базовые знания разработки на Python
-Знакомство с моделью данных системы 1С как системы-источника;
• Опыт работы на проекте миграции DWH.
Наш стек: MS SQL Server, SSIS, SSAS, Git, Grafana.
 
Что можем предложить?
-работа в международной компании с  современным стеком;
-удаленная работа из любой точки мира, гибкий график;
-использование ИИ в работе и в стеке как один из компонентов;
-по желанию, работа из офиса;
-оформление: Казахстан.
Для резюме и пообщаться: @Dddv_2705

Что учить, чтобы получить оффер на аналитика в 2025 году?

Приглашаем на бесплатный вебинар, где Андрон Алексанян — эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет все важные аспекты в работе аналитика, а также расскажет как получить оффер быстрее других.

Если вы мечтаете стать аналитиком, но пока не знаете, с чего начать, это будет идеальный старт.
А если уже в процессе — сможете ускорить свой путь к офферу и узнаете полезные карьерные лайфхаки.

На вебинаре разберём:

🟠

Что нужно учить, если хочешь стать аналитиком;
🟠Примеры проектов по каждой теме;
🟠Что не нужно учить или нужно учить, но не сразу;
🟠Структура хорошего портфолио с примерами;
🟠Как примерно должна выглядеть воронка вакансий и когда лучше начинать отклики;
🟠Что говорят реальные наниматели — какие у них сейчас требования, почему готовы/не готовы брать джунов, и что чаще всего не устраивает (со скринами и конкретикой, никакой теории «из головы»).

🕗 В конце вебинара зрителям дадим файлик с материалами — сможете сохранить и использовать как чек-лист.

😶Зарегистрироваться на бесплатный вебинар

Котятки🐱
Я все думаю, как уменьшить мой интеграционный коридор с 2 часов до 10 минут, и почитываю всякое.
В эти выхи я читала то, что вряд ли можно назвать полезным, скорее guilty pleasure.
Из моего топчика:
1)Страшилки про переход к аналитике в режиме реального времени : https://startree.ai/resources/real-time-analytics-horror-stories-and-how-to-fight-back
2)Почему нам так сложно перестроиться, когда мы из OLTP двинули в olap : https://habr.com/ru/companies/ydb/articles/898716/
3)Ну и на закуску - когда хочется OLTP в real-time, и тут тебе дьявол подсказывает «Возьми Apache pinot, вдруг работает): https://habr.com/ru/companies/otus/articles/739940/

Котятки🐱,
Даже в самом плохом дне можно найти вдохновение.
Предлагаю окунуться в работу Джилл Пелто: она иллюстрирует научные данные, превращая графики в искусство.
https://www.sciencefriday.com/educational-resources/illustrated-graphs-using-art-enliven-scientific-data/
P.S. материал промаркирован как для детей, но там внутри раскрыты важные вопросы, которые мы порой забываем задать себе при подборе визуализации данных:
-О чем весь график?
-иллюстрирует ли график явление, или просто показывает метрику?
-какой вывод можно сделать на основании графика?
-какие указания можно дать/действия предпринять на основании этого графика?

Котятки🐱
Выше я делала репост премии BI Award 2025 , т.к. меня включили в состав ее экспертного совета. В связи с этим, я начинаю чуть глубже погружаться в мир российских BI-решений, следить за событиями и, по-возможности, принимать участие,— люблю задавать всякие вопросики и смущать спикеров.
Завтра команда AW BI зовёт на эфир с Евгением Стучалкиным ( автор концепции КУМБА, которая упаковывает модель данных под BI в высокоуровневую онтологию)

Когда: 27 августа (среда), 14:00
О чём: как на базе Loginom+DMP и AW BI выстроить универсальную систему для аналитики бизнеса.

Что будет:
-покажут реальный дашборд и всё, на что он способен;
-разберут, нужен ли вам корпоративный хаб данных (и дадут мануал, если да);
-можно будет задать свои вопросы напрямую Евгению.

Кому полезно: архитекторам данных (чисто концепт посмотреть), аналитикам, ну и менеджменту (чтобы или понять возможности, или понять, чего в целом можно хотеть от аналитики).
Записи в открытом доступе не будет.
Участие бесплатное, но по регистрации: тык сюда

P.s. Думаю, в этот раз будет скорее не столько про ‘красиво’, а полезно и практично.

Реклама. Рекламодатель АО «ОСТ»
ИНН: 9709108924

Котятки🐱,
Тема связки «семантическая модель+AI” сейчас достаточно актуальна в BI-сообществе, но сравнительную эффективность со связкой «датасет+AI” особо никто в материалах не приводил.
Сегодня нашла в статье Amazon хоть какую-то оценку:
-Без семантических моделей: 16-20% точности ответов на бизнес-вопросы
-С семантическими моделями: 54-90% точности
-Улучшение на 37-70 процентных пунктов— это не погрешность, это качественный скачок
Я тут могу поспорить, так как в статье не приводится маленький нюанс: в ряде случаев сервис «семантическая модель+AI” выдает не ответ, который AI нашел сам и может рассказать о нем что-то , а «посчитанный результат» (то есть переводит запрос на рельсы MCP, пишет скрипт и выводит его результаты, не «читая» результат). Для пользователя, который читает ответ,-в целом, все равно, ну ответ и ответ. Но есть нюанс.
https://builder.aws.com/content/2zBjzTS3ExypCb278rYmlcFzTu0/semanticheskie-modeli-kak-sdelat-ii-assistenta-kotoryj-dejstvitelno-ponimaet-vash-biznes

Котятки🐱, сегодня у меня миленькая книжечка по моделированию Power BI, которая возможно кому-то хорошо скрасит жизнь) превьюху прикрепляю на 50 листов, а полную версию я брала на ознакомление тут

Котятки🐱,
Есть такое явление, как прямая цветовая маркировка - это когда формат или цвет визуального элемента на графике повторяет реальный объект, и поэтому мы быстрее считываем график.
Сегодня случайно нашла удачный пример в статье на Harvard university, делюсь:
https://accessibility.huit.harvard.edu/data-viz-charts-graphs