Котятки,
Когда я была юна и прекрасна, я запихнула в срез текстовое поле, которое мне казалось справочником (но только казалось). В общем, традиционно, оно оказалось свободным для заполнения текстовым полем произвольной длины.
Ну и вы поняли короче что случилось.
В итоге это привело к очень медленной фильтрации. Случаев исключения данных вроде не было, но это не проверяемо.
Решение для Power BI тут:
https://www.sqlbi.com/articles/optimizing-text-search-in-dax/
P.S. Ну а сейчас на похожем кейсе я активно пытаюсь осознать текстовый движок OpenSearch, который построен на алгоритме BM25. Короче, каждой задаче -свой движок.

Котятки🐱,
Еще немного про текстовые движки в BI. У нас в команде в свое время развлекались подкручиванием Qlik Associative Engine , что давало хорошие результаты. Ну и с тех времен у меня к любой bi-системе вопрос: что с поиском и движком?
К сожалению, в российских BI-системах оч редко кто пишет, что с этим вопросом, и лишь по косвенным признакам и проф мероприятиям можно отчем-то догадываться. Ну или ставить и непосредственно препарировать)
На что можно обратить внимание :
-есть Opensearch как компонент или Elastic - это ближе к BM25
-есть какие-то собственные AI-помощники - это либо hybrid search, либо нейросети. Я подозреваю, что где-то в Нейроаналитике Яндекса сидит кусок Палеха, но это не точно;
-если в архитектуре BI-системы есть под капотом что-то выделенное для хранения текстов, то используют движок этой конкретной БД
-ничего нет- вероятно, используются движки источника ( для тех систем, которые работают без экстрактов, то есть исполняемая среда — это система-источник)
Ну и, если есть, я всегда лезу в руководство пользователя. Например, так я узнала, что у PolyAnalyst есть TF-IDF для выжимки текста, и в целом на узлы текстового анализа у них я залипла. Наверное, это первый раз, когда я сначала читаю доки, а потом прошу триалку, а не наоборот.

Котятки🐱,
недавно я поприсутствовала на демке одного аналитического решения, и была приятно удивлена, что к своему ядру вендоры предлагают не только собственный аналитический эндпойнт, но и пачку шаблонов для популярных BI-решений.
Зачем так делают: снижают порог внедрения, «встраиваются» в уже принятый у заказчика стек и ускоряют time-to-value за счёт типовых дашбордов и моделей.
Но я бы точно ограничилась двумя кейсами, когда такой подход целесообразно использовать:
-у вас жестко стандартизовано распространение отчётности через корпоративный BI, заточенное под устойчивые data-governance практики, и нужен быстрый «мост» от ядра вендора к вашим ролям доступа.
-у вас нет экспертизы к предлагаемому вендором "родному" BI-эндпоинту с точки зрения развертывания/администрирования и нет времени ее набрать, и поэтому проще и дешевле использовать существующую в компании BI-систему, даже если внутри у вас хаос, анархия и self-service.
В остальных, пограничных, кейсах я бы рассматривала встроенный BI-компонент: чисто прагматически, на него будет распространяться техподдержка, что удобно и более-менее гарантирует, что аналитическая функция будет работать.
С точки зрения классификации, я бы отнесла такое архитектурное решение к своего рода солюшн-акселераторам в широком понимании, потому что по факту это использование наиболее распространенных в домене практик для сильного ускорения внедрения.
Про солюшн-акселераторы в широком контексте: https://www.persistent.com/blogs/streamlining-solution-development-the-power-of-solution-accelerators/
И чисто с точки зрения Big data и обработки: https://tdwi.org/articles/2021/05/14/pm-all-how-big-data-accelerators-enable-faster-cost-effective-analytics.aspx

Котятки, пару недель назад у меня была демка на Power BI, и конечно я попыталась выдать ‘Все лучшее сразу’: цвета, сглаживание, необычные диаграммы, ИИ и мой любимец - анимированный фон. Так как это было ‘для своих’ , и человечек скорее интересовался данными, чем красотами — прокатило. В общем, не будьте как я, откажитесь от анимированного фона (я не буду). Оч хорошая статья на эту тему, читать с VPN: https://martynas-mjdc.medium.com/when-cool-design-breaks-a-dashboard-8-techniques-to-avoid-3daabc89996d

⚡️Пошаговый план: как стать аналитиком данных в 2025

Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет?

Андрон Алексанян — эксперт по аналитике с 8 летним опытом и по совместительству CEO Simulative — покажет рабочие схемы и четкий план, как устроиться в аналитику быстрее, даже если у вас нет опыта.

Что будет на вебинаре?

🟠 Разберем полный роадмап: что учить, в каком порядке, до какого уровня;
🟠 Лайфхаки трудоустройства:
— Покажем реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание;
— Обсудим какие отклики работают, а какие сразу отправляют в корзину;
— Изнанка найма: инсайдерский взгляд на процессы отбора
🟠 Практические техники для новичков: разберём, как компенсировать недостаток опыта и быстро закрывать пробелы в знаниях.

🕗 Важно досмотреть вебинар до конца, чтобы получить бонус от нас, который поможет бустануть карьеру.

😶Зарегистрироваться на бесплатный вебинар

Котятки🐱,
7 октября я пойду на РУBIКОНФ’25, но уже не как участник (чтобы вам прислать фоточку с полей), а как спикер.
О чем я буду говорить:
-о точках встраивания AI-агентов в BI как инструмент и в BI-процессы в целом
-о пользовательском опыте , когда ИИ берет на себя роли, которые раньше принадлежали людям
-в целом о переходе на answer-based аналитику.
Бонус - как меняется пользовательский опыт, когда мы переводим доверие к данным в доверие к ответам, и в каком формате должны быть ответы, чтобы им поверили. Ну и немного про то, какие задачи нельзя отдавать ИИ и околомедицинские данные.
Где я работаю и чем я занимаюсь - ну вы из моих текстов представляете:)

Немного о конференции:
-это тусовка, так что какого-то передового кулуарного опыта можно набраться;
-она бесплатная, и как следствие, там 100% будут всякие партнеры и стенды. Теперь вы знаете, на какие темы их пытать
-если вас не покормят, то у меня будет вазочка с конфетками.
-за лучший вброс вопрос - от меня любимая книженция ‘Как лгать при помощи статистики’. В бумаге и новая, а не мой исчерканный экземпляр.

Регистрация по ссылке, кто дойдет ножками 7 октября и выслушает все то, чем я хочу поделиться - молодец.
Линк:
https://rubiconf.ru

Котятки🐱,
Со времен моей работы в стратегическом маркетинге, диаграмма рассеяния - мой фаворит.
Прошло свыше 10 лет, а любовь осталась.
С каким же удовольствием я прочитала статью про эту диаграмму, - в ней задачка с этой диаграммой кочует из инструмента в инструмент.
Линк:
https://habr.com/ru/amp/publications/842622/

Котятки🐱, я в основном делюсь всякими аналитическими и хардовыми штуками, но сегодня у меня лайтовая книженция для менеджеров и тимлидов. Она скорее помогает воспарить, как простыня над полем битвы, окунуться в термины и идеи, словить вдохновение и начать ступать по опасному пути управления в DWH.

Котятки, я очень хотела сделать классный пост и наконец допилить презу к выступлению, но пришел ответственный сотрудник и сказал, что есть более важные дела

Котятки 🐱, знаете, BI-аналитика только на первый взгляд кажется чем-то запредельно сложным. На деле — это чистый кайф, когда понимаешь, как данные превращаются в смысл.

У Simulative есть классный симулятор «BI-Аналитик» — это не лекции и зубрёжка, а реальный опыт, будто вы уже стажируетесь в компании. Всё по-настоящему, но под крылом менторов.

За 5 месяцев вы:
🟠разберётесь, зачем вообще нужны продуктовые метрики,
🟠научитесь делать дашборды в Power BI и Superset, которые реально будут смотреть (и хвалить 😎),
🟠подружитесь с PostgreSQL и ClickHouse,
🟠и даже попробуете себя на собесах — технических и HR.

А если берёте VIP-тариф — вас буквально ведут к офферу за лапку 🐾, помогая на каждом шаге.

Если давно хотели апгрейдить мозг и карьеру — вот ваш знак 💛

🎯Записываемся и получаем скидку 25% simulative.ru/bi-analyst.

Котятки,
Пока я колдую над всякими слайдиками для конференции, почитываю всякие материалы о рисках использования языковых моделей и сервисов в BI.
Наиболее полный список пугалок в собран в этой статье: https://www.researchgate.net/publication/377118301_The_Impact_of_Artificial_Intelligence_on_Business_Intelligence
Но! Кое-что высосано из пальца, типа про этику и масштабируемость, что-то не раскрыто, типа юр риски, а про самое главное (Algorithmic Accountability) сказано оч мало.
P.S. у меня будет докладик про пользовательский опыт, поэтому я для себя из этого списка вычленила то, о чем хочу поговорить:)

Котятки🐱,
Обычно в день воскресный день чудесный я себя развлекаю видосиками про недвигу, но сегодня исключение.
На ютубчике нашелся хороший подскаст по Dataviz -Chart Chat -с классными темами и гостями.
https://m.youtube.com/@chartchatlive
Все интересное искать в трансляциях.
И да, автоматические синхронные субтитры на русский уже норм. Дождусь ли синхронного голосового перевода?
P.S. Кстати, из тех подкастов, которые я люблю -Dataviz Today. Он недавно ожил после большого перерыва. Именно из него я черпала и вдохновение и всякие интересные мысли. Ну вот где мне еще расскажут, чем отличается карьера аналитика в Мозамбике?

Котятки,
Меня попросили рассказать о новом конкурсе - Дата Кидс, конкурс визуализации для детей. Мне нравится сама идея и концепция совместного творчества детей и взрослых, тем более в нашем dataviz.
К участию приглашают деток 6-11 лет с родителями, и это кажется оптимально.
Когда я училась, с визуализацией данных и диаграммами я столкнулась в 5-6 классах, но сейчас, по современным УМК, все начинается гораздо раньше. Так что, вперед! В этом конкурсе всякие творческие натуры точно найдут отдушину)
Что ждёт участников:
• подарки победителям, о которых мечтает каждый ребёнок - iPad, LEGO и многое другое
• образовательные эфиры, где графики строят из конфет и даже на основе компьютерных игр
• бонусы каждому ребёнку
Линк
👉
P.S. среди поддерживающих конкурс обнаружила издательство АСТ, когда-то там работала) как тесен мир.

Котятки😻,
Поделюсь своим докладом с конференции. Честно, без поддержки прекрасных организаторов, которые меня бережно вели, без брифинга от Миши @proudobstvo и без подготовки от @za_predelami_koda, вряд ли бы вышло так хорошо.
В общем,
-доклад в целом о сценариях интеграции BI и AI-агента с точки зрения интерфейса и UX
-там есть про аналитические задачи и AI в целом
-там есть про метрики и про архитектуру немного.
Чего нет: как учить агентов, как строить архитектуру так, чтобы это работало, какие задачи разрешать делать LLM, а что пускать строго в сторону MCP и прочие тех нюансы. Об этом хотела тоже, но тайминг, да и муж сказал, что это не темы конфы, скорее технические митапы.
А мы здесь о прекрасном.
PS. Спасибо моей маме за свитер

Котятки🐱,
Этим утром я почитываю книжечку
A reader on data Visualization. По факту, методичку по курсу Dataviz:
https://mschermann.github.io/data_viz_reader/
Что примечательно, в ней есть глава 6, где прямо очень хорошо расписан жизненный цикл любого проекта по анализу.
Ну и моя вчерашняя маленькая находка: статья-размышление на тему, какие новые риски появились в сфере анализа и визуализации, а что по-прежнему важно для построения качественного дашборда. «Уместность» - мой фаворит.
https://rebeccabranton.blog/2025/07/13/the-evolution-of-data-visualization-what-makes-a-good-chart-in-the-age-of-technology/

Котятки🐱
Сейчас я уже аккуратно подбираюсь к законодательству и переосмысливаю свой BI-процесс с концепцией human-in-the-loop. Фактически, я активно ищу оптимальный баланс точек, где мы встраиваем человека(BI-разработчика) в Use case работы пользователя с BI-инструментом, в который встроены AI-агенты. И одновременно по осматриваю законы разных стран, чтобы прикинуть, где в цепочке точно в процессах должен быть человек (то есть где ответственность), а что оставляем агентам.
Что почитать: https://tdwi.org/articles/2025/09/03/adv-all-role-of-human-in-the-loop-in-ai-data-management.aspx

Котятки🐱,
Пока мы ждем новых горизонтов с AI, держите прикольные материалы по horizon chart:
-Объяснялка https://www.horizon-chart-explanation.devinlange.com
-Анализ самой визуализации и вопрос ребром о применимости: https://blogs.scu.edu/dataviz/2017/03/03/horizon-graphs-yes-or-no/

Котятки 🐱,
Я слежу за вакансиями аналитиков уже лет 15 (как сама стала искать работу), с тех пор требования растут, в том числе инструментальные.

К сожалению, это тренд — не только в среднем и малом бизнесе нужны универсалы, уже и в крупном есть запрос на кросс-компетенции. У таких специалистов больше шансы при поиске работы, так как и опыт шире, и резюме при небольшой заточке подходит под многие требования (и даже без накрутки). Но чтобы не растащило между Python-скриптами и красивыми Power BI-дашбордами, надо учиться совмещать эти миры осознанно.

У Simulative неплохой курс— “Fullstack-аналитик”.
Там всё как в жизни: SQL, Python, BI, A/B тесты, автоматизация и реальные задачи. Адекватный пайплайн обучения и методология,- вы условно платите за то, что всю инфу (которой, будем честны, навалом) собрали для вас в усвояемом виде.

Короче, если вы тоже хотите быть востребованным на рынке,просто примите это с достоинством и чашкой латте ☕

Узнайте подробнее и получите дополнительную скидку 25%: simulative.ru/fullstack-analyst

Котятки🐱,
Погода за окном не радует, впереди выходные, и я укрываюсь очередным мануалом. На этот раз по миграции (материал был прикопан у меня с весны).
У меня миграций будет, вероятно, две -и одна точно со сменой инструмента и отказом от кубов. Ну и, кого-то пугают затраты, а меня пугают операционные срывы. В этом мануале как раз разбираются эти вопросы.
Почитать: https://dataflowmapper.com/blog/data-migration-costs-quantitative-analysis