Подборка материалов по применению АИ в датавизе! 🍒

Добыла у Enrico Bertini, перевела описания для вас! Ух!
Что ж, тут разделение материалов по темам, когда Аи может реально быть полезен в сфере датавиза. Так что рекомендую практиков и теоретиков направления изучить материалы хотя бы бегло!)

Системы «от Промта к Графику»
LLM могут использоваться для того, чтобы попросить систему ИИ сгенерировать графики, решающие конкретную задачу. Это позволяет задавать визуализацию данных с помощью естественного языка, а не кода, специальных языков или интерфейсов.
LIDA: A Tool for Automatic Generation of Visualizations
ChartGPT: Leveraging LLMs to Generate Charts
Visualization Generation with Large Language Models
DynaVis: Dynamically Synthesized UI Widgets

Генерация изображений для визуализаций
Большинство решений для визуализации данных на основе LLM преобразуют запросы в код, который строит графики. Но генеративный ИИ может создавать изображения напрямую, без программирования. Некоторые исследования делают именно это.
Embedding Semantic Context into Chart
Prompt-driven stylized visualization generation
Challenges and opportunities for visualization in the age of GM

Нарративные последовательности
Создание серии графиков и текста — основа дата-сторителлинга. LLM могут помогать придумывать такие последовательности и реализовывать их: текст вводит и описывает каждый график.
Narrative Player: Reviving Data Narratives with Visuals
DataTales
DATAWEAVER: Authoring Data-Driven Narratives

Подписи и доступность
Описание графиков с точки зрения их структуры и содержания важно для понимания и доступности. Могут ли LLM поддержать эту задачу? И смогут ли пользователи с нарушениями зрения использовать генеративный ИИ, чтобы легче получать доступ к визуальной информации?
Authoring Semantically Aligned Text and Charts for Communication
VizAbility: Enhancing Chart Accessibility
MAIDR Meets AI: Exploring Multimodal Data Visualization Interpretation by and with Blind and Low-Vision Users

LLM как «читатели графиков»
Могут ли LLM выполнять часть работы, которую обычно делают люди при интерпретации графиков? Эти исследования оценивают способности моделей к пониманию и рассуждению на основе визуализаций.
Probing the visualization literacy of vision Language Models
How good (or bad) are LLMs at detecting misleading visualizations?
How aligned are human chart takeaways and LLM predictions?

Проверка результата пользователем
LLM часто ошибаются при работе с данными — в преобразованиях или в отображении. Поэтому нужны удобные интерфейсы, чтобы пользователь мог проверять и исправлять результат. Эти работы предлагают такие решения.
Urania: Visualizing Data Analysis pipelines for data exploration.
WaitGPT: Monitoring and steering conversational LLM agent

Оценка и эталонные тесты
Чтобы развивать новые системы визуализации на основе ИИ, нужно измерять их качество. Эти исследования предлагают способы тестирования и специальные наборы данных, которые позволяют объективно оценить работу моделей.
Automated Data Visualization from Natural Language
VisEval: A Benchmark for Data Visualization
Natural Language Dataset Generation Framework for Visualizations

Понимание реального использования
Чтобы понять ценность LLM для визуализации, важно смотреть на практику. Эти исследования показывают, как люди реально применяют модели в задачах с данными: с какими проблемами сталкиваются, какие возможности открываются и какие стратегии помогают.
An Interview Study on Human-AI Collaboration in Data Storytelling
Data has Entered the Chat

📊❤️🤖

〰 Метрики 100 телеграм-каналов про аналитику

Телеграм-канал - это продукт, который живёт и меняется каждый день. Чтобы понимать, где можно улучшить, метрики нужно регулярно мониторить. На этой неделе я шаг за шагом покажу, как собирать и визуализировать метрики TG-каналов. Допустим, надо оценить эффективность своего канала - для этого нужны метрики моего и смежных по теме.

Основной источник данных TGStat, там уже придумана система метрик и есть сводная аналитика за последние 30 дней. Раньше рассказывал, как собрал список каналов, выложил датасет на Kaggle и визуализировал его. Обещал отдельно разобрать метрики, время пришло.

〰 Итерация 1. Взгляд сверху (Helicopter View)

Пока непонятно, где мой канал находится в инфополе аналитики. Поэтому сначала собрал крупные и известные каналы по теме. "NewHR" проводили опрос аналитиков, какие каналы они читают - там весь топ (ссылка на таблицу). Большую часть взял оттуда, добавил новые.

Критерии отбора:
〰 1000 более подписчиков
〰 канал есть в TGStat

В итоге сейчас 100 каналов про анализ данных. Из TGStat выгрузил дневные метрики за 30 дней и усреднённые значения по всем 100 каналам. Где-то данных не хватает, значит, канал ещё не добавлен в трекинг. Заодно скриптом собрал логотипы и вырезал круглые аватарки. Парсер и скрипты — вайбкодинг.

〰 Дашборд

Чтобы понять, что в данных, собрал дашборд (кликабельно, с фильтрами по каналам):

〰. Диаграмма Beeswarm - все каналы на одной временной оси по дате создания.
Круги раздвинуты, чтобы не перекрывались. Размер круга - число подписчиков на последний день. Видно и распределение по возрасту, и масштаб каналов, и каждый канал отдельно. Делал в инструменте LaDataViz, откуда забрал готовые координаты.
〰. Тренды ключевых метрик за последние 30 дней для быстрого чтения динамики.
〰. Scatter Plot (диаграмма разброса). На осях X/Y можно выбирать любые метрики и смотреть позиции каналов. Можно визуально найти заметить закономерности и кластеры. Scatter Plot хорошо показывает выбросы. Можно быстро найти аномалии, понять, что с ними происходит, и увидеть, где на этом фоне ваш канал.
〰. Рейтинги каналов. Рейтинги по выбранной метрике.

Набор метрик:
〰 Подписчики
〰 Посты
〰 Индекс цитирования
〰 Охват 1 поста
〰 Рекламный охват 1 поста
〰 Вовлечённость подписчиков (ER)
〰 Прирост подписчиков за 30 дней
〰 Прирост подписчиков, % за 30 дней
〰 Доля Premium-подписчиков, %
〰〰 Комментарии (среднее)
〰〰 Возраст канала, дней
〰〰 Репосты
〰〰 ERR - доля подписчиков, читающих посты, %
〰〰 ERR 24 - то же за первые сутки, %

Каналов много, и они очень разные по поведению аудитории и метрикам. С дашбордом можно одним взглядом увидеть "карту местности" или сфокусироваться на отдельных каналах.

💚 Канал @data_bar - первый по доле Premium-пользователей (43,8%). Сам не ожидал, но приятно.

〰 Дальше - Итерация 2. Углубимся в интерпретацию метрик и сравнение каналов.

Спасибо, что читаете!

@data_bar 🍀

Сходил на эфир к Владу Каменскому, CEO Юниверс дата.

Влад участвовал в создании издания DAMA DM BoK на русском языке и делает с командой ламповый дата каталог из Петербурга ☔️
См их пост как LLM делает глоссарий.

📽️ Видео

Почти половину эфира НЕ говорили про ИИ.
Ну а потом таки говорили.
Про ИИ в дата менеджменте.
Делал основанные на ощущении прогнозы. Например что ценность ИИ в DG наступит быстрее чем в BI.

Еще про доменные роли,
Про бигтех и качество данных.
В ролике есть таймкоды 🙂

Кто любит такое - ставьте на x2 и велком в комменты.

Проникновение AI в BI и аналитику в отчёте Anthropic

Компания Anthropic, создатель Claude выпустила пару дней назад объёмный отчёт о внедрении ИИ. Посмотрим на его часть "Explore by job" - проникновение ИИ в отдельные специальности. Athropic провёл анализ запросов к Calude, разбил их на специальности и типы задач внутри каждой специальности.

Отдельного интереса заслуживают аналитики. Специальностей со словом "аналитик"(Analyst) всего 16.

Все задачи делятся на 3 типа:
〰Mostly automated tasks - задачи, которые выполняются в основном автоматически(почти полностью делегированы AI).
〰Mostly augmented tasks - задачи, где человек остаётся главным исполнителем, а ИИ дополняет и ускоряет работу.
〰Tasks that don't appear in our data - задачи, которые не были зафиксированы в запросах к ИИ.

Если коротко: Automation - Claude делает за тебя, Augmentation - Claude работает вместе с тобой.

Business Intelligence Analyst есть на диаграмме. 0,26% всех запросов связаны с задачами BI.
Рассмотрим какие задачи BI передаются AI, а какие - нет.

〰Почти полностью делегируются AI (Mostly automated):
〰Ведение типовых документов
〰Создание BI инструментов и систем
〰Генерация стандартных и кастомных отчётов
〰Сбор бизнес данных с публичных отчётов

〰AI помогает делать задачи (Mostly augmented):
〰Анализ рыночных стратегий
〰Анализ технологических трендов
〰Подготовка данных для рекомендаций
〰Анализ индустриальных или географических трендов
〰Распространение информации об инструментах или метаданных

〰AI не используется:
〰Коммуникация со стейкхолдерами
〰Технические требования
〰Управление потоком задачи
〰Оперативное предоставлением BI-информации пользователям
〰Проведение тестов на соответствие требованиям
〰Мониторинг бизнес-пользователей, использующих BI
〰Создание и ревью технической проектной документации
〰Поддержка и обновление BI

В каждом типе задач есть паттерны взаимодействия пользователя с AI.

Паттерны Mostly automated, нацеленные на завершение задач:
〰Directive (директивный). Пользователь даёт Claude задачу, и он выполняет её с минимальным количеством уточнений.
〰Feedback Loops (обратная связб). Пользователь автоматизирует задачи и даёт Claude обратную связь.

Помощь (Mostly augmented) фокусируется на паттернах взаимодействия:
〰Learning (обучение. Пользователь спрашивает Claude информацию или объяснения по разным темам.
〰Task Iteration (итерация задач). Пользователь совместно с Claude поэтапно дорабатывает задачи.
〰Validation (валидация). Пользователь просит Claude дать обратную связь на его работу.

Паттерны можно увидеть во всплывающих окнах.

Любому аналитику полезно знать, какие задачи уже почти полностью передаются AI, а какие-нет. Знание этого даёт стратегическое преимущество и понимание, куда направлять усилия и как выстраивать свою роль в новой экосистеме работы с AI.

@data_bar 🍀

Access Agents + метаданные: как разрулить доступ в огромном Lakehouse

TL;DR

В статье и докладе Meta описывает мультиагентную систему:

- Data User Agents 🧑 - ускоряют получение доступа пользователями (вплоть до «частичного» предпросмотра для чувствительных данных).
- Data Owner Agents 🤖 - автоматизируют управление доступом от лица владельцев сущностей и соблюдают политики доступа.
- Orchestrator Agent 🌺 - управление переговорами между агентами и обработка принятого решения

В видео говорится, что система настроена консервативно: при сомнительных кейсах доступ не выдаётся автоматически. При этом более 70% запросов обрабатывается без вовлечения владельцев данных.

Где посмотреть? 🎦

Видео - https://www.youtube.com/watch?v=qT1Il-pzQGQ

Статья - https://engineering.fb.com/2025/08/13/data-infrastructure/agentic-solution-for-warehouse-data-access/

Зачем? 👍

Цель - демократизировать доступ к данным. Если в стартапах/scale-up ручные аппрувы и простые эвристики (а-ля «дай данные по каталогу сотрудников») ещё работают, то на масштабе бигтеха нужно риск-ориентированное принятие решений.

Идея такая: с обеих сторон работают агенты, и они принимают решение на основе набора сигналов и их весов.

Со стороны датасета: тип и назначение данных, политика изменений, критичность и конфиденциальность, частота обновлений, примеры запросов.

Со стороны пользователя/ИИ-агента: детали юзкейса, информация о сотруднике/роли, требуемая скорость и критичность доступа, плюс анализ шаблонов запросов.Дополнительно ведётся постоянный мониторинг актуальности метаданных и самих решений.

Как проверять 🙆(near real-www.tg-me.com/microbatch), оценивать качество и держать деградации под контролем?
- Risk-score модель для принятия решения.
- Валидация решения: прогон на эталонном наборе. Одного раза недостаточно - нужна защита от деградаций агента во времени.
- Контроль качества: ведутся trace-логи; по ним можно выборочно перепроверять решения, разбирать corner cases и повышать долю автоматизации.
- Human-in-the-loop: быстрые апелляции и фидбек владельцев данных возвращаются в evals и обучающую петлю (data flywheel).

Выводы 🔼
Как по мне (да, я слегка biased 😅), это неплохой пример успешного применения агентов для внутренних процессов. Система существенно ускоряет доступ в большинстве кейсов и при этом не превращает on-call в хаос.

А как выдают доступ в ваших компаниях?