🪐 ETL — чтобы данные доходили до нужного места

Мой четвёртый пост из серии #простоглавном. В любой компании данные разбросаны:
– клиенты живут в CRM,
– финансы — в Excel-таблицах,
– заказы — в ERP,
– справочники — в базе на сервере, о котором все забыли.

И вот тебе нужно собрать всё это в один отчёт, в витрину, в хранилище, в модель.

Решать руками? Слишком больно. Писать скрипты? Каждый раз по‑новому?

Нет. Нужен ETL.
ETL — это процесс: Extract – Transform – Load
➡️ Вытащить данные → Преобразовать → Положить туда, где они реально нужны

Что умеет хороший ETL:
– подключается к разным источникам: от API до Excel,
– тащит только нужные поля и строки,
– нормализует, форматирует, пересчитывает, разбивает,
– и загружает в нужную систему — по расписанию, по событию, по кнопке.

Важный момент: ETL — это не просто “перелить данные”
Он отвечает за:
– корректность и целостность,
– логику трансформации,
– прозрачность маршрута,
– обработку ошибок и повторные попытки.

Когда ETL работает правильно, ты не думаешь о нём вообще.
Ты просто знаешь: данные пришли. В нужном виде. И вовремя.

А если не пришли — ты видишь, где застряли, и почему.

Если ты хоть раз настраивал отчёт, который “ломается раз в неделю”, потому что кто-то переименовал колонку в Excel — тебе нужен ETL.
Он не только тащит данные. Он строит надёжный маршрут между системами.

#простоглавном

🌌 Питерский код для жителей столицы

Меня всегда восхищали небольшие авто-ателье, которые могут делать высококлассные тюнинговые машины. Взять хотя бы немецкое Brabus — начинали в 1977 году с гаража, а теперь создают 900-сильных монстров на базе Mercedes.

У всех этих ателье есть одно общее: они берут серийные автомобили и превращают их во что-то особенное. Не просто быстрее или красивее — а принципиально другого уровня. Когда видишь результат их работы, понимаешь: это уже не тот автомобиль, который сходил с конвейера.

Есть и у нас похожая история, которой особенно гордится наша команда. Юниверс MDM HPE — это тюнинг-версия серийной версии МДМ. Пару недель назад Департамент информационных технологий Москвы завершил переход на версию HPE в рамках проекта «Цифровой профиль москвича» — системы сбора и анализа данных о жителях Москвы — и цифры нагрузки там просто космические!

58 млн эталонных профилей граждан, а всего более 550 млн уникальных записей, база свыше 6 ТБ и продолжает расти. В поисковом индексе уже больше терабайта данных. При этом система переваривает примерно 100 тысяч профилей за полтора часа, а каждый профиль может генерировать от десятков до тысячи транзакций в секунду на БД.

И знаете, что меня особенно греет? Это не просто красивые циферки. Это реальная цифровая инфраструктура первопрестольной, которая теперь работает быстрее, стабильнее и надёжнее.

## Скорость как основа всего

ДИТ Москвы поставил нам чёткую задачу: кратно увеличить скорость загрузки и обработки профилей — это критично. И мы не просто оптимизировали — мы переосмыслили архитектуру под эту задачу.

Результат? МДМ-система, которая справляется с бешеными нагрузками крупнейшего мегаполиса нашей страны. Плюс совершенно новые возможности: кластеризация PostgreSQL, фоновый реиндекс, умная архивация, деперсонификация на лету и профилирование затрат хранения. Те фичи, которые превращают серийный MDM практически в high-load окружение.

Внедрение MDM HPE — это не просто техническое обновление. Это философия служения городу и его жителям. Основная задача системы — повышение качества городских услуг и налаживание взаимодействий между сервисами и людьми. И да, если для этого будет нужно ещё ускориться — мы к этому готовы! 🏁

#честноопродукте #мыслиCEOвслух

🪐 ИИ для данных: когда будущее уже здесь

«Почему ты так часто пишешь про ИИ? Не лучше ли про что‑то практичное — то, что нужно сегодня?» — этот вопрос я слышу постоянно.

Отвечаю просто: сегодняшние «практичные» вещи завтра превращаются в упущенные возможности. Прямо сейчас будущее делается у нас на глазах. К слову, у меня есть красивая мечта — дать пользователям DG и MDM разговорный интерфейс на базе LLM!

И если год назад это казалось несбыточным, то сегодня наша ИИ‑лаборатория добилась знакового прогресса. Прикрепляю ролик, где мы показываем, как ИИ работает поверх Юниверс DG через протокол MCP полностью офлайн, на базе открытой модели Qwen.

Что принципиально нового?

Раньше я вам уже показывал MCP‑интеграции, которые требовали выхода в интернет. Теперь всё работает строго в закрытом корпоративном контуре. Никаких рисков утечек. Никакой зависимости от внешних облаков. Только ваши данные, ваши правила, ваша безопасность.

Почему это важно?

Мы переходим к «агентной» архитектуре ИИ — с контекстными автономными агентами, заточенными под конкретные задачи управления данными и операционных процессов: от разрешения дублей и слияния записей до обогащения атрибутов, от контроля качества и валидации на соответствие политикам до развернутых подсказок пользователям (см ролик). Ключевой эффект — не «советы ради советов», а конкретные действия с данными, согласованные с ролями и исполняемые в реальном времени.

Вопрос времени

Сегодня ещё можно спорить: «А нужен ли нам ИИ?» Завтра конкуренты уже будут пользоваться им на практике. А послезавтра догонять будет поздно.

В мире данных выигрывает не тот, кто дольше сомневается, а тот, кто начинает раньше. Мы делаем это уже сегодня — и показываем, что новая эра корпоративных ИИ‑технологий началась.

Время возможностей — прямо сейчас. Главное — не остаться в стороне.

#мыслиCEOвслух #sexyAI

🪐 Я знаю 10 верных способов, как разрушить хорошую команду!

…но не знаю ни одного верного способа, как гарантированно её создать. Об этом ещё писал Том ДеМарко в когда‑то знаменитой книге Peopleware (в русском издании — «Человеческий фактор. Успешные проекты и команды»): достаточно физически и организационно разъединить людей и лишить их нормальной коммуникации — и команда начнёт распадаться.

Скажу честно: удалёнка мне не нравится от слова совсем. Но после ковида удалёнка прочно вошла в соцпакет — и вернуть всех обратно в офис оказалось непросто. Но я убеждён: полная удалёнка — зло для командной работы. Атмосфера, невербальные сигналы, шутки, подколы, обычный обмен взглядами — всё это теряется онлайн.

Помню, как много лет назад, внедряя SCRUM в Инфомартике, я ссылался на исследования Альберта Мехрабиана: значительная часть смысла в общении передаётся не словами, а через интонацию, жесты, взгляд и контекст в комнате. Представьте, сколько этого растворяется на удалёнке!

Я действительно много усилий трачу, чтобы вернуть людей в офис, и терпеливо убеждаю: «Чем больше времени проводим вместе — тем быстрее двигаемся». Не все рады настойчивым приглашениям: кому‑то комфортнее дома, кто‑то экономит время на дорогу. Но постепенно процесс идет — мы возвращаемся в офис.

А в начале месяца случился настоящий праздник — наш UDFest. Всей компанией выбрались на природу к устью Невы к своим питерским истокам. Лёгкий чил: кто‑то в гамаке, кто‑то купается, кто‑то танцует. Море улыбок, эмоций, живых разговоров. Вот он — жар и энергия, которую не даст ни один Zoom.

Групповое фото на лужайке для меня стало символом: офис — это не про столы и стулья, а про совместную энергию. Настоящие перемены и идеи рождаются там, где люди делят пространство и время. Команда — это не сумма ролей и не набор практик. Это доверие, ритм и общая пауза между словами. Всё остальное — лишь инструменты, которые помогают не потерять главное.

#мыслиCEOвслух #моякоманда

🌌 Что такое геймификация и зачем она нужна

Меня иногда спрашивают в директ: «А что у вас за геймификация и зачем всё это?» Отвечаю коротко и по делу.

Геймификация — это когда серьёзные цели упакованы в понятные правила, роли, очки, «квесты» и быстрые награды. Зачем она нужна:

1️⃣ превращает рутину в движение,
2️⃣ выравнивает понимание целей,
3️⃣ ускоряет обратную связь,
4️⃣ и главное — даёт регулярное ощущение прогресса.

В кадре — пародия на меня, сделанная командой в стиле «Волка с Уолл‑стрит» (смотреть со звуком). Отличная метафора самоиронии и безопасной среды для роста эффективности 😄

Если коротко: геймификация — это способ договориться о правилах игры, где выигрывают все. Мы используем её, чтобы вырасти в эффективности как команда в 10 раз — и да, с улыбкой. Часто серьёзные результаты начинаются именно с лёгкой самоиронии.

#мыслиCEOвслух #моякоманда

🪐 AI — когда ИИ реально помогает в управлении данными

Мой крайний пост из серии #простоглавном. ИИ сейчас везде. Но правда в том, что в данных он начинает помогать только тогда, когда в самих данных есть порядок.

Если у тебя:
– в одном месте "Клиент", в другом "Контрагент",
– три дубля одного и того же поставщика,
– метрики считаются по-разному,
– а описание полей — в устной форме "у Маши спроси",
то ИИ просто ускорит бардак. Он не разберётся — он повторит.

Поэтому всё начинается с фундамента:

1️⃣ MDM даёт чистую и единую версию справочных данных
2️⃣ Data Governance — порядок, роли, словари, глоссарии, правила
3️⃣ DQ — проверяет, что данные соответствуют этим правилам
4️⃣ ETL — надёжно доставляет всё это в нужные витрины, системы и модели

И только после этого появляется пространство для AI. Настоящего, полезного.

Вот где ИИ действительно даёт результат:

– Ты можешь задать вопрос на обычном языке: «Какие причины влияют на рост просрочки?»
– Система находит нужные таблицы и показывает ответ — без запроса к аналитикам
– ИИ сам связывает показатели, колонки, контексты
– Находит аномалии, предлагает гипотезы
– Автоматизирует обработку типовых кейсов — от классификации до очистки

ИИ не придумывает магию. Он усиливает то, что уже работает.

Если у тебя выстроены MDM, DG, DQ и есть доступная инфраструктура — он помогает кратно ускориться. Если нет — ты получаешь красивый чат-бот, которому “нельзя верить”.

Сначала структура. Потом интеллект. Если ты хочешь запускать ИИ-проекты по управлению данными — начни с фундамента.

#простоглавном

🪐 Как приручить MDM и сделать внедрение гладким — с помощью AI

MDM давно доказал ценность, но внедрение часто тянется и буксует на рутине и человеческом факторе. В нашем новом материале — как связка MDM + AI снимает узкие места: от автоглоссариев и классификаций до умного поиска дублей, обогащения и предиктивного DQ. Короче, меньше ручной боли — больше бизнес-эффектов.

Последние месяцы я много говорю про скорость и смелость, про то, как ИИ перестаёт быть вывеской и становится нашим соавтором. Поэтому я принял простое, но зрелое решение: берем новый домен — universe-data.ai. Как вы яхту назовёте — так она и поплывёт! Верно?

Пусть курс нашего космического корабля будет прямой: данные, которым доверяют, и искусственный интеллект, который усиливает людей. 🚀

#мыслиCEOвслух

🪐 А сколько у нас мушкетов? ⚔️

Сделал для себя краткий разбор: сколько релизов мы выпустили за последние два года. На графике видно — DG выходил почти вдвое чаще, чем MDM.

## Так ли это на самом деле?

MDM — зрелый продукт. За плечами больше десяти лет опыта, десятки внедрений, архитектура, проверенная временем. Можно сказать, мы уже почти подошли к точке насыщения по функционалу.

DG — молодой, но стремительный. Всего за два года он прошёл путь до полноценного продукта по руководству данными, который уже может тягаться с мировыми грандами. И потенциал роста пока далёк от насыщения.

## Фокус на новые горизонты

А на 2025 год я принял другое решение — выровнять скорость выхода релизов по обоим продуктам. Цель простая и амбициозная: по 4 релиза MDM и DG за год. Почему так?

Появился новый драйвер — бурный рост ИИ, который буквально перезаряжает рынок управления данными. Теперь потенциал развития одинаково высок и у MDM, и у DG. И значит — пришло время ускоряться!

#мыслиCEOвслух

🌌 Миша и кодекс настоящего разработчика

В западных компаниях есть особое понятие — Employee номер 1. Это не просто первый сотрудник компании, это человек, который заложил технологический фундамент, написал первые строчки кода, задал культурные принципы. Тот, кто превратил идею в реальный продукт.

В Юниверс Дата такой человек тоже есть. И он до сих пор работает! Михаил Михайлов — наш Employee Number 1, который написал первые строчки наших продуктов первого поколения, когда они ещё назывались Юнидата.

## Путь настоящего мастера

Миша стал автором платформы, которая одно время даже распространялась как Open Source. Потом он заложил фундамент новой архитектуры Юниверс Дата, которая соответствует современным вызовам. На базе этой архитектуры уже построены оба наших флагманских продукта — MDM и DG. И, пожалуй, самое ценное произведение, которое вышло из-под пера мастера — Юниверс МДМ HPE.

И знаете что? Миша по-прежнему пишет код. Более 10 лет! У него нет подчинённых, он ни на что не отвлекается, редко ходит на митинги, а просто делает то, что умеет лучше всех — создаёт технологические решения.

У нас с Мишей, кстати, много общего: он тоже работает стоя и любит подтягиваться на турнике, мы оба свободно говорим по-немецки и любим в лифте перекинуться яркими словечками. Но с его бородой мне, пожалуй, тягаться сложновато 😄

## Культурный код компании

Миша несёт наш культурный код и уже одним своим присутствием в офисе вдохновляет молодых сотрудников на новые свершения. Ведь нет такой задачи, которую Миша не может решить. Покряхтит немножко, бороду погладит — и вуаля! Казалось бы невозможная задача уже решена.

Вот такой вот у нас Employee номер 1 — живая легенда, которая продолжает творить каждый день.

#моякоманда #мыслиCEOвслух

🌌 Новый эфир с гостем: Бигтехи делятся опытом работы с данными!

Выкладываю, как и обещал, полноценный эфир с новым гостем — на этот раз у меня в студии был Антон Федчин, который на протяжении многих лет руководил соцсетью «Одноклассники».

О чем поговорили? Как крупные российские бигтехи становились пионерами машинного обучения задолго до хайпа, какие культурные сдвиги происходят в командах при внедрении data-driven подхода, как научить команду спокойно реагировать на технологические изменения без потери фокуса. Обсудили вечную дилемму "данные против интуиции", поделились историями из практики управления большим коллективом, вспомнили историю знакомства на спортивной площадке и даже затронули неожиданную тему модерации огурцов в социальных сетях 😂.

В финале — блиц с быстрыми ответами на неожиданные вопросы.

#мыслиCEOвслух

🌌 Дайджест лучших постов за Август

Белые ночи давно закончились, но Санкт-Петербург по-прежнему прекрасен! Торопился на самый ранний «Сапсан» в Москву, но не смог устоять, чтобы не выйти из машины!

А я собрал для вас топ-5 постов за август — те, которые набрали больше всего просмотров. Первые два пробили планку в 1К просмотров, что радует:

Когда пальцы помнят hot keys, а город — дух разработчика

Первый эфир с гостем: ГК Самолёт про MDM

Серия постов #простооглавном

ИИ в управлении данными: от терминов к действиям

Питерский код для жителей столицы

#мыслиCEOвслух

🌌 Александр Бараков из Авито ответил на вопросы о DG и ИИ

В этот раз у меня в гостях крутой эксперт — Александр Бараков, Head of BI Avito и автор телеграм канала Data Nature. И, что особенно ценно, — человек с уникальным взглядом на будущее DG.

Ссылка на видео 🖥️

У Александра есть собственная образовательная программа по Data Governance, и именно он предложил новаторскую концепцию "DG здравого смысла". В нашем разговоре разбираемся, что за «здравый смысл» и как он помогает внедрять DG в крупные организации. Конечно же, затронули мы и тему ИИ в управлении данными.

Смотрите, слушайте, делитесь впечатлениями — впереди ещё много интересных гостей и неожиданных инсайтов!

#мыслиCEOвслух

https://rutube.ru/video/6d9f368b92c823d1898e4a45864c68ec/

🪐 Нижний Новгород: где рождались автомобили и не боялись мечтать

Недавно впервые побывал в Нижнем Новгороде и не поленился зайти в музей истории автомобильного завода ГАЗ. Не то чтобы я большой любитель автомобилей, но мне всегда интересно разобраться, с чего начался тот или иной бизнес.

История создания оказалась довольно интересной. По сути, советские инженеры сделали официальный форк с модели Ford Model A. В 1929 году СССР купил у американской компании Ford документацию и оборудование для производства этой модели, и к 1932 году наладил выпуск ГАЗ-А — первого массового советского легкового автомобиля.

Историю Жигулей и Фиат почти все знают, а вот про ГАЗ, уверен, слышали не все. После успеха с ГАЗ-А советские инженеры начали двигать автопром уже самостоятельно и создали прекрасные автомобили Волга ("Берегись автомобиля", надеюсь, все смотрели) и Чайки.

В 90-х годах грянул кризис, и завод практически был разорен. Но удача улыбнулась — светлые головы придумали Газель, и теперь ГАЗ является одним из лидеров по производству коммерческого транспорта.

## Что меня больше всего впечатлило

Наличие моделей, которые никогда не вышли в производство — экспериментальные образцы. Причем большая часть из них канула в лету именно в 90-х годах, в разгар экономического кризиса.

Там были и ГАЗ-3106 "Атаман II" — полноразмерный внедорожник с дизелем и роскошным салоном, и ГАЗ-2169 "Комбат" — вариация на тему Jeep Wrangler с дизайном по мотивам ГАЗ-69. Были и другие смелые проекты — от экспериментальных "Волг" третьего поколения до концептуальных фургонов.

Получается, что инженеры беспрестанно искали новые возможности и отнюдь не случайно нашли для себя новую стезю в виде коммерческого транспорта.

## О чем говорят несбывшиеся мечты

Что такое мечта? Это попытка заглянуть за горизонт, создать то, чего еще нет. И пусть многие идеи остались лишь в металле прототипов, они показывают главное: настоящие инженеры не просто решают текущие задачи — они мечтают о будущем.

Точно так же и мы в Юниверсе: наша ИИ-лаборатория прямо сейчас пробует, ищет, экспериментирует. Не все идеи выстрелят, но каждая попытка — это шаг к тому прорыву, который завтра изменит всё. Как те инженеры ГАЗа когда-то мечтали о своих "Атаманах" — так и мы мечтаем о том, что ИИ может дать управлению данными.

#мыслиCEOвслух

🪐 Поддержка на ИИ автопилоте: как мы освободили еще 20% времени команды

Помните наш эксперимент с ИИ-ассистентом в техподдержке, когда мы высвободили 50% времени? Мы пошли дальше — убрали человека из цепочки рутинных задач. Теперь с помощью n8n и ИИ автоматизирована вся цепочка типовых процессов, которые раньше пожирали время инженеров тех поддержки.

## Что работает без участия человека:

Идеи клиентов как доработки → ITSM тикет мгновенно уходит в JIRA продуктовой команду, статусы синхронизируются автоматически. Клиент видит весь прогресс и сроки в едином окне заявки.

Проектные работы → ITSM тикет валидируется и автоматически попадает к нужной проектной команде. Клиент может следит за каждым шагом и видеть актуальный статус без задержек.

Вопросы по разработке → AI-driven процесс на полном автопилоте. Вопросы автоматически классифицируются, ИИ подтягивает техдокументацию, сверяется с кодом, готовит черновик ответа. Разработчик только проверяет и дополняет — ответ уходит клиенту без задержки.

## Результат:
— еще 20% времени поддержки освобождено от рутинного переноса обращений
— заявки сразу попадают к ответственным с полным контекстом
— обратная связь с клиентами стала быстрее и прозрачнее

Всё обрабатывается в закрытом контуре и продолжает помогать людям делать работу быстрее, умнее — с фокусом на важное. Каждая автоматизация не просто экономит время — она освобождает пространство для решения творческих задач!

#мыслиCEOвслух #sexyAI

🌌 Прыжок веры в океан ИИ

Когда прыгаешь на генакер-фале, понимаешь — для смелых решений нужна абсолютная вера! 😂

А если серьезно, на прошлой неделе попробовал особый формат отдыха: технологическую регату. Формат недельной регаты включает парусные гонки, бизнес-программу, нетворкинг и дискуссии о технологических трендах.

Там было более 100 человек и народ подобрался серьезный: основатели стартапов, венчурные инвесторы, топ-менеджеры корпораций. Дискуссии, в том числе и про ИИ трансформации тянулись до утра. В офисной жизни таких обсуждений тоже хватает, но когда столько крутых участников — энергетика совсем другая.

Микс идеальный: парусный спорт плюс бизнес-коммуникации плюс неформальное общение. Получился мощный заряд энергии на год вперед.

С регаты привез целый багаж: практические инсайты для текущих проектов, свежие идеи для внедрения ИИ, качественные контакты и просто перезагруженную голову.

Благодарность организаторам 100CAPTAINS и всем участникам за крутой experience и попутный ветер в паруса!

P.S. скоро расскажу о главных находках с этого морского adventure!

#мыслиCEOвслух

🪐 ИИ, который знает документацию лучше своих создателей

Помните, я уже делился с вами, как мы внедрили подход documentation as code? Наша документация выходит одновременно с каждым релизом. Недавно мы добавили новую главную страницу — так, чтобы разные типы пользователей могли мгновенно сориентироваться и найти ту часть документации, которая им нужна.

А вам знакомо чувство, когда нужно быстро разобраться в сложном функционале, а в документации сотни страниц? Мы в курсе! Наша документация по ДГ и МДМ — это огромная база знаний, и даже нам иногда требуется время, чтобы найти нужный раздел.

Поэтому мы постоянно ищем пути, чтобы сделать работу с нашими продуктами максимально удобной — и это касается не только интерфейсов, но и справки.

Мы учим ИИ понимать нашу документацию так же глубоко, как и мы сами. Уже сейчас мы тестируем и применяем RAG-модели, натренированные на всех статьях и руководствах. Эта система не просто ищет по ключевым словам — она анализирует смысл запроса и находит точный, релевантный ответ.

Как это работает:
1️⃣ Вы задаете вопрос своими словами. Например: «Что такое журнал аудита?»
2️⃣ ИИ моментально находит ответы в массиве документации.
3️⃣ Вы получаете не додуманный ответ, а цитату с точной ссылкой на статью. Можно сразу перейти и углубиться в детали.

Такого помощника можно интегрировать прямо на сайт документации или другой сервис, например, в ваш корпоративный портал — чтобы поиск перестал быть болью, а ответы находились за секунды.

Мы хотим, чтобы вы тратили время на решение задач, а не на поиск ответов. Документация тоже становится умнее!

#мыслиCEOвслух #sexyAI #честноопродукте

👍👍👍👍❤️ нового эфира. Вчера в гостях у меня был Вадим Киселев — серьезная фигура в мире управления данными из департамента Центробанка России.

Планировал провести стандартное интервью про DG, MDM, DQ и неизбежный ИИ. Но оказалось, что Вадим — не просто технический эксперт, а настоящий евангелист управления данными внутри ЦБ.

И вот здесь началось самое интересное: человек написал песню об управлении данными. Серьезно. Не метафорически, а буквально взял и сочинил песню про то, как важно построить управление данными в организации. Респект!

О чем говорили:

Data Governance в ЦБ — как выстраивают процессы в мегарегуляторе, где каждая ошибка в данных может стоить миллиарды.

MDM vs DQ — практические кейсы того, как мастер-данные влияют на принятие решений на уровне государства.

ИИ в банковском секторе — что реально работает, а что пока не может быть реализовано из-за требований безопасности.

Поговорили мы и про DAMA DMBOK (которую мы когда-то помогали переводить), и оказалось, что Вадим не знал про нашу книгу «Ценность ваших данных» — недоразумение мы исправили прямо в эфире!

Скоро выйдет полная версия нашего разговора — там будет и про песню, и про то, как ЦБ строит data-driven культуру в масштабах всей финансовой системы страны, и, конечно же, блиц-опрос.

#мыслиCEOвслух