Data Awards 2024

Коллеги, 16 мая состоялась церемония награждения Data Awards 24. От имени редакции этого канала хочу выразить благодарность организаторам, которые выполняют замечательную работу. На самом деле, я не знаю другой ИТ-премии в РФ, которая была бы организована так прозрачно и профессионально, и где статуэтки вручаются исключительно за профессиональные достижения.

Я знаю много премий, где идет борьба за маркетинговые бюджеты и компании, но могу с уверенностью сказать, как член экспертного совета, что в Data Awards побеждают исключительно хорошие кейсы и профессионально выполненная работа.

Уверен, что многие участники премии читают этот канал, и хочу им выразить большую благодарность за их вклад в развитие индустрии работы с данными! В этом году было много нетипичных для общей информационной повестки кейсов, которые меня особенно порадовали, такие как:
• Оптимизация размещения базовых станций 5G с помощью машинного обучения
• Прогнозирование ML в аптечной сети
• Data-driven подходы в кадровой службе
• Комплекс для оптимизации прокатки стали
• Система индивидуального учета животных на агрофермах
• Физически информированное машинное обучение на "Карельском окатыше"
• Аналитическая подсистема "Системы-112" Московской области
• Система поддержки коммуникаций со специалистами здравоохранения
• Платформа управления ценностью клиентов (CVM)
• Персонализированные коммуникации на основе психотипирования
• Выявление людей с болезнью Паркинсона по голосу
• Система цифрового контроля дорожной инфраструктуры и городских территорий
• Цифровые продукты с использованием ИИ в медицине
• Управление технологическими данными с датчиков

И, конечно, все проекты, связанные с качеством данных и платформами управления данными.
Мы, от имени компаний CleverDATA и Ланит, были рады поддержать это мероприятие и вручить премию в номинации "За интеллектуальную работу с клиентами".

Вот тут можно почитать полный обзор мероприятия: www.osp.ru/articles/2024/0520/13058401

И посмотреть фотографии: https://vk.com/album-18661021_303017306

Увидимся на следующем мероприятии!

Европейский Союз официально утвердил первый в мире всеобъемлющий правовой акт по искусственному интеллекту, известный как Закон об ИИ.

Думаю, что тут может быть такая же история как с GDPR - все страны спишут +/- в свои законы, поэтому интересно изучить заранее 🙂

Основные аспекты Закона об ИИ

Регулирование на основе рисков: Системы ИИ регулируются в зависимости от уровня их риска. Высокорисковые системы ИИ, такие как те, что используются в критической инфраструктуре или медицинских устройствах, будут подлежать строгим требованиям, включая оценку рисков, прозрачность использования данных и человеческий надзор.

Запрещенные приложения
Некоторые приложения ИИ, угрожающие правам граждан, запрещены. К ним относятся биометрическая категоризация на основе чувствительных характеристик, нецелевое сканирование лицевых изображений, распознавание эмоций на рабочих местах и в школах, социальное рейтингование и предсказательная полицейская деятельность, основанная исключительно на профилировании.

Нарушения Закона об ИИ могут привести к штрафам до 35 миллионов евро или 7% от мирового дохода компании, в зависимости от того, что больше.

Закон об ИИ вступит в силу в следующем месяце, а полная реализация ожидается через два года. Конкретные положения, такие как запреты на запрещенные практики и обязательства для высокорисковых систем, будут иметь поэтапные сроки реализации от шести месяцев до трех лет после вступления закона в силу.

Глобальное влияние
Пионерский шаг ЕС ставит его в авангарде глобальных усилий по регулированию ИИ, устанавливая прецедент для других регионов, рассматривающих аналогичные рамки. Ожидается, что Закон об ИИ станет де-факто мировым стандартом для надежного ИИ, влияя на регулирование в других регионах, включая Великобританию и США.

Этот всеобъемлющий регуляторный акт направлен на баланс между инновациями и безопасностью, обеспечивая, чтобы системы ИИ, разработанные в ЕС, были как передовыми, так и соответствовали европейским ценностям и стандартам.


https://www.investorsobserver.com/news/qm-news/8166188027232006

Коллеги, анонс от наших друзей. В июне этого года будет проходить очередной кэмп для C-level в IT на Красной Поляне в Сочи⛰️

В этом году в повестке и аудитории мероприятия сделан упор, в том числе, и на CDO, так что обратите внимание на мероприятие.

South HUB 2024 — это кэмп для C-level в IT с акцентом на work-life balance. В программе: насыщенный микс из обучения, спорта, нетворкинга, семейных активностей, медитаций и саморазвития.

📍 Когда и где: 8-12 июня, на территории курорта «Гранд Отель Поляна» 5*

🙌 Для кого: на кэмпе соберутся 400 руководителей IT-направлений.

📝 Деловая программа: конференция и доклады спикеров на нескольких площадках. За пределами главных сцен – бизнес-игры, воркшопы и дискуссионные клубы от партнёров-создателей.

Среди спикеров:

🔘 Роман Маресов, руководитель e-com сервисов Яндекса (Маркет, Еда, Лавка)
🔘 Денис Баранов, Генеральный директор Positive Technologies
🔘 Максим Гришаков, CEO Lamoda
🔘 Анатолий Панов, СТО Авито Товары
🔘 Александр Ложечкин, CIO, член правления, Райффайзен Банк

В неформальной программе: турниры по плаванию, большому теннису, шахматам и волейболу. А ещё медитации, утренние пробежки, хайкинг, мастер-классы по биохакингу, развитию памяти и концентрации внимания.

Подробности — на сайте South HUB 2024

Вот и Алекса поумнела :)

https://gizmodo.com/amazon-alexa-generative-ai-upgrade-prime-cost-1851493383

Дайджест статей

Apache Superset 2024. Лучшие практики
https://habr.com/ru/companies/otpbank/articles/815689/

LLM Leaderboard за май 2024
https://habr.com/ru/articles/816519/

Миграция Big Data на практике: как мы готовили напильники
https://habr.com/ru/companies/vtb/articles/816325/

Как правильно визуализировать данные, чтобы принимать эффективные решения?
https://habr.com/ru/articles/816191/

Зачем и как проектировать пользовательский опыт в B2B BI-проектах
https://habr.com/ru/articles/816945/

The Modern AI Stack: Design Principles for the Future of Enterprise AI Architectures
https://menlovc.com/perspective/the-modern-ai-stack-design-principles-for-the-future-of-enterprise-ai-architectures/

Искусственный интеллект спотыкается о данные
https://www.kommersant.ru/doc/6509461

Анатомия визуализации. Часть первая: от задачи к исполнению
https://habr.com/ru/companies/securityvison/articles/817011/

Коллеги, делюсь контентом от подписчиков и призываю всех так же делиться материалами!

Добрый день! Коллеги из ВТБ на Хабре рассказали, как мигрировали озеро данных с Oracle на Arenadata Hadoop. Очень интересный материал получился. Посмотрите, пожалуйста, получится ли опубликовать в канале? https://habr.com/ru/companies/vtb/articles/816325/

А вы пробовали Perplexity? Приложение «поверх» нескольких LLM (включая свою) которая умеет извлекать данные из интернета в реальном времени и отвечать на вопросы о настоящем времени.

Очередная попытка убить поиск. И в целом очень неплохая при умении задавать правильные вопросы :)

Коллеги, несмотря на отмену конференции OpenTalk.AI в Тбилиси, организаторам удалось собрать несколько оффлайновых митапов с докладчиками, которые приехали в Тбилиси. И главное — они собрали 2-х дневную микроконференцию из всех ключевых докладчиков и записали все эти доклады.

Это получилась удивительная камерная суперинтересная конференция, где получилось больше внимания уделить каждому докладу и вопросам/ответам.

Теперь наконец вы можете посмотреть все записи, включая интереснейшую заключительную сессию Эмерджентность, в которой, после выступлений, было еще прекрасное 2-х часовое обсуждение!)

Все записи на русском, мы позднее добавим английские субтитры.


https://ipaccelerator.timepad.ru/event/2879723/

Любопытная статья от Facebook про их платформу работы с данными.

Если коротко - мы не хотим пилить монолит, мы хотим быть гибкими, поэтому у нас зоопарк технологий под любые нужды. Но пользователи хотят единый интерфейс к данным поэтому мы напилил новый монолит над зоопарком - назвали Velox.

Это такой движок SQL запросов который их выполняет обращаясь к разным другим платформам. Но что бы обращаться было проще он похоже еще много всего сам хранит «под ногами» :)

А еще придумали новый формат файлов для BD - Nimble. Интересно будет потом глянуть подробнее его.

https://engineering.fb.com/2024/05/22/data-infrastructure/composable-data-management-at-meta/

тревожные новости

Статус всех публичных репозиториев GPDB (международный проект с открытым исходным кодом Greenplum) на GitHub изменён на архивный. Это означает, что разработка Greenplum в рамках open source, скорее всего, будет приостановлена и дальнейшее развитие проекта силами нового правообладателя проекта — компании Broadcom — будет происходить в рамках коммерческой версии VMware Tanzu Greenplum. Arenadata даёт свой комментарий относительно сложившейся ситуации для пользователей как продукта Arenadata DB (ADB), так и ванильной open source версии Greenplum. https://www.tg-me.com/arenadata/445

Небольшая методичка с базой про Data Lake

Дайджест статей

Ландшафт Open Source Data Engineering в 2024 году: место России и мировые тенденции
https://habr.com/ru/articles/809427/

Проектирование DWH с помощью Data Vault
https://habr.com/ru/companies/otus/articles/816219/

Быстрая Data Quality проверка на базе алгоритма adversarial validation
https://habr.com/ru/companies/ru_mts/articles/817483/

Enhancing data lineage and metadata management in ELT pipelines
https://www.datasciencecentral.com/enhancing-data-lineage-and-metadata-management-in-elt-pipelines/

Разработка системы отчётности и BI: вопросы производительности
https://habr.com/ru/companies/magnit/articles/815667/

Красиво и понятно: какие инструменты для визуализации данных нужны дата-аналитику
https://habr.com/ru/companies/skillfactory/articles/818375/

Сквозная аналитика: комплексный подход к эффективности бизнеса
https://habr.com/ru/articles/818283/

Meta and Google researchers’ new data curation method could transform self-supervised learning
https://venturebeat.com/ai/meta-and-google-researchers-new-data-curation-method-could-transform-self-supervised-learning/

Использование генеративного ИИ для автоматизации дата инжиниринга
https://habr.com/ru/articles/818811/

❗️Более 300+ лекций бесплатно по прикладной математике от MIT

- Математика для информатики, - Разработка и анализ алгоритмов,
- Матричные методы анализа данных,
- Обработка сигналов и машинного обучения,
- Вычислительные науки и инженерия,
- Математические методы для инженеров II,
- Прикладная теория категорий, - Темы математики с приложениями в финансах.

Конечно, никто смотреть не будет, но все добавят в закладки :)))