Посетил сегодня мероприятие BigDataLND 24, которое регулярно посещаю. В этот раз получилось лишь быстро осмотреться — времени на то, чтобы целый день слушать доклады, не было. К тому же, повестка была довольно стандартной: в основном выступления вендоров, воркшопы и т.д. Без звездных гостей и чего-то экстраординарного :)
На вершине адженды, конечно же, был GenAI с главным посылом: «нужно больше данных».
На вершине адженды, конечно же, был GenAI с главным посылом: «нужно больше данных».
LinkedIn Document.pdf
4.1 MB
Немного тут документов накопилось: Data Equity: Foundational Concepts for Generative AI
Правда от 10.23, но может быть кому то покажется интересным, все таки вводиться новый термин:
Справедливость данных - концепция которая является частью текущей работы по обеспечению конфиденциальности, защиты, этики. Наборы данных, используемые для обучения моделей ИИ, подвержены предвзятости, которая усиливает существующее неравенство. Это требует упреждающего аудита данных и алгоритмов и вмешательства на каждом этапе процесса ИИ - от сбора данных до обучения моделей и их внедрения. С появлением genAI темпы внедрения и развития ИИ значительно увеличились, поэтому изучение рамок для обеспечения справедливости данных является как никогда актуальным.
Правда от 10.23, но может быть кому то покажется интересным, все таки вводиться новый термин:
Справедливость данных - концепция которая является частью текущей работы по обеспечению конфиденциальности, защиты, этики. Наборы данных, используемые для обучения моделей ИИ, подвержены предвзятости, которая усиливает существующее неравенство. Это требует упреждающего аудита данных и алгоритмов и вмешательства на каждом этапе процесса ИИ - от сбора данных до обучения моделей и их внедрения. С появлением genAI темпы внедрения и развития ИИ значительно увеличились, поэтому изучение рамок для обеспечения справедливости данных является как никогда актуальным.
Дайджест статей
Не потеряться в данных: оптимизируем аналитику с помощью DataHub
https://habr.com/ru/companies/sravni/articles/844016/
Как автоматизированный контроль качества в BI-системе влияет на продажи — на примере 3 сетей
https://habr.com/ru/articles/843608/
Применение статистического анализа для определения причин деградации производительности СУБД
https://habr.com/ru/articles/843990/
Как мы построили BI-систему, изменили процессы разработки и создали 25 000 подов клиентов в Kubernetes
https://habr.com/ru/companies/vk/articles/842896/
Применение статистического анализа для определения причин деградации производительности СУБД — часть 2
https://habr.com/ru/articles/844268/
Open source решения для управления и работы с данными в облаке
https://habr.com/ru/companies/mws/articles/844028/
Промпт-инжиниринг: как найти общий язык с ИИ
https://habr.com/ru/companies/mts_ai/articles/844624/
Large language models in medical and healthcare fields: applications, advances, and challenges
https://link.springer.com/article/10.1007/s10462-024-10921-0
Big data applications: overview, challenges and future
https://link.springer.com/article/10.1007/s10462-024-10938-5
Не потеряться в данных: оптимизируем аналитику с помощью DataHub
https://habr.com/ru/companies/sravni/articles/844016/
Как автоматизированный контроль качества в BI-системе влияет на продажи — на примере 3 сетей
https://habr.com/ru/articles/843608/
Применение статистического анализа для определения причин деградации производительности СУБД
https://habr.com/ru/articles/843990/
Как мы построили BI-систему, изменили процессы разработки и создали 25 000 подов клиентов в Kubernetes
https://habr.com/ru/companies/vk/articles/842896/
Применение статистического анализа для определения причин деградации производительности СУБД — часть 2
https://habr.com/ru/articles/844268/
Open source решения для управления и работы с данными в облаке
https://habr.com/ru/companies/mws/articles/844028/
Промпт-инжиниринг: как найти общий язык с ИИ
https://habr.com/ru/companies/mts_ai/articles/844624/
Large language models in medical and healthcare fields: applications, advances, and challenges
https://link.springer.com/article/10.1007/s10462-024-10921-0
Big data applications: overview, challenges and future
https://link.springer.com/article/10.1007/s10462-024-10938-5
Хабр
Не потеряться в данных: оптимизируем аналитику с помощью DataHub
Как не потеряться в данных для аналитики? Когда количество их источников ограничено, а аналитикой занимается пара человек, в целом всё понятно: обеспечить прозрачность вполне можно на уровне...
Forwarded from 🔋 Труба данных (Simon Osipov)
https://vutr.substack.com/p/how-clickhouse-built-their-internal
Одна из технологий, с которой я очень люблю работать - Clickhouse. О том, как сам Clickhouse строит у себя DWH - по ссылке в статье.
Все очень просто: CH, S3, Airflow, Superset и никаких дата волтов.
@ohmydataengineer - канал "🕯 Труба Данных" про работу с данными
Одна из технологий, с которой я очень люблю работать - Clickhouse. О том, как сам Clickhouse строит у себя DWH - по ссылке в статье.
Все очень просто: CH, S3, Airflow, Superset и никаких дата волтов.
@ohmydataengineer - канал "
Please open Telegram to view this post
VIEW IN TELEGRAM
Substack
I spent 5 hours learning how ClickHouse built their internal data warehouse.
19 data sources and a total of 470 TB of compressed data.
Извините, что не по теме данных, но слушаю сейчас эту аудиокнигу и решил поделиться. ИМХО, это отличное собрание лучших практик менеджмента, где менеджмент рассматривается как практика и наука.
Правда, это не совсем книга — это запись семинара, поэтому тут просто прямая речь автора со всеми плюсами и минусами этого подхода. Основной плюс — очень доступно, просто, без лишней воды и долгих подводок, которые обычно присутствуют в книгах для дополнительной аргументации или, возможно, чтобы просто увеличить объем 🙂
Почему мне нравятся эти подходы и идеи? Потому что, опираясь на собственный опыт, я во многом прихожу к тем же выводам и вижу, как такие практики работают на практике.
Так что, если вы управляете даже небольшим коллективом, это must-read и must-use. Если нет — дайте почитать вашему руководителю 🙂
P.S. Раз уж пошла такая тема, не могу не отметить: приложение Litres — худшее приложение, которое я когда-либо видел. Такое ощущение, что разработчики не только сами его не используют, но даже не запускают после сборки. Баги встречаются в каждой кнопке и функции, и годами никто их не исправляет. Кошмар.
https://litres.com/audiobook/alexander-friedmann/upravlenie-myshleniem-podchinennyh-centriruuschie-para-9067360/
Правда, это не совсем книга — это запись семинара, поэтому тут просто прямая речь автора со всеми плюсами и минусами этого подхода. Основной плюс — очень доступно, просто, без лишней воды и долгих подводок, которые обычно присутствуют в книгах для дополнительной аргументации или, возможно, чтобы просто увеличить объем 🙂
Почему мне нравятся эти подходы и идеи? Потому что, опираясь на собственный опыт, я во многом прихожу к тем же выводам и вижу, как такие практики работают на практике.
Так что, если вы управляете даже небольшим коллективом, это must-read и must-use. Если нет — дайте почитать вашему руководителю 🙂
P.S. Раз уж пошла такая тема, не могу не отметить: приложение Litres — худшее приложение, которое я когда-либо видел. Такое ощущение, что разработчики не только сами его не используют, но даже не запускают после сборки. Баги встречаются в каждой кнопке и функции, и годами никто их не исправляет. Кошмар.
https://litres.com/audiobook/alexander-friedmann/upravlenie-myshleniem-podchinennyh-centriruuschie-para-9067360/
Литрес
«Управление мышлением подчиненных: центрирующие парадигмы» – Alexander Friedmann | ЛитРес
В большинстве жизненных ситуаций человек делает мгновенный выбор из некоего перечня возможных поступков. Как ваш сотрудник отнесется к порученной ему задаче: постарается выполнить ее как можно лучше …
Forwarded from Все о блокчейн/мозге/space/WEB 3.0 в России и мире
This media is not supported in your browser
VIEW IN TELEGRAM
🔥Одно из крутых обновлений очков Ray Ban Meta - синхронный перевод
Цукерберг показал наглядно, как он общается с испаноязычным человеком. Оба были в умных очках после того, как каждый из них говорил что-то на своем языке, ИИ быстро переводил.
Новая эра коммуникаций.
Апдейт других фичей этого устройства сделаем позже.
*Запрещенная организация в России.
Цукерберг показал наглядно, как он общается с испаноязычным человеком. Оба были в умных очках после того, как каждый из них говорил что-то на своем языке, ИИ быстро переводил.
Новая эра коммуникаций.
Апдейт других фичей этого устройства сделаем позже.
*Запрещенная организация в России.
Definitive 100 Most Useful Productivity Hacks.pdf
768.2 KB
Еще вот в копилку фанатам продуктивности :)
Друзья, мы тут вместе с другими авторами собрались в папку "ИТ инсайды". В ней 9 каналов.
Ребята рассказывают очень ярко и эмоционально про свою работу в ИТ, про тренды, про PR, безу и менеджмент.
А еще, про СА и БА 🧐, GO, фронтенд и, конечно, AI. И, периодически, делают обзоры с крупнейших ИТ конференций.
Посмотрите :)
https://www.tg-me.com/addlist/p5eJRuDAyu9mODli
Ребята рассказывают очень ярко и эмоционально про свою работу в ИТ, про тренды, про PR, безу и менеджмент.
А еще, про СА и БА 🧐, GO, фронтенд и, конечно, AI. И, периодически, делают обзоры с крупнейших ИТ конференций.
Посмотрите :)
https://www.tg-me.com/addlist/p5eJRuDAyu9mODli
Telegram
ИТ Инсайды
Русанова Саша IT devrel HR invites you to add the folder “ИТ Инсайды”, which includes 9 chats.
Дайджест статей
Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями
https://habr.com/ru/articles/846296/
FineBI 6: Обработка данных для начинающих пользователей — 2
https://habr.com/ru/companies/glowbyte/articles/845622/
Полный гид по бенчмаркам LLM
https://habr.com/ru/articles/845510/
Что такое Big Data | Биг Дата?
https://habr.com/ru/articles/845536/
The “Who Does What” Guide To Enterprise Data Quality
https://towardsdatascience.com/the-who-does-what-guide-to-enterprise-data-quality-32c4ef99294f
Modern Data Architectures Explained
https://medium.com/@msakhatsky/modern-data-architectures-explained-a9a4e0c8d8ed
I spent 5 hours learning how ClickHouse built their internal data warehouse.
https://blog.det.life/i-spent-5-hours-learning-how-clickhouse-built-their-internal-data-warehouse-a7adad358c5d
Advanced Strategies for Building Modern Data Pipelines
https://dzone.com/articles/advanced-strategies-for-building-modern-data-pipel
Integrating Data Engineering Into Artificial Intelligence
https://dzone.com/articles/integrating-data-engineering-into-machine-learning
Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями
https://habr.com/ru/articles/846296/
FineBI 6: Обработка данных для начинающих пользователей — 2
https://habr.com/ru/companies/glowbyte/articles/845622/
Полный гид по бенчмаркам LLM
https://habr.com/ru/articles/845510/
Что такое Big Data | Биг Дата?
https://habr.com/ru/articles/845536/
The “Who Does What” Guide To Enterprise Data Quality
https://towardsdatascience.com/the-who-does-what-guide-to-enterprise-data-quality-32c4ef99294f
Modern Data Architectures Explained
https://medium.com/@msakhatsky/modern-data-architectures-explained-a9a4e0c8d8ed
I spent 5 hours learning how ClickHouse built their internal data warehouse.
https://blog.det.life/i-spent-5-hours-learning-how-clickhouse-built-their-internal-data-warehouse-a7adad358c5d
Advanced Strategies for Building Modern Data Pipelines
https://dzone.com/articles/advanced-strategies-for-building-modern-data-pipel
Integrating Data Engineering Into Artificial Intelligence
https://dzone.com/articles/integrating-data-engineering-into-machine-learning
Хабр
Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями
Данные сегодня стали важным ресурсом для бизнеса, но для того, чтобы на их основе принимать правильные управленческие решения, нужно их правильно хранить и обрабатывать. Хранилища данных предоставляют...
Довольно любопытный инструмент для исследования CSV файлом. Довольно удобно - вы просто загружаете файл (никаких вопросов про формат, разделители, кодировки) и получается интерфейс с готовыми сводами, графиками и фильтрами. Несмотря на то, что это web интерфейс - работает получше чем Excel. Очень быстро и удобно можно накладывать фильтры.
Рекомендую добавить в закладки 🙂
https://rowboat.xyz/
Рекомендую добавить в закладки 🙂
https://rowboat.xyz/
rowboat.xyz
Welcome to Rowboat–a lightning fast tool for understanding large datasets. Sign in or create a free account to get started.
О том, почему важно читать наш канал и быть в теме :)))
https://youtube.com/shorts/O9cTSpwxWXk?si=uzJqRvQW66jU_FdN
https://youtube.com/shorts/O9cTSpwxWXk?si=uzJqRvQW66jU_FdN
YouTube
«Айтишники - новая элита, я их не понимаю» (с) Владимир Познер
🌍 AI как двигатель экономики: пример Ангилья🇦🇮
А тем не менее в мире уже есть страны, где искусственный интеллект (AI) играет ключевую роль в экономике. Один из таких примеров — заморская территория Великобритании, Ангилья, расположенная на Карибах. Что делает ее особенной? Интернет-домен .ai, который ассоциируется с искусственным интеллектом.
В 2023 году было зарегистрировано более 350 тысяч сайтов с доменом .ai, что вдвое больше по сравнению с 2022 годом! А доходы от этого домена составили целых 20% госбюджета Ангильи в 2023 году.
Этот кейс показывает, как технологии AI могут кардинально изменить экономику даже небольшой страны :))))
А тем не менее в мире уже есть страны, где искусственный интеллект (AI) играет ключевую роль в экономике. Один из таких примеров — заморская территория Великобритании, Ангилья, расположенная на Карибах. Что делает ее особенной? Интернет-домен .ai, который ассоциируется с искусственным интеллектом.
В 2023 году было зарегистрировано более 350 тысяч сайтов с доменом .ai, что вдвое больше по сравнению с 2022 годом! А доходы от этого домена составили целых 20% госбюджета Ангильи в 2023 году.
Этот кейс показывает, как технологии AI могут кардинально изменить экономику даже небольшой страны :))))