Как уменьшить дублирование данных и повысить эффективность их хранения? В новой статье на Хабр рассказал Василий Самарин, инженер данных X5 Tech.
В этой статье узнаете, как эффективно сокращать объем хранимых данных, избавляясь от ненужного дублирования с помощью Slowly Changing Dimensions (SCD-2). Как самостоятельно реализовать SCD-2 таблицы с помощью PySpark, выявлять изменения даже там, где это кажется невозможным, и получать данные на любую нужную вам дату из прошлого.
В карточках кратко об основах, а подробнее — в статье 👈
В этой статье узнаете, как эффективно сокращать объем хранимых данных, избавляясь от ненужного дублирования с помощью Slowly Changing Dimensions (SCD-2). Как самостоятельно реализовать SCD-2 таблицы с помощью PySpark, выявлять изменения даже там, где это кажется невозможным, и получать данные на любую нужную вам дату из прошлого.
В карточках кратко об основах, а подробнее — в статье 👈
Открываем Data-week в X5 Tech
Сегодня ключевые вызовы ритейла — не просто прогнозировать спрос и пополнять полки, а строить гиперперсонализированный ритейл, где каждый клиент получает уникальные офферы и ассортимент «под себя». Нам важно уметь видеть не только большие тренды, но и цифровой след каждого пользователя, использовать эти данные для создания новых сценариев, ценообразования и управления запасами.
Сегодня ключевые вызовы ритейла — не просто прогнозировать спрос и пополнять полки, а строить гиперперсонализированный ритейл, где каждый клиент получает уникальные офферы и ассортимент «под себя». Нам важно уметь видеть не только большие тренды, но и цифровой след каждого пользователя, использовать эти данные для создания новых сценариев, ценообразования и управления запасами.
X5 Tech на юбилейном CodeFest — отличный способ встретить лето! 😎
Всем, кто с нами, советуем послушать доклады наших экспертов:
🔘 Павла Денисенко, директора департамента развития платформы больших данных с докладом «Data-платформа нового поколения».
🔘 Михаила Куляскина, инженера нейронных сетей, с докладом «Text2SQL как прорыв в аналитике: как мы научили ИИ понимать бизнес-запросы без посредников».
Ну и на стенд забегайте, конечно! Там у нас интерактивные «Задачи со звёздочкой», холивары, головоломки, IT Alias и нетворк на максимум.
Всем, кто с нами, советуем послушать доклады наших экспертов:
Ну и на стенд забегайте, конечно! Там у нас интерактивные «Задачи со звёздочкой», холивары, головоломки, IT Alias и нетворк на максимум.
Please open Telegram to view this post
VIEW IN TELEGRAM
Проведём выходные вместе на Data Fest 2025? 🤖
X5 Tech впервые участвует в Data Fest — главном событии года для сообщества Open Data Sience, и в один из дней, 1 июня, принимает фест у себя в гостях! Этот офлайн нельзя пропустить: подробная программа — в карточках!
Будем говорить про ритейл и не только: в нейтральных секциях — Advanced LLM и ML in Music — обсудим, как большие языковые модели находят применение в разных сферах и что происходит на стыке машинного обучения и творчества.
А между докладами — холиварные зоны для тех, кто точно знает, как правильно, и вечеринка после официальной части для самых стойких.
📍 Где, когда? 1 июня, Москва, Loft Hall
X5 Tech впервые участвует в Data Fest — главном событии года для сообщества Open Data Sience, и в один из дней, 1 июня, принимает фест у себя в гостях! Этот офлайн нельзя пропустить: подробная программа — в карточках!
Будем говорить про ритейл и не только: в нейтральных секциях — Advanced LLM и ML in Music — обсудим, как большие языковые модели находят применение в разных сферах и что происходит на стыке машинного обучения и творчества.
А между докладами — холиварные зоны для тех, кто точно знает, как правильно, и вечеринка после официальной части для самых стойких.
📍 Где, когда? 1 июня, Москва, Loft Hall
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Погнали с нами в Новосиб!
X5 Tech уже на CodeFest в Новосибирске, наши эксперты готовятся читать доклады, а коллеги на стенде уже решают интерактивные задачки со звёздочкой, устраивают холивары, разгадывают головоломки и нетворкают.
Если вы на фесте — ждём в гости, а для тех, кто не доехал — покажем вам атмосферу в кружочках, оставайтесь на связи!
X5 Tech уже на CodeFest в Новосибирске, наши эксперты готовятся читать доклады, а коллеги на стенде уже решают интерактивные задачки со звёздочкой, устраивают холивары, разгадывают головоломки и нетворкают.
Если вы на фесте — ждём в гости, а для тех, кто не доехал — покажем вам атмосферу в кружочках, оставайтесь на связи!
Играем в IT-Alias на CodeFest🤘
Please open Telegram to view this post
VIEW IN TELEGRAM
Общение после доклада с нашим экспертом Павлом Денисенко 🤖
Please open Telegram to view this post
VIEW IN TELEGRAM