Как уменьшить дублирование данных и повысить эффективность их хранения? В новой статье на Хабр рассказал Василий Самарин, инженер данных X5 Tech.

В этой статье узнаете, как эффективно сокращать объем хранимых данных, избавляясь от ненужного дублирования с помощью Slowly Changing Dimensions (SCD-2). Как самостоятельно реализовать SCD-2 таблицы с помощью PySpark, выявлять изменения даже там, где это кажется невозможным, и получать данные на любую нужную вам дату из прошлого.

В карточках кратко об основах, а подробнее — в статье 👈

Открываем Data-week в X5 Tech

Сегодня ключевые вызовы ритейла — не просто прогнозировать спрос и пополнять полки, а строить гиперперсонализированный ритейл, где каждый клиент получает уникальные офферы и ассортимент «под себя». Нам важно уметь видеть не только большие тренды, но и цифровой след каждого пользователя, использовать эти данные для создания новых сценариев, ценообразования и управления запасами.