Всем привет! Консультанты HeadExpert ищут Product Owner облачной платформы для ведущего российского разработчика дата-решений. Задачи для роли включают полный цикл вывода продукта на рынок: генерацию ключевых гипотез, разработку продуктовой стратегии в рамках юнита, проработку дорожной карты, а также управление командой для успешной реализации и достижения финансовых результатов.

Критически важен опыт работы в продуктовой компании/в провайдере облачных услуг, общие архитектурные знания (Big Data, PaaS, Cloud, RDBMS), опыт публичных выступлений. Плюсом будет опыт работы разработчиком и знание устройства современных облачных систем (AWS, GCP, Yandex Cloud, Azure и т.д).

Для обсуждения деталей: @smazana / [email protected] - Светлана из HeadExpert

Всем привет! Меня тут коллеги попросили неммного рассказать про тренды в управлении данными и основные концепции - хочу поделиться презентацией, может быть кому то будет полезно. Постарался изложить самую суть :)

Сегодня немного про системный дизайн. Не так давно в блоге Netflix вышла обзорная статья про их архитектуру, а тут коллеги по всей видимости ее перевод опубликовали.

Конечно описание достаточно высокоуровневое, без деталей, тем не менее получить общий обзор того что у Netflix под капотом - интересно.

Архитектура системы Netflix представляет собой сложную экосистему, состоящую из Python и Java с использованием Spring Boot для серверных услуг, а также Apache Kafka и Flink для обработки данных и потокового стриминга в реальном времени. На фронтенде используются Redux, React.js и HTML5 для создания увлекательного пользовательского опыта. Многочисленные базы данных, включая Cassandra, HBase, SimpleDB, MySQL и Amazon S3, обеспечивают аналитику в реальном времени и обработку огромных объемов медиа-контента. Jenkins и Spinnaker помогают с непрерывной интеграцией и развертыванием, а AWS поддерживает всю инфраструктуру с масштабируемостью, надежностью и глобальным охватом.

Я думаю, что самое интересно - это CDN, уверен там много интересных технических и архитектурных решений, таких как кодеки и управление файлами контента, предсказание откуда клиент должен тащить каждый файл с учетом надежности и пропускной способности канала и тп.

Netflix imho управляет этой историей феерично, в любой точке мира это наверное самый качественный стриминг.

https://habr.com/ru/articles/834338/?utm_source=habrahabr&utm_medium=rss&utm_campaign=834338

GlowByte и PIX Robotics приглашают на Хакатон для лидеров рынка

27 августа в Москве состоится очный хакатон по бизнес-аналитике, где корпоративные команды за один день научатся создавать дашборды для работы с данными.

Эксперты PIX Robotics, Arenadata и GlowByte расскажут и покажут, как работать с корпоративными данными, как эффективно реализовывать проекты и ускорять бизнес.

Хакатон будет интересен:
🚀 руководителям подразделений, чтобы перенять тренды бизнес-анализа у лидеров индустрии
🚀 аналитикам, чтобы научиться создать визуализации и дашборды за 2,5 часа
🚀 пользователям BI-системы, чтобы узнать фишки от лучших экспертов в бизнес-аналитике компаний PIX Robotics и GlowByte.

🏆 Не упустите шанс занять призовое место и получить сертификаты на лицензии PIX BI и пилотный проект от GlowByte! Призовой фонд Хакатона – более 500 000 рублей!

❕Регистрация открыта до 20 августа.

Зарегистрироваться

Не зашло

https://gizmodo.com/humanes-ai-pin-is-seeing-more-returns-than-sales-report-says-2000484327

Вот еще немного про Netflix. Как они тестируют свой бэк. Поскольку он у них распределены и микросервисный, то очень тяжело на эмпирических тестах покрыть все возможные ситуации отказа, тк комбинаций, какие сервисы в какой момент становятся недоступными - бесконечное количество. А каждый сервис должен уметь нормально отрабатывать исчезновение товарищей с горизонта.

Поэтому они написали систему, которая автоматически рандомно отключает сервисы, проверяет падание трафика для конечного пользователя и в случае если фиксируется его деградация - команда разбирается и фиксирует.

https://newsletter.systemdesign.one/p/chaos-engineering?r=15862q&triedRedirect=true

Дайджест статей

История визуализации данных: краткий исторический очерк
https://habr.com/ru/companies/ddosguard/articles/834498/

Уроки, извлеченные из масштабирования до многотерабайтных датасетов
https://habr.com/ru/companies/magnus-tech/articles/834506/

Apache Kafka + Flink + Snowflake: Cost-Efficient Analytics and Data Governance
https://dzone.com/articles/kafka-flink-snowflake-cost-efficient-analytics-data

От текста к краткому изложению: библиотека Sumy
https://habr.com/ru/companies/otus/articles/832940/

Data Governance: Key takeaways from the Gartner Data & Analytics Summit
https://medium.com/selectstar/data-governance-key-takeaways-from-the-gartner-data-analytics-summit-41572285a7d9

Data lake vs data warehouse: What’s the difference?
https://medium.com/capital-one-tech/data-lake-vs-data-warehouse-whats-the-difference-da95b0ccb8c9

Do We Need the Lakehouse Architecture?
https://blog.det.life/do-we-need-the-lakehouse-architecture-f1a43bd2713d

Apache Superset 2024. Лучшие практики
https://habr.com/ru/companies/otpbank/articles/815689/

Подборка материалов по Data Mesh

После публикации презентации выше было несколько обсуждений темы Data Mesh с коллегами, поэтому решил поделиться подборкой статей (в целом это все регулярные источники, рекомендую подписаться)

Каноны:
https://martinfowler.com/articles/data-mesh-principles.html
https://martinfowler.com/articles/data-monolith-to-mesh.html

Ликбез:
https://towardsdatascience.com/what-is-a-data-mesh-and-how-not-to-mesh-it-up-210710bb41e0
https://piethein.medium.com/understanding-data-modelling-in-data-mesh-bf0dfcfd0583
https://towardsdatascience.com/from-data-warehouses-and-lakes-to-data-mesh-a-guide-to-enterprise-data-architecture-e2d93b2466b1
https://habr.com/ru/articles/495670/
https://dzone.com/articles/when-a-data-mesh-doesnt-make-sense-for-your-organi
https://medium.com/@axel.schwanke/data-mesh-in-practice-recommendations-from-zeeneas-practical-guide-to-data-mesh-a4cdf97f1171

Практика и кейсы
https://medium.com/capital-one-tech/introducing-data-mesh-2-0-a-new-era-of-data-governance-27170c7a75cb
https://humansofdata.atlan.com/2023/08/autodesk-data-mesh-snowflake-atlan/?
utm_source=substack&utm_medium=email&utm_campaign=mdw&utm_content=buildertrend
https://netflixtechblog.com/data-mesh-a-data-movement-and-processing-platform-netflix-1288bcab2873
https://tcbakes.medium.com/intuits-data-mesh-concepts-214268257dd2
https://medium.com/capital-one-tech/introducing-data-mesh-2-0-a-new-era-of-data-governance-27170c7a75cb
https://habr.com/ru/companies/dododev/articles/475476/
https://medium.com/intuit-engineering/intuits-data-mesh-strategy-778e3edaa017

Коллеги, и еще один анонс, который может быть интересен нашей аудитории

22 августа состоится вебинар Digital4food на тему «Как организовать бесперебойную работу интеграционной команды для компаний-FMCG сегмента?»

Внимательно прочитайте вопросы ниже:

❓ ИТ-ландшафт вашей компании уверенно растет?
❓ Возникают проблемы при работе интеграционной команды?
❓ Приходится обрабатывать большое количество данных?
❓ Встречаются ошибки/сложности в обменах данными?
❓ Команда не готова к изменениям?

Если хотя бы на 1 из вопросы вы ответили ДА, то вам стоит принять участие в вебинаре.

Эксперты расскажут про реальные кейсы и факапы при работе с большим количеством данных. Например, СТО «Комос Информ» Денис Злобин поделится личным опытом выстраивания ИТ-ландшафта и обучения большой команды.

Бонус участникам вебинара: Чек-лист «Какие роли нужны для организации интеграционных работ в большом ИТ-ландшафте?», который будет полезен для каждого этапа проекта и подскажет, как собрать сильную команду.

Участие бесплатное, все подробности по ссылке: https://clck.ru/3CZKYS

Дайджест статей

Data Lineage из топора
https://habr.com/ru/articles/836648/

Прокачаться как аналитик данных: подборка полезных материалов для самостоятельного изучения
https://habr.com/ru/companies/pgk/articles/835044/

Машинное обучение в обучении человека. Развитие проекта RuLearn
https://habr.com/ru/articles/836458/

Chat With Your Code: Conversational AI That Understands Your Codebase
https://dzone.com/articles/conversational-ai-that-understands-your-codebase

Data Pipeline vs. ETL Pipeline
https://dzone.com/articles/data-pipeline-vs-etl-pipeline

Укрощение ClickHouse: почему ДанКо делает Visiology намного быстрее
https://habr.com/ru/companies/visiology/articles/835694/?utm_source=habrahabr&utm_medium=rss&utm_campaign=835694

AI-Генерация диаграмм, картинок, стикеров и заметок появилась в Miro, при это до п денег не спрашивает пока

Ральф Кимбалл, Марджи Росс / Инструментарий хранений и анализа данных: полное руководство по размерному моделированию

«Сегодня тысячи компаний собирают и сохраняют большие данные о поведении своих клиентов, ассортименте, производственном процессе и других немаловажных для бизнеса вещах. Однако, чтобы принимать обоснованные решения на основе этих данных, недостаточно их просто собрать – нужно правильно их обработать и провести грамотный анализ. Благодаря этой книге вы освоите все необходимые инструменты для хранения и анализа большого
количества данных, научитесь правильно управлять ими и извлекать полезную информацию для развития бизнеса.»

Скачать книгу

И еще одна книга в копилку :)

Fundamentals of Data Engineering

📚 Book

@cpluscsharp

Мнение редакции может не совпадать с мнением автора, но не в этом случае :)

#нестер ВК и Rutube ведут отчаянную войну за авторов контента с Ютубом, который уже почти запретили. Надеются, что за контентом пойдет пользователь. А с ним — рекламные деньги. Я же по прежнему говорю, что это всё не поможет большей части блогеров и мы потеряем их контент. Но почему? Все ж инструменты вроде дают, удобные "переносилки" контента сделали, что ж может пойти не так?

А вы подумайте, за счёт чего же Ютуб привлёк такое количество авторов? Почему море сверхнишевых блогеров, всех этих каналов на несколько тысяч подписчиков с инструкцией как правильно считать спички и другим спецконтентом - почему они все именно там?

Всё дело в рекомендательном движке. В его релевантности. Ютуб изучает историю вашего поиска, он смотрит по данным из Google Analytics какие сайты вам интересны. Сранивает вас с другими зрителями. Релевантность - главный бизнес и главный козырь Гугла, за счёт него он когда-то победил все поисковики. В её основе - полная автоматизация. Никто не лезет руками в движок, не правит алгоритмы на ходу, по ситуации.

В результате происходит магия, это ещё называют organic discovery — даже маленький канал получит свою долю живых просмотров из этой чудо-машины. Ютуб "подсунет" ваше видео среди топовых блогеров и к вам тоже могут перейти. На 4 больших канала в выдаче всегда будет 2-3 нишевых малыша. Те получают коменты, просмотры, монетизацию, интеграции. Это даёт авторам безумную мотивацию фигачить ещё и ещё.

Но что ж не так с отечественными платформами? Ведь инженеры есть, движок такой сделать можно? Может, данных не хватает? Нет, их можно добыть, дело в другом.

ВК страшно искажает реальную динамику поведения юзеров. Не моргнув глазом, льёт на видосы фейковые или "невидимые" просмотры. Прям щедро, миллионами. Забирает себе топовое шоу, к которому тут же генерит сотни ботовых комментариев (которые потом сам же и удаляет). Какие тут могут быть рекомендации, на что опираться алгоритмам? На поведение ботов и на историю видосов, которые в реальности никто не увидел?

Рутуб же формирует свои страницы рекомендаций в полуручном режиме. Выводит заданные ролики, заданных партнёров, заданные каналы. Нельзя ж обижать уважаемых партнёров! Поэтому ваше супер-релевантное поиску пользователя видео, может не получить ни одного просмотра просто никогда. А недавнее создание каналов с перенесёнными вперемешку с ютуба видосами вообще убивает всю идею самой тематики каналов.

Причина всего этого - совершенно нерыночное положение и поведение этих платформ. Если Ютуб поймают за руку на накрутке фейковых просмотров - это будет не просто скандал. Конкуренция и рынок сделают своё дело. Мгновенно отреагируют акции, рекламодатели быстренько понесут деньги конкурентам, и перья от виновного ещё долго будут летать по коридорам Гугла. А наши монополисты с господдержкой в подобной ситуации даже не поморщатся - куда ж вы, рекламодатели, пойдете кроме как к нам? А мы вам ещё просмотров нарисуем, босс будет доволен.

Как часто бывает, причина всего этого - фундаментальная. И решать её гораздо сложнее, чем написать идеальный рекомендательный движок. Если вообще возможно. Это не вопрос технологии, это вопрос мотивации в продукте.

Для всех интересующихся разработкой высоконагруженных систем, вот инетресный онлайн event на горизонте

https://www.p99conf.io/

О, какая новость! Revolute запустил крипто-карту!

Ну и сори, еще одна "продуктовая" новость - я тут заметил, что в google если вбивать вопросы на английском, появился вывод ответа от Gemeni (привет, Perplexity!)