Telegram Web Link
Forwarded from NoML Digest (Pavel Snurnitsyn)
Дайджест статей

Supporting Diverse ML Systems at Netflix
https://netflixtechblog.com/supporting-diverse-ml-systems-at-netflix-2d2e6b6d205d

Подробный гайд: Как собрать дашборд в FineBI за 30 минут
https://habr.com/ru/companies/glowbyte/articles/798411/

Как мы прогнозируем объемы грузоперевозок на основе машинного обучения, используя MLflow
https://habr.com/ru/companies/pgk/articles/803567/

Automated Data Extraction Using ChatGPT AI: Benefits, Examples
https://dzone.com/articles/automated-data-extraction-using-chatgpt-ai?utm_source=pocket_saves

Уравнение с тремя неизвестными: как отлавливать баги в системах хранения данных
https://habr.com/ru/companies/yadro/articles/800237/

Real-time Fraud Detection with Yoda and ClickHouse
https://tech.instacart.com/real-time-fraud-detection-with-yoda-and-clickhouse-bd08e9dbe3f4

Как развернуть виртуальную среду модели машинного обучения на любой машине?
https://habr.com/ru/articles/798019/

Качественные рекомендации в e-commerce — компоненты алгоритма «Сопутствующие товары»
https://habr.com/ru/companies/retailrocket/articles/798217/

From Database to AI: The Evolution of Data Platforms
https://medium.com/@mariusz_kujawski/from-database-to-ai-the-evolution-of-data-platforms-59f487e235df
👍3
Коллеги, редакция канала приносит свои изменения за то, что последнии дни мало контанта публикуется - отпуск у них видите ли. Но делают все возможное что бы как можно скорее продолжать публикации!
🔥13😁8💩1
Привет!
16 апреля в 18:00 Data People by GlowByte приглашает тебя на пикантный митап про данные!

Наши друзья, занимающие руководящие позиции в Data-подразделениях крупнейших российских ФинТех-компания, поделятся опытом реализации проектов по миграции платформ данных.

Ждём всех к нам уютным весенним вечером!
С тебя - хорошее настроение, с нас - интересные доклады и вкусное угощение в тематическом лофте.
Для тех, кто не сможет присоединиться офлайн предусмотрена онлайн-трансляция.

Митап традиционно бесплатный, нужна регистрация https://datapeople.ru/dp20?utm_source=promo&utm_medium=tg&utm_campaign=cdoclub
👍4
Друзья, напоминаю, что Navicon продолжает серию вебинаров по Greenplum - 10 апреля ребята рассмотрят вопрос оптимизации запросов – особенности СУБД и интересные моменты.

Среди основных тем:
- Особенности планов запросов в Greenplum
- Узкие места в запросах
- Стоит ли использовать индексы?
- Как эффективно собирать статистику

Если вам интересно, не забудьте зарегистрироваться
https://navicons.com/events/4901/
👍2
Forwarded from Pavel Velikhov
Привет! Мы на свой митап зазвали в итоге чела от DBOS - это кластерная ОС, которую делает Стоунбрейкер сейчас. Они сделали крутое решение для облака уже, даже частично open-source, куча интересных возможностей, всем причастным к облакам и кластерам советую посмотреть. https://databaseinternals.timepad.ru/event/2835259/
Минутка философии. Кстати этот Obsidian много где мелькает, я пробовал ставить, но там без бутылки и дзена не разберешься. Sublimetext - наше все :)
Forwarded from Product Management & AI
СЕО Obsidian Стефан Кипано рассказывает про продуктово-философскую концепцию «Файл вместо приложения».

«Файл вместо приложения» — это философия. Если вы хотите создавать долговечные цифровые продукты и артефакты, это должны быть файлы и форматы, которыми пользователи смогут управлять сквозь время.

Со временем, файлы, которые вы создаёте, становятся более важными, чем инструменты, которые вы используете для их создания.

Приложения и продуты недолговечны, но у файлов вашего продукта есть все шансы сохраниться.

«Файл вместо приложения» — это призыв к производителям продуктов: признать, что все программное обеспечение эфемерно, и предоставить людям право собственности на их данные.

Пирамиды Египта содержат иероглифы, высеченные в камне тысячи лет назад (не разделяем это мнение, т.к. иероглифы не имеют к пирамидам абсолютно никакого отношения – прим. ред. L2)

Идеи, которые передают иероглифы, важнее, чем тип долота, которым они были вырезаны.


Мир наполнен идеями прошлых поколений, передаваемыми разными способами: от глиняных табличек до рукописей, картин, скульптур и гобеленов.

Эти артефакты — это объекты, которые вы можете трогать, держать, владеть, хранить, сохранять и смотреть на них.

Чтобы прочитать что-то, написанное на бумаге, вам нужны только глаза 👀

Сегодня мы создаем бесчисленные цифровые артефакты, но большинство из этих артефактов находятся вне нашего контроля. Они хранятся на серверах, в базах данных, защищены подключением к Интернету и облачному сервису.

Даже файлы на вашем жестком диске имеют собственные форматы, что делает их несовместимыми со иными/старыми системами/продуктами.

Перефразируя то, что я недавно говорил:

Если вы хотите, чтобы ваши записи по-прежнему можно было прочитать на компьютере 2060-х или 2160-х годов, важно, чтобы ваши заметки можно было читать на компьютере 1960-х годов.


Вы должны хотеть, чтобы создаваемые вами файлы были долговечными не только для потомков, но и для вас самих в будущем. Ибо никогда не знаешь, когда тебе захочется вернуться к тому, что ты создал много лет или даже десятилетий назад.

⚠️ Не блокируйте свои продуктовые данные в форматах, который вы и юзеры не сможете извлечь и использовать

Export To = дверь с односторонним движением.

«Файл вместо приложения» = дверь с двусторонним движением.

Многие приложения позволяют экспортировать данные, но не путайте карту с территорией. Это лучше, чем ничего, но не то же самое, что непосредственное редактирование файлов.

Экспорт — это представление ваших данных. Это вывод из Источника. Это дверь с односторонним движением.

Философия приоритета файла над приложением не делает различия между данными и файлом. Оба — одно и то же.

Экспорт полезен, если вы хотите выйти из инструмента. Экспорт бесполезен, если вы хотите напрямую манипулировать данными. Экспорт требует вашего явного намерения, тогда как «Файл вместо приложения» вообще не требует никакого намерения.

«Файл вместо приложения» означает, что вы владеете своими данными, их можно напрямую читать и редактировать с помощью нескольких различных инструментов в любое время.

Я пишу этот текст, используя приложение Obsidian, но было бы заблуждением думать, что это будет длиться бесконечно вечно.

Приложения и продукты со временем устаревают. Я же создаю простые текстовые файлы (Обсидиан использует текстовые Markdown файлы, прим. ред.), которые рассчитаны на длительный срок службы.

Кто знает, захочет ли кто-нибудь их прочитать в будущем кроме меня, но у меня достаточно аудитории и читателей, чтобы задуматься об этом уже сейчас.

👁️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7🤓32👍2😱2🤡2
Новая speech2text модель подъехала. Судя по заявленным показателям - хорошее увеличение качества.
👍7
Дайджест статей

Размышления о высококачественных данных, собранных людьми
https://habr.com/ru/companies/magnus-tech/articles/803025/

Мы так и не смогли защитить свою модель машинного обучения от состязательных атак. Пока
https://habr.com/ru/companies/isp_ras/articles/800751/

Боты и сервисы для разведки данных Вконтакте
https://habr.com/ru/articles/804709/

Создание ИИ-ассистента, который отвечает на вопросы пользователей по базе знаний
https://habr.com/ru/companies/agima/articles/805113/

Парадоксы в данных, и почему визуализация бывает необходима
https://habr.com/ru/articles/804441/

Как дисциплина управления мастер-данными влияет на продажи
https://habr.com/ru/companies/magnit/articles/805321/

How data mapping enhances data governance and lineage
https://www.datasciencecentral.com/how-data-mapping-enhances-data-governance-and-lineage/?utm_source=pocket_saves

The Future of Data-Driven Web Development: Trends and Technologies
https://www.smartdatacollective.com/future-of-data-driven-web-development-trends-and-technologies/?utm_source=pocket_saves
Интересная стать, вынес ее из дайджеста в отдельный пост. При чем мне понравилось не инсайты автора, который изучает как работают LLM, а то, что люди сначала что то придумают, а потом пытаются разобраться как оно работает :) Казалось бы - LLM это четкая математическая концепция, где все работает по заранее определенным формулам и алгоритмам, все в достаточной мере детерминистично. А нет, все равно получилась в итоге неведомая штука которую можно исследовать и писать диссертации :)

Но в целом текст интересный и небольшой: https://habr.com/ru/companies/airi/articles/804515/
👍2
Кто вчера пропустил просмотр полного солнечного затмения - вот тут wired выложил фотки красивые

https://www.wired.com/story/total-solar-eclipse-best-photos/
5👍2👀1
Пока мы тут боремся с искусственным интеллектом, у кого то системы еще загружаются с дискет 3.5 дюйма (интересно сколько человек тут помнят такие). Хороша новость, что San Francisco Municipal Transportation Agency уже планирует проведение массового и большого апдейта, похоже, что находить им новые диски что бы держать копии, становится все сложнее :)

https://www.theregister.com/2024/04/09/san_francisco_muni_floppy_disks/
👍3😁3
Коллеги, обратите внимание на интересное мероприятие!
Как системному аналитику DWH попасть в Тинькофф? О чем спросят на собеседовании? Какие задачи предложат решать?

Все ответы — на Tinkoff DWH Connect. В апреле пройдут три онлайн-мероприятия для системных аналитиков DWH. Уровень мидл и выше.

Вот что будет:

— Открытое собеседование, 10 апреля. Посмотрите, как проходит техническая часть интервью, какие вопросы задают кандидату и какие задачи будут на реальном собеседовании.

— Weekend Offer, 20 и 21 апреля. Можете попасть в команду Тинькофф за пару дней. Пройдете все этапы собеседования за выходные — и, если все понравится, оффер ваш.

Посетите все три ивента или сразу приходите на собеседование.

Зарегистрируйтесь до 17 апреля. Детали тут

erid:2VtzqvsbCM4
Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673
👎1
Друзья, всех причастных поздравляю с Днем космонавтики!
13🤝2👍1🔥1👾1
Дайджест статей

Всем привет! Редакция возвращается из отпуска 🙂

New AI method captures uncertainty in medical images
https://news.mit.edu/2024/new-ai-method-captures-uncertainty-medical-images-0411?utm_source=pocket_saves

Database, Data Warehouse и Data Lake: что это и когда следует использовать каждое?
https://habr.com/ru/companies/smartup_tech/articles/807379/

Data Product Manager — кто это?
https://habr.com/ru/companies/rdp/articles/806977/

How data impacts the digitalization of industries
https://www.datasciencecentral.com/how-data-impacts-the-digitalization-of-industries/?utm_source=pocket_saves

Ликбез по методологиям проектирования хранилищ данных
https://habr.com/ru/articles/806347/

Меньше работы с людьми, больше работы с данными: кому подойдет мир аналитики
https://habr.com/ru/companies/productstar/articles/806529/

Векторные СУБД и другие инструменты для разработки ML-моделей
https://habr.com/ru/companies/beeline_cloud/articles/806815/
Data Awards 2024

Коллеги, уже совсем скоро состоится церемония награждение победителей Data Awards 2024 и экспертная комиссия уже приступила к оценке проектов.
Я не публиковал тут все интервью и описания проектов, потому что их довольно много и все они опубликованы в канале https://www.tg-me.com/osp_ru - посмотрите плз там, это интересно.

Особенно приятно, что в этом году компании CleverData и ЛАНИТ в очередной раз стали партнерами премии (https://www.tg-me.com/cleverdata_cdp/54), так что утвердим особые призы.

Награждение состоится уже в мае! Буду держать в курсе новостей премии!
4🔥3
Посмотрите интересный доклад про культурные различия. Тут от ИТ в целом ничего нет, просто Александр делает обзор и показывает интересные примеры различий между кальтурами. Сейчас, в эпоху удаленки, многие работают в интернациональных командах и мне кажется этот материал будет им интересен.

Обратите внимание, что там в описании видео есть ссылка на скачивание презентации - для тех, что хочет познакомиться с материалов детальнее.

Интересный вывод там - интернациональные команды в целом работают более эффективно, тк различие культур и взглядом создает взаимодополнение и позволяет более цельно видеть картинку и решать проблемы.

https://www.youtube.com/watch?v=L99bzklcpZk&list=WL&index=5
👍8
В свое время, при проектирование организационных структур, я пришел к выводу, что в этом процессе работают точно такие же правила, как и при проектировании программных систем и архитектуры их компонентов. Если хочешь сделать эффективную орг структуру, то применяй такие подходы как: SOLID, GRASP и тд, организовывай межкомандные коммуникации по таким же паттернам как и в программных с системах - брокер сообщений, бродкаст, мультикаст - все они имеют такие же плюсы и минусы как и применительно к ПО.

А тут вот еще один интересный, "обратный", закон обнаружил: закон Конвея.

Суть его очень проста: при разработке программной системы ее компонентная архитектура будет повторять организационную структуру организации.

Более дательно объяснение из википедии: "Суть закона заключается в том, что при декомпозиции инженерами крупных задач на более мелкие для передачи части работ коллегам, возникает сложность координации между функциональными подразделениями. Во многих организациях команды разделены в соответствии с теми функциями, которые они выполняют, и существуют в отрыве от других команд. Поэтому структура программного интерфейса системы будет отражать социальные границы организации (организаций), которые её создали, что затрудняет общение. В рамках своих функций команды могут отлично справляться с выполнением своих задач. Однако для того, чтобы создать что-то новое (функцию, продукт и т. д.), командам необходимо кросс-функциональное взаимодействие и совместная работа."

https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%BA%D0%BE%D0%BD_%D0%9A%D0%BE%D0%BD%D0%B2%D0%B5%D1%8F
👍7💯3👏2🔥1🗿1
2025/07/09 21:08:19
Back to Top
HTML Embed Code: