Telegram Web Link
Forbes о семи узловых трендах в области управления данными на этот год. Самое вкусное - дополненная аналитика, виртуализация данных, дата сториз . Ну и, конечно, самое главное - найм CDO)) https://www.forbes.com/sites/forbescommunicationscouncil/2021/01/06/seven-data-management-trends-you-can-leverage-in-2021/?sh=6bf6dd505438
5 лучших практик в области Качества Данных на 2021 год. И одно из главных здесь - полноценное разворачивание Руководства данными (Data Governance). https://www.precisely.com/blog/data-quality/data-quality-practices
Алаверды недавней публикации Forbers об основных трендах 2021 года в области управления данными - другие тренды, где выделяются Data Fabric, Data Governance и Data Ops. https://rivery.io/data-management-2021-trends-technology-that-will-define-the-year/
Время нашей фирменной рубрики «Новая реальность».

В настоящее время все больше игроков рынка в разных областях трансформируются в технологические компании. Более того, большинство новейших технологий, необходимых для внедрения новых продуктов и сервисов, а также для ускорения их успешного вывода на рынок, базируются на использовании данных как фундаментальной основе развития новых классов технологий. Именно поэтому качество данных становится основным приоритетом цифровой трансформации. На первый план выходят такие показатели как правильность, полнота, непротиворечивость данных, возможность использования единых форматов данных, и интероперабельность.

Функциональная совместимость (также интероперабельность от англ. interoperability — способность к взаимодействию) — это способность продукта обогащать данные из различных источников и взаимодействовать с другими продуктами или системами без каких-либо ограничений доступа и реализации.
В свою очередь, формирование единого полного цифрового профиля человека, продукта, компании становится первоочередной и приоритетной целью компаний, планирующих своё технологическое развитие и стремящихся оставаться лидерами рынка.

Вместе с тем, самые современные и востребованные технологии, такие как Искусственный интеллект (англ. Artificial Intelligence- AI), Машинное обучение (англ. Machine Learning - ML) являются прежде всего технологиями работы с данными. Их эффективность, во многом, зависит от качества и полноты используемых данных. Данные - это сырье для AI и ML. Сейчас практически все устройства которыми мы пользуемся собирают и передают данные, оставляя практически везде так называемый «цифровой след», и данных становится все больше, и их многообразие постоянное увеличивается.

При этом, как было указано выше, принципиально важное значение приобретают так называемые мастер-данные, которые корректируются и обновляются крайне редко - Фамилия, Имя, Отчество, реквизиты документов, имущество, номер телефона и других устройств, реквизиты юридического лица, наименование и описание продуктов и сервисов и другие данные. Именно эти данные являются так называемыми центрами притяжения/сбора транзакционных данных и основными параметрами для их дальнейшего применения и аналитики.
Очень дельный текст, объясняющий суть и основные постулаты Машинного обучения. Мы бы осбенно выделили классификацию и performance. https://monkeylearn.com/blog/gentle-guide-to-machine-learning/
Время нашей фирменной рубрики «Новая реальность».

Остановимся на ключевой составляющей работы в проектах, связанных с данными. Точнее, на этапе, определяющем успешность решений, базирующихся на технологиях работы с данными.
Команды проектов, фокусируясь на бизнес эффектах, не уделяют достаточного внимания моделированию и совместимости данных.

Ключевой вехой моделирования данных является «совместимость значений» (также интероперабельность от англ. interoperability — способность к взаимодействию). Этап, на котором аналитик собирает, описывает структуры данных и наборы значений, получаемых из источников и укладывает их в Единую модель данных - ядро Системы. Полнота и правильность описания модели и таблицы перекодировок данных важна, как для небольших, так и для глобальных проектов, основанных на данных.

Ошибки на этом этапе приводят к невозможности реализации части бизнес функционала, отсутствию возможности масштабирования и ускорения работы Системы, возникающим конфликтам в наборах данных, что возможно не является проблемами на проектах размерностью в несколько тысяч записей, но является фактически критической проблемой в системах, оперирующих миллиардами данных.
Рубрика «Новая реальность». Искусственный интеллект (AI).

Выдающийся немецкий физик, лауреат Нобелевской премии по физике, основоположник квантовой теории Макс Планк говорил: «Не следует думать, что новые идеи побеждают путем острых дискуссий, в которых создатели нового переубеждают своих оппонентов. Старые идеи уступают новым таким образом, что носители старого умирают, а новое поколение воспитывается в новых идеях, воспринимая их как нечто само собой разумеющееся».

Слова Планка актуальны сейчас, как никогда: в настоящий момент активно формируется новая технологическая эра, характеризующаяся стремительным развитием управления данными. Это уже не просто IT, а новая, следующая ступень технологического развития. Не просто информационные технологии, а технологии управления данными.

Стремительное развитие технологий имеет серьезные последствия для персонала компаний, стремящихся стать технологическими лидерами: по прогнозам, внедрение новейших технологий работы с данными, включая искусственный интеллект и машинное обучение по оценкам специалистов приведут к существенному сокращению персонала (до 80% в последующие 10 лет. Все это потребует проведения переобучения практически всех специалистов, поскольку знание технологий работы с данными станет такой же базовой необходимостью, как и знание офисных программных продуктов в настоящее время. В то же время, для привлечения ценных специалистов компании должны заслужить репутацию технологического лидера, что потребует существенных инвестиций в развитие технологий и кардинальное изменение модели привлечения специалистов.

Существуют 3 классических модели внедрения технологий AI для компаний: 1. Новые форматы сбора и информации о клиентах/продуктах/сервисах и возможностях взаимодействия с ними; 2. Возможность предложения новых продуктов/сервисах; 3. Совершенствование бизнес-процессов и автоматизация производства.
Если говорить об управлении данными, то важно отметить, что информация из одного источника должна обогащать данные, полученные из другого. Все это, в свою очередь, ведет к синергии, но также может приводить к конфликтам данных и созданию ошибок, что при работе с большими массивами данных может привести к фатальным последствиям в ввиду невозможности исправлений в огромных масштабах, например, объединение данных огромной размерности.

Практически все мировые технологические лидеры к настоящему моменту приняли стратегию разработки своих продуктов и сервисов по так называемой датацентричной модели. Она подразумевает построение новых продуктов и сервисов, исходя из имеющихся в наличии данных, которыми эти решения будут «пользоваться» и данными, которые эти решения будут формировать и обогащать текущие массивы данных и «цифровые профили».

Такие компании, как Alphabet и Google считают, что AI является основой для революции компьютерных технологий, и влияние AI на общество будет даже более значительным, чем появление интернета.

Крупнейший производитель напитков Coca-Cola в день продаёт более 1.9 млрд. товарных единиц. У компании более 500 брендов. Приведем цитату руководителя производства Coca-Cola Грегга Чемберса»: «Искусственный интеллект - фундамент всей нашей деятельности. Мы создаём интеллектуальный опыт, и его ядро - это искусственный интеллект».

В качестве еще одного примера можно привести Платформу SmartThings компании Samsung, которая может стать первой компанией в мире, реализовавшей концепцию «сетевого/цифрового дома», в рамках которой все устройства Samsung смогут обмениваться данными в единой цифровой экосистеме. Все это открывает поистине безграничные возможности для различных новых сервисов и формата взаимодействия с потребителями на уровне проектов и сервисов. В этой связи, можно констатировать что любой разработчик цифровой экосистемы, получившей широкой распространение и ставшей неким стандартом объединения и работы с данными/продуктами/сервисами получит огромное преимущество в будущем.
Рубрика «Новая реальность». ИТ технологии в медицине

В самое ближайшее время сформируется самая масштабная индустрия использования данных. Эта индустрия включает в себя сразу несколько направлений: медицину, а также массовый спорт, фармацевтику и правильное питание.
Именно данные станут объединяющим звеном всех этих направлений жизнедеятельности, а возможность сбора огромного массива информации позволит научному сообществу рассматривать все эти направления как взаимосвязанные. Эта сторона жизни человечества под влиянием технологий изменится самым кардинальным образом и преобразуется в отдельный сегмент жизни людей, который станет самым капиталоемким и инвестиционно привлекательным на долгие годы.

Возвращаясь к технологиям, можно констатировать, что уже сейчас размываются границы между практической наукой, лечением, спортом, питанием и развлечениями, поскольку новые технологии и объемы данных, позволяющих проводить анализ взаимосвязанных между собой причин и следствий из этих различных направлений, уже сейчас формирует открытия, которые были ранее недоступны в силу невозможности подобного масштаба исследований. Именно сейчас мы стоим на рубеже научно-технологического взрыва в этой области, поскольку объемы доступных для анализа данных будут расти в геометрической прогрессии. Отдельно отметим, что точность этих данных проверена до сотых долей значений, поскольку эта информация формируются датчиками.

В качестве подтверждения будущих открытий можно констатировать, что сейчас большое число компаний занимается решениями в области создания новых видов датчиков, позволяющих снимать различные показатели жизнедеятельности человеческого организма, более того, все большее внимание уделяется носимым устройствам, которые способны заряжаться от человека (трансформировать тепло человеческого тела в электроэнергию). Успех подобных технологий позволит создать носимые датчики/гаджеты, которые никогда не придется заряжать, и эти устройства будут круглосуточно сопровождать своего хозяина, передавая различную информацию для отслеживания медицинских показателей человека.

Подобные технологии также будут востребованы в нейроимплантации. Вживленные в организм человека микрочипы и электронные устройства не придется постоянно подзаряжать или извлекать хирургическим путем для замены батареек, эти устройства будут передавать необходимые показатели пациента и реагировать на возможные «крайние» значения, требующие медицинской помощи без вовлечения в этот процесс самого пациента, что крайне важно, когда речь идет о пожилых людях или об отсутствии рядом постоянного квалифицированного медицинского персонала.
Пять причин, почем Качество данных играет такую важную роль. Мы бы отдельно выделили триумвират - согласованность, точность и валидность. https://cerasis.com/data-quality/
Рубрика «Новая реальность».

В продолжение темы отраслевых решений на основе недавно сформировавшейся индустрии данных (как мы писали ранее, это уже не часть информационных технологий, а вполне сформировавшаяся отдельное высокотехнологическое направление), отметим, что специалисты по управлению данными часто сталкиваются со следующим заблуждением. «Пусть мы пока плохо понимаем, как у нас все работает, какие данные мы собираем и храним, как построены наши бизнес-процессы, на основе каких данных мы принимаем решения, зато сейчас мы реализуем проект внедрения искусственного интеллекта/машинного обучения и все эти "лучшие практики" позволят нам стать лидерами рынка!»
Подобный неверный подход, увы, довольно часто исповедуется руководителями различных уровней и различных ведомств. И заканчивается все это печально: через некоторое время компания приходит к неутешительному выводу о невозможности достичь первоначальных целей проектов. Все дело в том, что внедрение указанных выше технологий, базирующих на эффективном использовании данных, невозможен без прохождения всех циклов сбора, хранения и внедрения инструментария работы с данными.

Отдельно стоит упомянуть, что забота о качестве данных зачастую приводит к обратным эффектам, и вместо повышения эффективности компании, лояльности клиентов, внедрения самых современных технологий, наоборот, приводит к оттоку клиентов, снижению среднего чека, невозможности повышения операционных показателей компаний, а для различных государственных ведомств - к увеличению критики отдельных цифровых сервисов, нежеланию граждан ими пользоваться и необходимости отвлекать работников для постоянной "ручной" работы в сервисах, где предполагалось существенное снижение участия сотрудников за счет цифровизации.

Все происходящее в области технологий работы с данными формирует сейчас, на наших глазах не только новую индустрию со всеми необходимыми не атрибутами (собственные образовательные программы, различные специальности, формирование различных методов и алгоритмов работы в зависимости от отраслевой специфики), но и фактически определяют масштаб этой области жизнедеятельности. Все это говорит о том, что в будущем, это будет одной из ключевых и наиболее востребованных индустрий практически во всех сферах человеческой жизни.
Машинное обучение создает революцию в методах оценки земной биосферы. И что самое многообещающее - скоро подобный подход будет также использоваться в океанографических и атмосферных исследованиях https://techxplore.com/news/2021-03-machine-revolutionizes-methods-quantify-terrestrial.html
Раздолье - аж 20 трендов в области управления данными, которые будут определять рынок в этом году. Много всего - от облачных вычислений до блокчейна. Мы же советуем отдельно выделить Data Marketplaces и Natural Language Processing. https://www.sanitysolutions.com/20-it-data-management-trends-for-2021/
7 реальных стратегий в области больших данных на 2021 год. И одно из самых важных здесь - оптимизировать взаимоотношения CIO и CDO) Помимо этого, много всего интересного: внутренний аудит данных, big data visibility и связь больших данных с бизнесом. https://www.techrepublic.com/article/7-on-the-ground-big-data-strategies-for-2021/
Пятничная легкая рубрика. 11 любопытных цитат про Big Data. Начиная от Наполеона и заканчивая Гордоном Гекко в исполнении Майкла Дугласа из «Уолл-стрит»)) https://info.aiim.org/aiim-blog/11-cool-quotes-about-big-data-analytics
ТОП-10 трендов в области искусственного интеллекта на 2021 год. Симбиоз с облаком, Этика искусственного интеллекта, работа с неструктурированными данными. Очень любопытно. https://enterprisersproject.com/article/2020/12/artificial-intelligence-ai-top-trends-2021
Сегодняшний Forbes о CDO. Очень интересно - подробно и доходчиво относительно того, почему всеобщее увеличение «грамотности в области данных» - неправильный подход. С подробным описанием того, что CDO должен делать вместо этого: https://www.forbes.com/sites/forbestechcouncil/2021/03/19/data-literacy-training-has-failed-heres-what-chief-data-officers-need-to-do-instead/?sh=55c2177c34d3
2025/07/07 16:40:53
Back to Top
HTML Embed Code: