Неструктурированные данные: примеры, инструменты, методики и рекомендации
В этой статье мы окунёмся в мир неструктурированных данных, подчеркнём их важность и представим практичные советы по извлечению ценной информации из этого недооцененного ресурса. Вы рассмотрите разные типы данных, варианты хранения и управления ими, а также различные методики и инструменты для анализа неструктурированных данных. Подробно разобравшись в этих аспектах, вы сможете овладеть истинным потенциалом неструктурированных данных и преобразовать их в стратегический ресурс.
Секреты аналитики
В этой статье мы окунёмся в мир неструктурированных данных, подчеркнём их важность и представим практичные советы по извлечению ценной информации из этого недооцененного ресурса. Вы рассмотрите разные типы данных, варианты хранения и управления ими, а также различные методики и инструменты для анализа неструктурированных данных. Подробно разобравшись в этих аспектах, вы сможете овладеть истинным потенциалом неструктурированных данных и преобразовать их в стратегический ресурс.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Pet-project в Data Science
В этом ролике автор делится полезной информацией о pet-проектах. Вы узнаете как их выбирать, зачем они нужны и влияют ли при трудоустройстве. Также автор подскажет несколько идей проектов для лучшего понимания, которые можно взять в работу.
Смотреть это видео на youtube: youtu.be/32YfcTEp4cg
Секреты аналитики
В этом ролике автор делится полезной информацией о pet-проектах. Вы узнаете как их выбирать, зачем они нужны и влияют ли при трудоустройстве. Также автор подскажет несколько идей проектов для лучшего понимания, которые можно взять в работу.
Смотреть это видео на youtube: youtu.be/32YfcTEp4cg
Секреты аналитики
Что такое dbt и зачем он нужен аналитику
Рано или поздно аналитик сталкивается с проблемой организации данных. Их становится все больше, структура перестает быть прозрачной, а одни и те же SQL-запросы приходится переписывать по несколько раз. Решить эту проблему можно с помощью dbt – инструмента, который открывает новый подход к трансформации и моделированию данных.
Секреты аналитики
Рано или поздно аналитик сталкивается с проблемой организации данных. Их становится все больше, структура перестает быть прозрачной, а одни и те же SQL-запросы приходится переписывать по несколько раз. Решить эту проблему можно с помощью dbt – инструмента, который открывает новый подход к трансформации и моделированию данных.
Секреты аналитики
Преобразование табличных данных в Python
Предположим: вы полны желания изучить манящий массив данных. К счастью, для этого достаточно вашего компьютера. Итак, вы открываете блокнот Python или REPL, чтобы начать работать: какую библиотеку использовать?
Секреты аналитики
Предположим: вы полны желания изучить манящий массив данных. К счастью, для этого достаточно вашего компьютера. Итак, вы открываете блокнот Python или REPL, чтобы начать работать: какую библиотеку использовать?
Секреты аналитики
Data Mesh: что это такое и для чего он нужен инженерам
Data Mesh, что дословно можно перевести как «сеть данных», — это децентрализованный гибкий подход к работе распределенных команд и распространению информации. Главное в нем — междисциплинарные команды, которые публикуют и потребляют Data-продукты, благодаря чему существенно повышают эффективность использования данных.
Секреты аналитики
Data Mesh, что дословно можно перевести как «сеть данных», — это децентрализованный гибкий подход к работе распределенных команд и распространению информации. Главное в нем — междисциплинарные команды, которые публикуют и потребляют Data-продукты, благодаря чему существенно повышают эффективность использования данных.
Секреты аналитики
Как изучать Data Science, когда всё в огне
Ставя перед собой цель освоить Data Science, сначала необходимо понять, какой набор навыков вы хотите получить. Дальнейшие действия представляются элементарными — нужно просто найти время, чтобы сесть и начать накапливать искомые навыки.
С таким багажом вы станете перспективным кандидатом на собеседованиях и, весьма возможно, получите работу своей мечты.
Секреты аналитики
Ставя перед собой цель освоить Data Science, сначала необходимо понять, какой набор навыков вы хотите получить. Дальнейшие действия представляются элементарными — нужно просто найти время, чтобы сесть и начать накапливать искомые навыки.
С таким багажом вы станете перспективным кандидатом на собеседованиях и, весьма возможно, получите работу своей мечты.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Математика для Data Science: где и как учить?
В этом ролике автор поделится бесплатными ресурсами для изучения математики, необходимой для Data Science, и сделает их разбор.
00:00 Введение
00:34 Школьная математика
02:00 Статистика
03:00 Теория вероятностей
03:20 Линейная алгебра
04:07 Матанализ
05:00 Лучшие ресурсы
05:30 Создаем базу ресурсов вместе
Смотреть это видео на youtube: youtu.be/6ajAbghWzrs
Секреты аналитики
В этом ролике автор поделится бесплатными ресурсами для изучения математики, необходимой для Data Science, и сделает их разбор.
00:00 Введение
00:34 Школьная математика
02:00 Статистика
03:00 Теория вероятностей
03:20 Линейная алгебра
04:07 Матанализ
05:00 Лучшие ресурсы
05:30 Создаем базу ресурсов вместе
Смотреть это видео на youtube: youtu.be/6ajAbghWzrs
Секреты аналитики
В чем разница между наукой о данных, анализом данных, большими данными, аналитикой, дата майнингом и машинным обучением
В последнее время слово big data звучит отовсюду, и в некотором роде это понятие стало мейнстримом. С большими данными тесно связаны такие термины как наука о данных (data science), анализ данных (data analysis), аналитика данных (data analytics), сбор данных (data mining) и машинное обучение (machine learning).
Секреты аналитики
В последнее время слово big data звучит отовсюду, и в некотором роде это понятие стало мейнстримом. С большими данными тесно связаны такие термины как наука о данных (data science), анализ данных (data analysis), аналитика данных (data analytics), сбор данных (data mining) и машинное обучение (machine learning).
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Топ 5 качеств аналитика данных
В этом ролике автор расскажет про самые полезные качества для аналитика данных.
0:00 Вступление
0:15 Мотивация
1:24 Внимательность и усидчивость
2:05 Любовь к математике и задачам
3:47 Оптимизм
4:40 Креативность
5:36 Заключение
Смотреть это видео на youtube: youtu.be/kDuBVXqVDgY
Секреты аналитики
В этом ролике автор расскажет про самые полезные качества для аналитика данных.
0:00 Вступление
0:15 Мотивация
1:24 Внимательность и усидчивость
2:05 Любовь к математике и задачам
3:47 Оптимизм
4:40 Креативность
5:36 Заключение
Смотреть это видео на youtube: youtu.be/kDuBVXqVDgY
Секреты аналитики
Очень математический подкаст с гуманитарным уклоном
В гостях у подкаста «Деньги любят техно» побывал директор Физтех-школы прикладной математики и информатики МФТИ Андрей Михайлович Райгородский — один из самых красноречивых популяризаторов математики, который славится способностью подбирать наглядное объяснение для любой задачи. Например, одну из знаменитых задач комбинаторной геометрии — проблему Борсука — объясняет на… тортиках.
С первых слов Андрей Михайлович признается в любви математике, но при этом называет себя гуманитарием. Он говорит о важности развития науки, но не забывает о взаимодействии с прикладными отраслями. Он любит французскую литературу и читал её в оригинале. Нужны ли ещё аргументы, чтобы ознакомиться с подкастом?
Выпуск можно посмотреть в ВК.
Или послушать на подкаст-платформах.
В гостях у подкаста «Деньги любят техно» побывал директор Физтех-школы прикладной математики и информатики МФТИ Андрей Михайлович Райгородский — один из самых красноречивых популяризаторов математики, который славится способностью подбирать наглядное объяснение для любой задачи. Например, одну из знаменитых задач комбинаторной геометрии — проблему Борсука — объясняет на… тортиках.
С первых слов Андрей Михайлович признается в любви математике, но при этом называет себя гуманитарием. Он говорит о важности развития науки, но не забывает о взаимодействии с прикладными отраслями. Он любит французскую литературу и читал её в оригинале. Нужны ли ещё аргументы, чтобы ознакомиться с подкастом?
Выпуск можно посмотреть в ВК.
Или послушать на подкаст-платформах.
Media is too big
VIEW IN TELEGRAM
15 новых трюков в Excel 365
В этом видео автор разбирает следующие трюки:
00:40 Выделение и быстрое снятие выделений ячеек
01:38 Звуковые эффекты
04:51 Быстрый перевод текста
06:42 Функции СЦЕП и ОБЪЕДИНИТЬ
09:51 Функция ЕСЛИМН
13:20 Функции МАКСЕСЛИ и МИНЕСЛИ
20:28 Новые функции Excel 365
32:12 Диаграммы Воронка и Карты
34:47 Рисование
37:19 3D-модели и значки
Смотреть это видео на youtube: youtu.be/DzcMMceBrBg
Секреты аналитики
В этом видео автор разбирает следующие трюки:
00:40 Выделение и быстрое снятие выделений ячеек
01:38 Звуковые эффекты
04:51 Быстрый перевод текста
06:42 Функции СЦЕП и ОБЪЕДИНИТЬ
09:51 Функция ЕСЛИМН
13:20 Функции МАКСЕСЛИ и МИНЕСЛИ
20:28 Новые функции Excel 365
32:12 Диаграммы Воронка и Карты
34:47 Рисование
37:19 3D-модели и значки
Смотреть это видео на youtube: youtu.be/DzcMMceBrBg
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Аналитика в Excel с нуля
Это отличное пошаговое руководство для новичков, которые хотят начать работу с Excel. Но и опытные пользователи найдут для себя полезные фишки. А также вы узнаете насколько востребован Excel и как проходить собеседование на аналитика с навыком Excel.
Смотреть это видео на youtube: youtu.be/ZndWYaPGiwE
Секреты аналитики
Это отличное пошаговое руководство для новичков, которые хотят начать работу с Excel. Но и опытные пользователи найдут для себя полезные фишки. А также вы узнаете насколько востребован Excel и как проходить собеседование на аналитика с навыком Excel.
Смотреть это видео на youtube: youtu.be/ZndWYaPGiwE
Секреты аналитики
SQL vs Excel: когда таблицы уже не справляются
Когда в компании работа выстроена в Excel, проблем нет, пока в таблице несколько тысяч строк. Но бизнес растёт, и вот в файле уже миллион записей. Поиск тормозит, сложные формулы зависают. А если сотрудник случайно удалит столбец — восстанавливать придётся вручную. Это первые сигналы, что Excel не справляется.
Секреты аналитики
Когда в компании работа выстроена в Excel, проблем нет, пока в таблице несколько тысяч строк. Но бизнес растёт, и вот в файле уже миллион записей. Поиск тормозит, сложные формулы зависают. А если сотрудник случайно удалит столбец — восстанавливать придётся вручную. Это первые сигналы, что Excel не справляется.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Обзор дашборда в Tableau | Гайд по BI
В этом видео автор подробно разбирает дашборд, созданный в Tableau на основе датасета Superstore.
00:25 Описание задачи
02:25 Структура обзора
07:11 Подготовка данных
07:50 Настройка отчетов и визуализации
13:21 Про создание параметрической сортировки
14:35 How-to: подготовка Bar-in-bar chart
16:49 Про dashboard filter actions
18:10 "Фишки" и сложности
21:10 Соответствие поставленной задаче
Смотреть это видео на youtube: youtu.be/LKwqBy41E24
Секреты аналитики
В этом видео автор подробно разбирает дашборд, созданный в Tableau на основе датасета Superstore.
00:25 Описание задачи
02:25 Структура обзора
07:11 Подготовка данных
07:50 Настройка отчетов и визуализации
13:21 Про создание параметрической сортировки
14:35 How-to: подготовка Bar-in-bar chart
16:49 Про dashboard filter actions
18:10 "Фишки" и сложности
21:10 Соответствие поставленной задаче
Смотреть это видео на youtube: youtu.be/LKwqBy41E24
Секреты аналитики
Новая библиотека для анализа данных Pandas AI: стоит ли пробовать?
Появилась новая библиотека Pandas AI - надстройка над популярной библиотекой для анализа данных Pandas. Как уверяют разработчики, Pandas AI расширяет возможности Pandas за счет искусственного интеллекта.
Секреты аналитики
Появилась новая библиотека Pandas AI - надстройка над популярной библиотекой для анализа данных Pandas. Как уверяют разработчики, Pandas AI расширяет возможности Pandas за счет искусственного интеллекта.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
SQL для анализа данных
В этом видеоуроке автор подробно разберет, как можно получать данные для их последующего анализа на примере реальной PostgreSQL базе данных.
00:00 Введение
01:47 From
04:03 Агрегатные функции
05:41 Where
09:36 Having
10:26 Join
14:24 Подзапросы
15:36 Вложенные таблицы
19:03 With
20:40 Оконные функции
Смотреть это видео на youtube: youtu.be/ZnaYwGyJX1M
Секреты аналитики
В этом видеоуроке автор подробно разберет, как можно получать данные для их последующего анализа на примере реальной PostgreSQL базе данных.
00:00 Введение
01:47 From
04:03 Агрегатные функции
05:41 Where
09:36 Having
10:26 Join
14:24 Подзапросы
15:36 Вложенные таблицы
19:03 With
20:40 Оконные функции
Смотреть это видео на youtube: youtu.be/ZnaYwGyJX1M
Секреты аналитики
🤯 Грустный факт: 90% дата-сайентистов тратят больше времени на очистку данных, чем на сам анализ.
А знаете, что еще хуже? Даже после всей этой работы модель может не показать хороших метрик.
❓Когда последний раз вы:
— Объясняли, почему результаты модели зависят от качества данных, а не только от самой модели?
— Оптимизировали код, но модель всё равно не показывала нужных метрик и работала медленно?
— Тратили время на изучение нового инструмента, а он уже успел устареть?
Чтобы стать востребованным специалистом и быстро решать реальные проблемы DS, подписывайтесь на Библиотеку Data Science.
Там публикуют только годный контент:
→ Шпаргалки по работе с популярными библиотеками
→ Лайфхаки для оптимизации кода и моделей
→ Мемы, которые поймут только настоящие дата-сайентисты
➡️ Подписывайтесь, чтобы прокачать скиллы: @dsproglib
P.S. В закрепе канала — шпаргалка по структурированию проектов Data Science, которая сэкономит вам часы работы.
Реклама. ИП Дрёмов Артём Сергеевич. ИНН 771391651571. erid: 2VtzqvETn33
А знаете, что еще хуже? Даже после всей этой работы модель может не показать хороших метрик.
❓Когда последний раз вы:
— Объясняли, почему результаты модели зависят от качества данных, а не только от самой модели?
— Оптимизировали код, но модель всё равно не показывала нужных метрик и работала медленно?
— Тратили время на изучение нового инструмента, а он уже успел устареть?
Чтобы стать востребованным специалистом и быстро решать реальные проблемы DS, подписывайтесь на Библиотеку Data Science.
Там публикуют только годный контент:
→ Шпаргалки по работе с популярными библиотеками
→ Лайфхаки для оптимизации кода и моделей
→ Мемы, которые поймут только настоящие дата-сайентисты
P.S. В закрепе канала — шпаргалка по структурированию проектов Data Science, которая сэкономит вам часы работы.
Реклама. ИП Дрёмов Артём Сергеевич. ИНН 771391651571. erid: 2VtzqvETn33
Please open Telegram to view this post
VIEW IN TELEGRAM
Введение в архитектурный фреймворк для анализа данных Lena
В этом материале автор расскажет об архитектурном фреймворке Lena, который сам разрабатывает. Архитектура определяет наиболее общее устройство программы и взаимодействие её компонентов. Lena как фреймворк реализует конкретную архитектуру для анализа данных и предоставляет пользователю классы и функции, которые могут быть при этом полезны.
Секреты аналитики
В этом материале автор расскажет об архитектурном фреймворке Lena, который сам разрабатывает. Архитектура определяет наиболее общее устройство программы и взаимодействие её компонентов. Lena как фреймворк реализует конкретную архитектуру для анализа данных и предоставляет пользователю классы и функции, которые могут быть при этом полезны.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Обзор интерфейса Power BI Desktop
В этом видеоуроке автор подробно рассматривает основные принципы интерфейса Power BI Desktop, а также разбирает подключение к источнику данных и загрузку в модель.
Смотреть это видео на youtube: youtu.be/hpNGX-wIQ9k
Секреты аналитики
В этом видеоуроке автор подробно рассматривает основные принципы интерфейса Power BI Desktop, а также разбирает подключение к источнику данных и загрузку в модель.
Смотреть это видео на youtube: youtu.be/hpNGX-wIQ9k
Секреты аналитики
Внедрение подхода «Self-Service» для самостоятельного анализа данных
Инструменты Business Intelligence (BI) за последние несколько лет проникли почти во все виды бизнеса, а изучению данных уделяется все больше внимания и выделяется больше ресурсов.
Секреты аналитики
Инструменты Business Intelligence (BI) за последние несколько лет проникли почти во все виды бизнеса, а изучению данных уделяется все больше внимания и выделяется больше ресурсов.
Секреты аналитики