Ускорение разведочного анализа данных с использованием библиотеки pandas-profiling
Первым делом, приступая к работе с новым набором данных, нужно понять его. Для того чтобы это сделать, нужно, например, выяснить диапазоны значений, принимаемых переменными, их типы, а также узнать о количестве пропущенных значений. Библиотека pandas предоставляет нам множество полезных инструментов для выполнения разведочного анализа данных (Exploratory Data Analysis).
Секреты аналитики
Первым делом, приступая к работе с новым набором данных, нужно понять его. Для того чтобы это сделать, нужно, например, выяснить диапазоны значений, принимаемых переменными, их типы, а также узнать о количестве пропущенных значений. Библиотека pandas предоставляет нам множество полезных инструментов для выполнения разведочного анализа данных (Exploratory Data Analysis).
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Python для начинающих аналитиков: Jupyter Notebook, методы, функции, аргументы
Это первый урок видеокурса, на котором вы с нуля узнаете как применять популярный язык программирования Python в работе с данными.
02:08 Зачем аналитику Python
03:10 Python — самый популярный язык программирования
09:48 Jupyter Notebook
13:46 Переменные, базовые концепции программирования
20:14 Типы данных
27:27 Операторы
40:47 Методы, функции, аргументы
58:04 Анализируем текст “Войны и мира”
Смотреть это видео на youtube: youtu.be/GQGaqrkV1s4
Секреты аналитики
Это первый урок видеокурса, на котором вы с нуля узнаете как применять популярный язык программирования Python в работе с данными.
02:08 Зачем аналитику Python
03:10 Python — самый популярный язык программирования
09:48 Jupyter Notebook
13:46 Переменные, базовые концепции программирования
20:14 Типы данных
27:27 Операторы
40:47 Методы, функции, аргументы
58:04 Анализируем текст “Войны и мира”
Смотреть это видео на youtube: youtu.be/GQGaqrkV1s4
Секреты аналитики
ETL в анализе данных
Наблюдаемая все чаще и чаще картина в задаче анализа данных вызывает удручающее впечатление. Intel, AMD и другие производители непрерывно наращивают вычислительную мощность. Гениальные математики-программисты пишут суперэффективные библиотеки и алгоритмы. И вся эта мощь гасится и распыляется рядовыми аналитиками и разработчиками.
Секреты аналитики
Наблюдаемая все чаще и чаще картина в задаче анализа данных вызывает удручающее впечатление. Intel, AMD и другие производители непрерывно наращивают вычислительную мощность. Гениальные математики-программисты пишут суперэффективные библиотеки и алгоритмы. И вся эта мощь гасится и распыляется рядовыми аналитиками и разработчиками.
Секреты аналитики
Фича стор, CLTV и как построить много моделей в короткий срок
В этой статье автор расскажет, что такое CLTV, как от бизнес-постановки задачи перейти к задаче машинного обучения, какие при этом могут возникнуть проблемы и как их решать. А главное — что такое Feature Store и как этот инструмент помогает решить задачи СLTV.
Секреты аналитики
В этой статье автор расскажет, что такое CLTV, как от бизнес-постановки задачи перейти к задаче машинного обучения, какие при этом могут возникнуть проблемы и как их решать. А главное — что такое Feature Store и как этот инструмент помогает решить задачи СLTV.
Секреты аналитики
Отказоустойчивая распределённая архитектура для UX-аналитики
UX-аналитика – это сбор и анализ данных о взаимодействии пользователей с интерфейсом (клики, скроллы, навигация и прочие события). Такие события генерируются в огромных количествах, особенно при большой аудитории приложения. Чтобы эффективно обрабатывать эту информацию, необходима распределённая архитектура, способная масштабироваться под высокий поток событий и обеспечивать отказоустойчивость – т.е. работать надёжно даже при сбоях отдельных компонентов.
Секреты аналитики
UX-аналитика – это сбор и анализ данных о взаимодействии пользователей с интерфейсом (клики, скроллы, навигация и прочие события). Такие события генерируются в огромных количествах, особенно при большой аудитории приложения. Чтобы эффективно обрабатывать эту информацию, необходима распределённая архитектура, способная масштабироваться под высокий поток событий и обеспечивать отказоустойчивость – т.е. работать надёжно даже при сбоях отдельных компонентов.
Секреты аналитики
Инди-геймдев и A/B тесты: совместить несовместимое
В текущих реалиях инди-геймдева каждый человек на вес золота и выделять для аналитики отдельного человека - расточительство. Вместе с тем, сфера аналитики как дремучей лес: мало информации, множество непонятных терминов и сложных вычислений. Однако это совершенно не мешает, чтобы грубо, как обезьяна, потыкать палкой в эту странную сферу и получить дополнительный вектор для развития проекта.
Секреты аналитики
В текущих реалиях инди-геймдева каждый человек на вес золота и выделять для аналитики отдельного человека - расточительство. Вместе с тем, сфера аналитики как дремучей лес: мало информации, множество непонятных терминов и сложных вычислений. Однако это совершенно не мешает, чтобы грубо, как обезьяна, потыкать палкой в эту странную сферу и получить дополнительный вектор для развития проекта.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Обзор дашборда в Yandex DataLens
В этом видео автор подробно разбирает дашборд, созданный в Yandex DataLens на основе датасета Superstore.
00:18 Что такое Yandex DataLens?
00:29 Как начать работу в сервисе
06:44 Подготовка и настройка данных
08:57 Настройка отчетов и визуализации
14:12 Верстка дашборда
14:30 Добавление чартов
15:21 Добавление фильтра
17:38 Добавление страниц
17:46 Публикация и онлайн-доступ
18:23 Выводы и соответствие поставленной задаче
Смотреть это видео на youtube: youtu.be/wKz6rE9n0wY
Секреты аналитики
В этом видео автор подробно разбирает дашборд, созданный в Yandex DataLens на основе датасета Superstore.
00:18 Что такое Yandex DataLens?
00:29 Как начать работу в сервисе
06:44 Подготовка и настройка данных
08:57 Настройка отчетов и визуализации
14:12 Верстка дашборда
14:30 Добавление чартов
15:21 Добавление фильтра
17:38 Добавление страниц
17:46 Публикация и онлайн-доступ
18:23 Выводы и соответствие поставленной задаче
Смотреть это видео на youtube: youtu.be/wKz6rE9n0wY
Секреты аналитики
Изучаем Анализ данных с помощью библиотеки Bokeh в Python
Подходящая визуализация способна превратить сложные структуры данных в наглядные образы, позволяя нам видеть и понимать информацию на более глубоком уровне. В этом контексте библиотека Bokeh для Python выделяется как одно из наиболее мощных и гибких средств для визуализации данных.
Bokeh обеспечивает интерактивные и красочные графики, которые можно легко встраивать в веб-приложения и даже динамически изменять в режиме реального времени.
Секреты аналитики
Подходящая визуализация способна превратить сложные структуры данных в наглядные образы, позволяя нам видеть и понимать информацию на более глубоком уровне. В этом контексте библиотека Bokeh для Python выделяется как одно из наиболее мощных и гибких средств для визуализации данных.
Bokeh обеспечивает интерактивные и красочные графики, которые можно легко встраивать в веб-приложения и даже динамически изменять в режиме реального времени.
Секреты аналитики
Welch's test: он вам не замена Т-test'a
В этой статье автор расскажет про один из классических тестов в статистике – тест Уэлча (Welch’s Test). Он постарается максимально раскрыть, когда и где стоит применять данный тест и является ли он на самом деле тестом по умолчанию вместо t-test’a.
Секреты аналитики
В этой статье автор расскажет про один из классических тестов в статистике – тест Уэлча (Welch’s Test). Он постарается максимально раскрыть, когда и где стоит применять данный тест и является ли он на самом деле тестом по умолчанию вместо t-test’a.
Секреты аналитики
Многоразовый шаблон логирования на Python для всех ваших приложений в Data Science
Идеальный способ отлаживать и отслеживать приложения — хорошо определённые, информативные и удобно структурированные логи. Они являются необходимым компонентом любого — малого, среднего или крупного — проекта на любом языке программирования, не только на Python.
Секреты аналитики
Идеальный способ отлаживать и отслеживать приложения — хорошо определённые, информативные и удобно структурированные логи. Они являются необходимым компонентом любого — малого, среднего или крупного — проекта на любом языке программирования, не только на Python.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Используем нейронные сети для предсказания цены акций
В этом ролике автор разбирает, как можно предсказать цену на акции компании Apple используя нейронные сети, а именно RNN (LSTM блок).
00:00 Введение
01:00 Обзор датасета с Kaggle
02:09 Анализ данных с использованием Pandas
08:16 Создание датасета для временного ряда
14:33 Обучение RNN модели с помощью Tensorflow
Смотреть это видео на youtube: youtu.be/LI94ZkjE_w4
Секреты аналитики
В этом ролике автор разбирает, как можно предсказать цену на акции компании Apple используя нейронные сети, а именно RNN (LSTM блок).
00:00 Введение
01:00 Обзор датасета с Kaggle
02:09 Анализ данных с использованием Pandas
08:16 Создание датасета для временного ряда
14:33 Обучение RNN модели с помощью Tensorflow
Смотреть это видео на youtube: youtu.be/LI94ZkjE_w4
Секреты аналитики
Математика для Data Scientist: необходимые разделы
Математика — это краеугольный камень Data Science. Хотя некоторые теоремы, аксиомы и формулы кажутся слишком абстрактными и далекими от практики, на самом деле без них невозможно по-настоящему глубоко анализировать и систематизировать огромные массивы данных.
Секреты аналитики
Математика — это краеугольный камень Data Science. Хотя некоторые теоремы, аксиомы и формулы кажутся слишком абстрактными и далекими от практики, на самом деле без них невозможно по-настоящему глубоко анализировать и систематизировать огромные массивы данных.
Секреты аналитики
14 практических советов по использованию Tableau
Эта статья будет особенно полезна тем командам, которые только настраивают Tableau — некоторые из приёмов нужно сделать один раз и это сильно упростит жизнь.
Секреты аналитики
Эта статья будет особенно полезна тем командам, которые только настраивают Tableau — некоторые из приёмов нужно сделать один раз и это сильно упростит жизнь.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Знакомство с Power Query
В этом видеоуроке автор познакомит вас с Power Query и разберет следующие вопросы:
— зачем нужен Power Query
— как его установить
— как его настроить
— как изменить запрос
Смотреть это видео на youtube: youtu.be/uLeO7nZ0axM
Секреты аналитики
В этом видеоуроке автор познакомит вас с Power Query и разберет следующие вопросы:
— зачем нужен Power Query
— как его установить
— как его настроить
— как изменить запрос
Смотреть это видео на youtube: youtu.be/uLeO7nZ0axM
Секреты аналитики
Технические отличия BI систем (Power BI, Qlik Sense, Tableau)
Целью данной статьи является сравнение трёх ведущих BI платформ, которые находятся в лидерах квадранта Gartner:
— Power BI (Microsoft)
— Tableau
— Qlik
Секреты аналитики
Целью данной статьи является сравнение трёх ведущих BI платформ, которые находятся в лидерах квадранта Gartner:
— Power BI (Microsoft)
— Tableau
— Qlik
Секреты аналитики
Оценка эффективности бизнес-моделей через анализ данных: от ROI до стоимости привлечения клиентов
Бизнес стал невероятно динамичным и конкурентным. Компании постоянно сталкиваются с вызовами и возможностями, их бизнес-модели постоянно эволюционируют. Однако, чтобы преуспеть, предпринимателям и руководителям необходимо оценивать эффективность своих бизнес-моделей.
Секреты аналитики
Бизнес стал невероятно динамичным и конкурентным. Компании постоянно сталкиваются с вызовами и возможностями, их бизнес-модели постоянно эволюционируют. Однако, чтобы преуспеть, предпринимателям и руководителям необходимо оценивать эффективность своих бизнес-моделей.
Секреты аналитики
This media is not supported in your browser
VIEW IN TELEGRAM
Математика для Data Science: какая нужна и зачем
В этом ролике автор разбирает какая математика нужна для data science, где используется и для чего:
00:06 Пример
01:01 Школьная математика
01:39 Статистика
02:31 Линейная алгебра
03:20 Математический анализ
03:53 Теория вероятностей
04:21 Вывод
Смотреть это видео на youtube: youtu.be/wI0wnktEhGE
Секреты аналитики
В этом ролике автор разбирает какая математика нужна для data science, где используется и для чего:
00:06 Пример
01:01 Школьная математика
01:39 Статистика
02:31 Линейная алгебра
03:20 Математический анализ
03:53 Теория вероятностей
04:21 Вывод
Смотреть это видео на youtube: youtu.be/wI0wnktEhGE
Секреты аналитики
Как собирать данные, где искать специалистов и куда всё движется
Какие байки ярче всего иллюстрируют заблуждения о больших данных? Какой на самом деле можно получить профит от Big Data? Сколько его придётся ждать и сколько денег необходимо в это вложить? Что лучше — построить свою внутреннюю службу или привлечь консультанта? И, конечно, главное — как правильно произносить это магическое словосочетание?
Всё это обсуждается в данном материале.
Секреты аналитики
Какие байки ярче всего иллюстрируют заблуждения о больших данных? Какой на самом деле можно получить профит от Big Data? Сколько его придётся ждать и сколько денег необходимо в это вложить? Что лучше — построить свою внутреннюю службу или привлечь консультанта? И, конечно, главное — как правильно произносить это магическое словосочетание?
Всё это обсуждается в данном материале.
Секреты аналитики
А зачем это бизнесу? Экономическое обоснование использования ML для прогнозирования спроса на ж/д
Бизнес всегда хочет сократить затраты, и аналитик может ему в этом помочь за счет прогнозирования спроса. Зная спрос на железной дороге, мы понимаем, где в ближайшем будущем будут основные точки возникновения грузопотоков, куда имеет смысл заадресовывать наши вагоны, чтобы сократить порожние пробеги (когда вагон едет пустым) и остаться в прибыли.
Секреты аналитики
Бизнес всегда хочет сократить затраты, и аналитик может ему в этом помочь за счет прогнозирования спроса. Зная спрос на железной дороге, мы понимаем, где в ближайшем будущем будут основные точки возникновения грузопотоков, куда имеет смысл заадресовывать наши вагоны, чтобы сократить порожние пробеги (когда вагон едет пустым) и остаться в прибыли.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Интервью с Data Scientist
0:00:00 Начало
0:27:20 Переход в IT
0:38:17 Что такое Data analysis и Data Science
0:44:25 Big Data
0:45:40 Кто такой аналитик
0:46:06 Data mining
0:49:22 Машинное обучение, Deep learning, Нейронные сети
0:52:53 Data Set и обучение нейронных сетей
1:02:34 Как оценить сколько стоит Data Scientist
1:03:46 На чем пишут DS
1:08:54 Инструменты: Tableau, R, Wolfram
1:10:51 По каким процессам работает Data Scientist
1:22:37 Как развиваться чтобы стать DS и что предстоит пройти
1:26:50 Минимальные навыки, которыми должен обладать DS
1:31:25 Где брать практический опыт
1:35:05 Что спрашивают на собеседовании
1:36:17 Источники информации для обучения
Смотреть это видео на youtube: youtu.be/tQYCd8tg56U
Секреты аналитики
0:00:00 Начало
0:27:20 Переход в IT
0:38:17 Что такое Data analysis и Data Science
0:44:25 Big Data
0:45:40 Кто такой аналитик
0:46:06 Data mining
0:49:22 Машинное обучение, Deep learning, Нейронные сети
0:52:53 Data Set и обучение нейронных сетей
1:02:34 Как оценить сколько стоит Data Scientist
1:03:46 На чем пишут DS
1:08:54 Инструменты: Tableau, R, Wolfram
1:10:51 По каким процессам работает Data Scientist
1:22:37 Как развиваться чтобы стать DS и что предстоит пройти
1:26:50 Минимальные навыки, которыми должен обладать DS
1:31:25 Где брать практический опыт
1:35:05 Что спрашивают на собеседовании
1:36:17 Источники информации для обучения
Смотреть это видео на youtube: youtu.be/tQYCd8tg56U
Секреты аналитики