Работа над неразмеченными данными с QGIS и opentripmap на практике
В этом материале автор поделится интересным опытом работы с неразмеченными данными при помощи открытых ресурсов. Задача: по исходным данным определить является ли конкретное фото, сделанное пользователем, туристическим или нет. А также масштабировать и автоматизировать алгоритм решения на любой регион Российской Федерации, избегая ручную работу.
Секреты аналитики
В этом материале автор поделится интересным опытом работы с неразмеченными данными при помощи открытых ресурсов. Задача: по исходным данным определить является ли конкретное фото, сделанное пользователем, туристическим или нет. А также масштабировать и автоматизировать алгоритм решения на любой регион Российской Федерации, избегая ручную работу.
Секреты аналитики
Пирамида потребностей в работе с данными
Психолог Абрахам Маслоу определил пирамиду потребностей человека. У производственных команд также существует своя иерархия потребностей. Для команды по работе с большими данными она начинается с актуальности данных. Следующие «ступени» – объемы, структура и значения данных, а вершина этой пирамиды – происхождение данных.
Секреты аналитики
Психолог Абрахам Маслоу определил пирамиду потребностей человека. У производственных команд также существует своя иерархия потребностей. Для команды по работе с большими данными она начинается с актуальности данных. Следующие «ступени» – объемы, структура и значения данных, а вершина этой пирамиды – происхождение данных.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Что почитать начинающему аналитику?
Часто начинающие аналитики хотят узнать, что можно почитать, чтобы понять профессию и преуспеть в ней. В этом ролике автор составляет свою подборку лучших книг и коротко разбирает каждую. Все они окажутся полезными для начинающих, но на разных этапах их профессионального роста.
Смотреть это видео на youtube: youtu.be/sDqkhCS1c0U
Секреты аналитики
Часто начинающие аналитики хотят узнать, что можно почитать, чтобы понять профессию и преуспеть в ней. В этом ролике автор составляет свою подборку лучших книг и коротко разбирает каждую. Все они окажутся полезными для начинающих, но на разных этапах их профессионального роста.
Смотреть это видео на youtube: youtu.be/sDqkhCS1c0U
Секреты аналитики
Подборка шпаргалок по Data Science для начинающих
Этот материал поможет вам быстро найти нужную информацию и ускорить процесс работы с данными при использовании Python, SQL, GIT, Pandas, Numpy.
Секреты аналитики
Этот материал поможет вам быстро найти нужную информацию и ускорить процесс работы с данными при использовании Python, SQL, GIT, Pandas, Numpy.
Секреты аналитики
На что стоит рассчитывать на первой работе: путь стажера (data engineer)
В этой статье автор поделится своим опытом и даст несколько рекомендаций людям, которые только начинают свой путь в области работы с данными и хотели бы узнать, какие задачи предстоит выполнять, оказавшись на своем первом рабочем месте.
Секреты аналитики
В этой статье автор поделится своим опытом и даст несколько рекомендаций людям, которые только начинают свой путь в области работы с данными и хотели бы узнать, какие задачи предстоит выполнять, оказавшись на своем первом рабочем месте.
Секреты аналитики
Методы очистки данных в Pandas
Аналитики данных часто сталкиваются с грязными данными, которые могут существенно замедлить процесс анализа. Грязные данные – это пропущенные значения, дубликаты, неконсистентные данные. Очищать грязные данные можно c помощью Pandas. В этой статье автор рассматривает основные методы.
Секреты аналитики
Аналитики данных часто сталкиваются с грязными данными, которые могут существенно замедлить процесс анализа. Грязные данные – это пропущенные значения, дубликаты, неконсистентные данные. Очищать грязные данные можно c помощью Pandas. В этой статье автор рассматривает основные методы.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
ТОП вопросов на собеседовании Data Scientist: разбор ответов
0:00 Общие вопросы
0:53 Линейные модели
2:17 Оптимизаторы
3:39 Переобучение
5:20 Ансамбли и их алгоритмы
6:45 Bias-Variance tradeoff
7:48 Рекомендации по избранию факапов
8:29 Дополнительные вопросы
Смотреть это видео на youtube: youtu.be/o1HpQAwAa4A
Секреты аналитики
0:00 Общие вопросы
0:53 Линейные модели
2:17 Оптимизаторы
3:39 Переобучение
5:20 Ансамбли и их алгоритмы
6:45 Bias-Variance tradeoff
7:48 Рекомендации по избранию факапов
8:29 Дополнительные вопросы
Смотреть это видео на youtube: youtu.be/o1HpQAwAa4A
Секреты аналитики
С чего аналитику начать изучение Python
Многие аналитики начинают учить Python, но быстро бросают. Чаще всего это происходит потому, что они начинают изучение с синтаксиса и простых абстрактных примеров. Поначалу это может быть интересным, но потом надоедает. Лучше всего проходить основы языка (на курсах или с помощью учебника), но параллельно пробовать решать простые практические задачи, автоматизируя рутину и сразу же ощущая как Python улучшает вашу жизнь.
Секреты аналитики
Многие аналитики начинают учить Python, но быстро бросают. Чаще всего это происходит потому, что они начинают изучение с синтаксиса и простых абстрактных примеров. Поначалу это может быть интересным, но потом надоедает. Лучше всего проходить основы языка (на курсах или с помощью учебника), но параллельно пробовать решать простые практические задачи, автоматизируя рутину и сразу же ощущая как Python улучшает вашу жизнь.
Секреты аналитики
Вредные советы по подготовке датасета
Это статья для тех, кто:
• Делает первые шаги в сборе датасетов на натуре, либо
• Уже имеет опыт, но интересно посмотреть на мнение коллег.
Секреты аналитики
Это статья для тех, кто:
• Делает первые шаги в сборе датасетов на натуре, либо
• Уже имеет опыт, но интересно посмотреть на мнение коллег.
Секреты аналитики
Разведочный анализ (EDA)
Разведочный анализ данных, или EDA, – это как археологические раскопки в мире информации. Это первый шаг, когда мы берем на себя роль исследователя данных и начинаем расследовать, как устроены наши данные, как они взаимосвязаны и что они нам могут рассказать.
Секреты аналитики
Разведочный анализ данных, или EDA, – это как археологические раскопки в мире информации. Это первый шаг, когда мы берем на себя роль исследователя данных и начинаем расследовать, как устроены наши данные, как они взаимосвязаны и что они нам могут рассказать.
Секреты аналитики
Экосистема для разработки и применения Computer Vision (CV) в промышленности
На сегодняшний день компьютерное зрение (CV — computer vision) активно применяется в промышленности и уже стало привычной технологией для многих производств. В этой статье автор поделится опытом разработки экосистемы сервисов для упрощения процесса разработки моделей и решений по CV.
Секреты аналитики
На сегодняшний день компьютерное зрение (CV — computer vision) активно применяется в промышленности и уже стало привычной технологией для многих производств. В этой статье автор поделится опытом разработки экосистемы сервисов для упрощения процесса разработки моделей и решений по CV.
Секреты аналитики
Чем занимаются специалисты по работе с данными и как стать Data-инженером
В этом материале автор рассказывает, чем отличаются подходы к построению распределённых хранилищ данных Data Warehouse (DWH) и Data Lake и в чём специфика задач специалистов, работающих с данными.
Секреты аналитики
В этом материале автор рассказывает, чем отличаются подходы к построению распределённых хранилищ данных Data Warehouse (DWH) и Data Lake и в чём специфика задач специалистов, работающих с данными.
Секреты аналитики
Как я стал аналитиком: путь от «чистого гуманитария» до работы в крупной фудтех-компании
Аналитика данных — одно из самых перспективных и сложных направлений в ИТ. Но, несмотря на высокий порог входа, попасть в эту сферу можно, будучи еще студентом. В этом материале автор рассказывает о своем пути к должности продуктового аналитика.
Секреты аналитики
Аналитика данных — одно из самых перспективных и сложных направлений в ИТ. Но, несмотря на высокий порог входа, попасть в эту сферу можно, будучи еще студентом. В этом материале автор рассказывает о своем пути к должности продуктового аналитика.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Polars - лучший инструмент Data Scientist для обработки данных
00:00 Что такое Polars?
00:42 Установка и считывание данных
02:01 Базовые операции
03:53 MLOps инструменты
05:01 Выбор столбцов
06:09 Индексы
06:27 Фильтрация по условиям
07:31 Агрегация информации
08:54 Изменение данных
11:14 Аналог map для строк в Polars
11:37 Group By и Pivot
13:45 Визуализация данных
Смотреть это видео на youtube: youtu.be/kACKlWBK1s0
Секреты аналитики
00:00 Что такое Polars?
00:42 Установка и считывание данных
02:01 Базовые операции
03:53 MLOps инструменты
05:01 Выбор столбцов
06:09 Индексы
06:27 Фильтрация по условиям
07:31 Агрегация информации
08:54 Изменение данных
11:14 Аналог map для строк в Polars
11:37 Group By и Pivot
13:45 Визуализация данных
Смотреть это видео на youtube: youtu.be/kACKlWBK1s0
Секреты аналитики
Опыт работы с данными или с чем может столкнуться аналитик
В этой статье автор хотел бы погрузить вас в мир данных и вспомнить:
• какие встречались проекты, связанные с хранилищами и данными
• какие задачи приходилось решать
• какие навыки пригодились
Секреты аналитики
В этой статье автор хотел бы погрузить вас в мир данных и вспомнить:
• какие встречались проекты, связанные с хранилищами и данными
• какие задачи приходилось решать
• какие навыки пригодились
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Базовые возможности Power BI
В этом видеоуроке автор познакомит вас с принципами работы и возможностями Power BI Desktop. Вы узнаете, как создавать надежные модели данных и грамотные отчеты, чтобы повысить эффективность бизнес-аналитики.
Благодаря сочетанию Power BI Desktop и службы Power BI становится гораздо проще моделировать, строить, совместно использовать и расширять новые идеи из мира данных. Power BI Desktop централизует, упрощает и ускоряет то, что в противном случае могло бы представлять собой разрозненный, неупорядоченный и достаточно сложный процесс.
Смотреть это видео на youtube: youtu.be/OURwuBhXA6E
Секреты аналитики
В этом видеоуроке автор познакомит вас с принципами работы и возможностями Power BI Desktop. Вы узнаете, как создавать надежные модели данных и грамотные отчеты, чтобы повысить эффективность бизнес-аналитики.
Благодаря сочетанию Power BI Desktop и службы Power BI становится гораздо проще моделировать, строить, совместно использовать и расширять новые идеи из мира данных. Power BI Desktop централизует, упрощает и ускоряет то, что в противном случае могло бы представлять собой разрозненный, неупорядоченный и достаточно сложный процесс.
Смотреть это видео на youtube: youtu.be/OURwuBhXA6E
Секреты аналитики
«Иногда твоя работа выглядит магией»: что делают дата-сайентисты в промышленности и почему так востребованы
Data Science уже давно вышла за пределы ИТ-компаний, шагнула дальше банков и телекома и пришла в промышленность, в том числе тяжёлую. Традиционные подходы исчерпали свой потенциал за десятки лет постоянных оптимизаций и улучшений. Поэтому все обратили внимание на работу с данными.
Секреты аналитики
Data Science уже давно вышла за пределы ИТ-компаний, шагнула дальше банков и телекома и пришла в промышленность, в том числе тяжёлую. Традиционные подходы исчерпали свой потенциал за десятки лет постоянных оптимизаций и улучшений. Поэтому все обратили внимание на работу с данными.
Секреты аналитики
Media is too big
VIEW IN TELEGRAM
Инструменты аналитика
В этом ролике автор расскажет, что следует учить, чтобы стать аналитиком данных.
00:00 SQL
04:51 Системы управления базами данных
06:02 Python
09:52 Инструменты визуализации данных
10:44 Tableau и PowerBI
14:22 А как же Excel?
15:10 Google Analytics и Google Tag Manager
15:45 AppsFlyer и Adjust
16:05 Remote Config
17:05 А что требуют в вакансиях на аналитиков?
Смотреть это видео на youtube: youtu.be/H4vQSoKT9lE
Секреты аналитики
В этом ролике автор расскажет, что следует учить, чтобы стать аналитиком данных.
00:00 SQL
04:51 Системы управления базами данных
06:02 Python
09:52 Инструменты визуализации данных
10:44 Tableau и PowerBI
14:22 А как же Excel?
15:10 Google Analytics и Google Tag Manager
15:45 AppsFlyer и Adjust
16:05 Remote Config
17:05 А что требуют в вакансиях на аналитиков?
Смотреть это видео на youtube: youtu.be/H4vQSoKT9lE
Секреты аналитики
Как автоматизировать проверки данных в Airflow с Great Expectations
Эта статья будет интересна, тем кто понимает принципы работы с Great Expectations, как минимум, базово знаком с составляющими компонентами и хочет вывести этот инструмент на прод с использованием Apache Airflow.
Секреты аналитики
Эта статья будет интересна, тем кто понимает принципы работы с Great Expectations, как минимум, базово знаком с составляющими компонентами и хочет вывести этот инструмент на прод с использованием Apache Airflow.
Секреты аналитики
Два подхода моделирования исторических данных
В этой статье автор расскажет про два подхода моделирования исторических данных:
• использование временных таблиц
• использование исторических таблиц
Секреты аналитики
В этой статье автор расскажет про два подхода моделирования исторических данных:
• использование временных таблиц
• использование исторических таблиц
Секреты аналитики