Как мы приручали утку: работа с данными в Х раз быстрее без магии и шаманства

Что делать, если ваши дата-пайплайны тормозят, а бизнес требует скорости? Добавить серверов? Нанять шамана? Или… приручить утку? 🦆

22 мая мы (Дима Зуев и Дима Ольхов) выступим на Positive Hack Days с докладом о том, как:
- Разогнали обработку данных в Х раз без «магических» костылей — просто за счет «современного эзотерического стека».
- Как описал Дима О.: «Полёт утки и стрел без лишних копий» — покажем, как это работает под капотом.
- Перестали платить за лишние ресурсы и усложнение кода — и перешли к прозрачным и эффективным решениям.
- Внедрили этот подход у себя в Positive Technologies Data Platform и какие подводные камни встретили (спойлер: утки иногда сопротивляются!).

Будет: разбор архитектуры, цифры, ошибки и фишки, которые можно забрать себе.

Если вы работаете с данными, ETL или аналитикой — приходите, будет полезно! А после доклада поболтаем в кулуарах. 😉

Привет! 👋
Мы ищем сильного Инженер по обработке больших данных, который поможет нам строить умное будущее в мире голосового ИИ.

🧠 О нас:
Мы — ведущая IT-компания Центральной Азии, создающая инновационные решения в области голосового искусственного интеллекта.
Cybernet строит цифровые контакт-центры с тысячами голосовых роботов, неотличимых от человека, и сотни уникальных речевых моделей для крупнейших компаний региона.

Если тебе интересно влиять на будущее коммуникаций — добро пожаловать в команду!

Что предстоит делать:
Разрабатывать и поддерживать ETL/ELT-процессы
Оптимизировать базы данных, хранимые процедуры и SQL-запросы
Следить за инфраструктурой данных: мониторинг, поддержка, развитие
Обеспечивать высокое качество и доступность данных
Работать в тесной связке с международной командой и быстро двигать проекты вперёд

Наши ожидания от тебя:

3–6 лет опыта в роли Big Data Engineer
Высшее техническое образование
Опыт построения сложных data warehouses и миграций
Продвинутый SQL и работа с крупными БД
Владение:
MS SQL Server, Oracle, PostgreSQL
Python
Git
Уровень английского B1+ (общение в международной команде)
Самомотивация, проактивность, способность быстро вникать в новые технологии
Умение работать в сжатые сроки и доводить проекты до результата

Будет плюсом:
Опыт с Apache Airflow
Знания в Spark, PySpark, Hive

Что мы предлагаем:
Работа в сильной международной команде профессионалов
Постоянный рост, развитие и изучение новых технологий
Конкурентоспособная зарплата + бонусы
Современный офис в центре города
Гибрид/удалёнка
Компенсация питания или корпоративные обеды
Абонемент в спортзал — заботимся о твоём здоровье


Контакт:

87478822615 Аружан

Email: [email protected]

Добрый день! не могли бы вы, пожалуйста, в своем канала опубликовать данную вакансию:

#вакансия #vacancy #DataScience #Cyprus
Компания: Tribe
Локация и формат работы: офис, Лимассол (помогаем с релокацией на Кипр)
Позиция: Data Scientist (Middle+)
Компенсация: 5000-6000 Euro (netto)
Описание продукта и задач: Привнесение лучших NLP/LLM/ML практик в создание продукта для мировой компании из списка топ-5 в сфере Igaming
🔻Вы:
- опыт от 4 лет в Data Science
- опыт со стеком Python, TensorFlow, Scikit-Learn, PyTorch, Pandas, ClickHouse
- обязателен опыт использования передовых deep learning фреймворков (DeepDetect, Hugging Face) и дообучение предобученных моделей (EfficientNet, Swin Transformer, ResNet)
- отличные софт-скиллы, юмор, дружелюбие
🔻Мы:
- помощь при релокации на Кипр (визы, перелет, встреча в аэропорту, бесплатное проживание первый месяц)
- годовой бонус в размере оклада по результатам работы
- частичная компенсация стоимости квартиры - 750 Euro (после прохождения ИС)
- оплачиваемый отпуск по законам Кипра
- оплачиваемый спорт
- частичная оплата английского
- корпоративное питание в офисе (завтраки, обеды)
- офисный спортзал
- корпоративный детский садик и школа для ваших детей
- оплата выставок, конференций
- технически сложные задачи и возможность развиваться как вертикально, так и горизонтально

📌контакт: @DzmitryS6

#вакансия #удалённо #job #remote #parttime #преподаватель #ML #MachineLearning

Вакансия: преподаватель онлайн-курса ML для финансового анализа

Компания: образовательная платформа OTUS

Преподавательский опыт не обязателен — мы научим вас всему необходимому.

Требуются знания и опыт в ML. Темы занятий на выбор, например:
- Введение в ML
- Технический анализ
- Глубокое обучение
- Продвинутые нейросети
- Перенос модели в облачную среду

Обязанности:
- Проводить онлайн-занятия, уделяя внимание практике и общению со студентами
- Проверка домашних заданий

Условия:
- Гибкий график, легко совмещать с основной работой
- Занятия по Пн и Ср с 20:00 до 21:30 Мск
- Оплата от 4000 до 6000 руб. за вебинар (полтора часа) и 300-400 руб. за проверенное домашнее задание
- Есть материалы к занятиям

🎁 Бонусы: доступ курсам Отуса, нетворкинг, развитие личного бренда, участие в воркшопах и конференциях. Возможность развивать навыки публичных выступлений, работы с аудиторией и подачи обратной связи.

Контакт: @yu_grin

#вакансия #удалённо #parttime #преподаватель #spark

🦉 OTUS ищет преподавателей на онлайн-курс - Spark Developer

Мы расширяем команду экспертов (уже более 650 человек) и ищем опытных специалистов которым интересно делиться знаниями. Преподавательский опыт не обязателен — наши методисты помогут вам освоить практики преподавания.

Требуется практический опыт по темам из программы курса (на ваш выбор). материалы к вебинарам предоставим.

Обязанности:
- подготовиться к занятиям (темы на выбор);
- преподавать удаленно, уделяя большое внимание практике. Здесь вы сможете развивать навыки публичных выступлений, работы с аудиторией и подачи обратной связи.

Условия:
✅ гибкий график, легко совмещать с основной работой;
✅ получать от 4000 до 6000 руб. за один вебинар (полтора часа) + от 300 до 400 руб. за одно проверенное домашнее задание.
✅ бонусы: доступ к нашим курсам, нетворкинг, развитие личного бренда, участие в воркшопах и конференциях.

Обсудить подробнее: @HR_Nikita

Enfint is seeking a Technology Engineer (Hadoop) #вакансия #vacancy #hiring #job #fulltime #onsite #Hadoop #DevOps #dubai

Dubai (ON-SITE, FULL-TIME!!!)


WE ARE NOT INTERESTED TO WORK WITH HIRING AGENCIES

WE DO NOT HAVE ANY OTHER JOB OPENINGS

Important

- ONSITE Position in Dubai (4 days per week work from office)
- Fluent in Russian
- English B2 or higher

Essential Qualifications

- Bachelor or Equivalent Degree
- 7+ years total engineering or operational experience
- At least 4+ years of relevant experience in a similar role
- Experience within large and complex global enterprises defined by high availability, transaction rates, and geographical distribution
- Banking sector experience

Essential Knowledge & Skills
- Production Hadoop experience
- Hands on Tier – 2 production experience with Cloudera:
o Installing and maintenance
o Optimizing cluster performance
o Working with data engineers to optimize Spark job performance
o Automation – Ansible, data/analytics jobs CI/CD
o Observability

- Automated pipelines/workflows (GitHub Actions, Jenkins, ArgoCD etc.) for data projects. Python based preferred.
- Shell, Groovy scripting experience
- Automating security/regulatory checks
- Automated patching
- Containerization – Podman, Docker
- Container Management – Kubernetes/OpenShift
- Linux OS & Networking basics
- Source control (git)
- Agile engineering and practice
- Some Python programming experience

Nice to have
- Machine Learning projects

Delivery Experience

- Ability to work on projects from inception to delivery exhibiting our core values - Collaboration, Ownership, Drive and Enterprising
- Cross skills in delivery but also operational support as per new DevOps methodologies
- Ability to work under pressure, manage client expectations effectively
- Stay up to date with industry’s best practices and emerging technologies

Benefits
- Opportunity to work on cutting-edge technologies in a highly innovative environment
- Dynamic and friendly work environment
- Company assistance with relocation expenses
- Medical insurance

If interested, please send your CV to: @Liz_Kostina or [email protected]

Вакансия: Quantitative Researcher

ЗП: до 15 000$
Формат: гибрид (затем удаленно)
Локация: Ереван или Будапешт (помогаем с переездом)


✍️ Задачи:

- создание алгоритмических, компьютерных моделей
- проведение исследований академической количественной финансовой литературы
- изучение и обработка данных
- применение выравнивания инновационных методов в прикладной математике, информатике и финансовой экономике

⁉️ Требования:

- очень важен опыт на пересечении 4 сфер: математика, финансы, big data, программирование
- умение писать на C/C++
- Python
- знание Linux/Unix
- высшее образование в топ 100 мировых вузов

Если по всем требованиям мэтч и есть готовность переехать в Ереван, то откликайтесь сразу с резюме

🚀 https://www.tg-me.com/stasy_yart_work 🙌🏻

IT-отдел компании Procter & Gamble приглашает присоединиться к нашей команде на позиции:

- Data Engineer Intern
- Data Engineer
- IT Operations Specialist

Наш стек:
- Azure Cloud
- Databricks
- Power BI

Мы предлагаем:
- Гибкий график работы и возможность удаленной работы (гибридный - режим: 2 дня в офисе в неделю)
- Ежемесячная компенсация расходов на питание в размере 5 000 р. до вычета налогов
- Корпоративные скидки
- Доступ к образовательным ресурсам Procter & Gamble

#hiring #vacancy #job #dataengineer #remote #fintech #web3 #defi

Lead Data Engineer Mercuryo.io (Remote) 🌍

We’re looking for a Lead Data Engineer with 5+ years of experience, to join our Analytics Infrastructure team. Our team is responsible for collecting, processing, and storing all company data that drives business decisions and product analytics.

What You’ll Do:
- Architectural design and development of our data warehouse (DWH).
- Designing and optimizing ETL processes for large data volumes.
- Migrating and optimizing our analytical infrastructure to modern DWH solutions.
- Working with analytical databases (Exasol, StarRocks, etc.).
- Developing and maintaining data marts for business intelligence.
- Optimizing performance for analytical queries.
- Integrating with external data sources (including payment gateways).
- Managing data lifecycle in the warehouse.
- Ensuring data quality and consistency.
- Setting up monitoring and alerting for analytical infrastructure.
- Mentoring and knowledge sharing with less experienced team members.

📩 Interested? Message @oneofthestrokes

Сейчас мы ищем Python-разработчика / Data Engineer для одного из самых амбициозных внутренних проектов, где ребята стремятся к оптимизации пайплайна с целью увеличения количества данных и производительности.

📍 Где?
Релокация в Ереван, Армения — одну из самых быстрорастущих IT-локаций с низким cost of living и высоким качеством жизни.


💼 Что предлагает компания?
* Зарплата: $80K — $100K gross ежегодно
* Полный релокационный пакет: оплата переезда, временное жильё на первые недели,юридическая и административная поддержка, релокационный бонус в размере 8,000 GBP gross, помощь с адаптацией в новой стране
* Медицинская страховка
* Работа в гибридном формате: 4 дня в офисе, 1 день — remote.

👨‍💻 Какой опыт ожидаем увидеть:

✅ От 3+ лет коммерческого опыта с Python
✅ Желательно background в data engineering — это наш фокус
✅ Опыт в смежных областях приветствуется: Data Science , Machine Learning , Backend Development – чем разнообразнее, тем лучше!
✅ Уровень английского — не ниже B1; готовность к коммуникации с англоязычными коллегами на технических интервью
✅ Любите решать нетривиальные задачи и брать ответственность
✅ Готовы к переезду и новому этапу в карьере

📩 Хотите узнать больше? Напишите мне в тг @veronikavlasovets — с радостью расскажу всё о процессе, команде и условиях

Enfint is seeking a Senior Data Engineer #вакансия #vacancy #hiring #job #fulltime #onsite #dubai

Dubai (ON-SITE, FULL-TIME!!!)

Important

• ONSITE Position in Dubai (4 days per week work from office)
• Strong command of English language (both verbal and written)

Essential Qualifications

• 5+ years of previous commercial experience as a leader in a data-driven role
• 2+ years of hands-on experience building data pipelines in production and ability to work across structured, semi-structured and unstructured data
• 2+ years of experience in ML pipeline for streaming/batch workflow

Essential Knowledge & Skills

• Ability to write clean, maintainable, and robust code in Python
• Understanding and expertise of software engineering concepts and best practices
• Knowledge of testing frameworks and libraries
• Experience with analytics (descriptive, predictive, EDA), feature engineer, algorithms, anomaly detection, data quality assessment and python visualization libraries - e.g. matplotlib, seaborn or other
• Comfortable with notebook and source code development - Jupyter, Pycharm/VScode
• Hands-on experience of technologies like Python, Spark/Pyspark, Hadoop/MapReduce/HIVE, Pandas etc.
• Familiarity with query languages and database technologies, CI/CD, testing and validation of data and software
• Tech stack and activities that you would use and preform on a daily basis:

o Python
o Spark (PySpark)
o Jupyter
o SQL and No-SQL DBMS
o Git (as source code versioning and CI/CD)
o Exploratory Data Analysis (EDA)
o Imputation Techniques,
o Data Linking / Cleansing
o Feature Engineering
o Apache Airflow/ Genkins scheduling and automation

Nice to have

• Fluent in Russian

Benefits

• Opportunity to work on cutting-edge technologies in a highly innovative environment
• Dynamic and friendly work environment
• Company assistance with relocation expenses (if needed)
• Сomfortable office in the convenient location (Dubai)
• Medical insurance

If interested, please send your CV to: @Liz_Kostina or [email protected]

Data Engineer

Локация: Удалённо / Офис в РФ
Компания: Clear Mind
ЗП: от 300 000 до 400 000 р.
Занятость: Полная

Мы IT стартап Clear Mind, создаем social media продукт (mobile first) с выходом на рынок США. У нас нет бюрократии и мы всегда поощряем проактивность.

Чем предстоит заниматься:
- Развивать и оптимизировать хранилища данных (ClickHouse), проектировать схемы хранения;
- Разрабатывать и поддерживать ETL/ELT-процессы (Airflow, Glue, PySpark);
- Проектировать и настройка потоков данных между S3, ClickHouse, PostgreSQL и другими хранилищами;
- Оптимизировать обработку данных, обеспечивать надежность и отказоустойчивость пайплайнов;
- Поддерживать текущие решения и мониторинг производительности;
- Разрабатывать и поддерживать витрины данных для аналитики и ML-сервисов;
- Улучшать качество кода, код-ревью, рефакторинг.

Мы подходим друг другу, если у тебя есть:
- Опыт работы в роли Data Engineer от 2-х лет;
- Уверенное владение Python (PySpark, pandas);
- Опыт работы с ClickHouse (партиционирование, индексы, оптимизация запросов);
- Понимание принципов ETL/ELT, пакетной и потоковой обработки данных;
- Опыт работы с Apache Airflow (DAGs, кастомные операторы, интеграции);
- Опыт работы с Kafka, Kinesis или другими стриминговыми платформами;
- Глубокое понимание AWS (S3, Glue, Lambda, IAM, Personalize);
- Знание SQL (PostgreSQL) и NoSQL-хранилищ (DynamoDB);
- Опыт работы с GitLab CI/CD и в автоматизация развертывания пайплайнов.

Будет плюсом:
- Опыт работы с Apache Spark/PySpark и распределенной обработкой данных;
- Опыт в оптимизации высоконагруженных SQL-запросов;
- Навыки построения мониторинга и алертинга (Prometheus, Grafana, CloudWatch).

Мы предлагаем:
- Свободу действий и возможность реализовывать крутые идеи в продукте;
- Развитие технических навыков за счет компании;
- Компенсация ДМС после испытательного срока;
- Компенсация обучения после испытательного срока;
- Заработную плату соответствующие уровню компетенций.

Контакты: @z0mb1ek

Сама вакансия такая:

Привет! Мы — команда образовательной платформы Нетология. Обучаем современным востребованным профессиям по 12 направлениям. За 14 лет работы мы выпустили 130+ тыс. специалистов.

Мы создаём современные интерактивные продукты и закрываем полный цикл профессионального образования. Образовательная деятельность Нетологии ведётся на основании государственной лицензии.

Мы верим, что мир состоит из талантливых и способных людей, поэтому наша миссия — помочь человеку найти свой путь роста и дать ему всё необходимое для развития в карьере: знания, навыки, вдохновение.

Основные задачи:
- Знакомство с имеющимися в Нетологии отснятыми материалами по теме, верификация их актуальности;
- Разработка программы дисциплины, совместно с методистом;
- Создание презентаций и проведение онлайн-вебинаров;
- Проверка итогового домашнего задания студентов;
- Запись видеолекций (удалённо или в студии в Москве).

Что важно для нас:

- Опыт работы с NLP инструментами от 3-х лет;
Стек:
- Hugging Face;
- языковые модели на основе трансформеров: BERT, GPT, RoBERTa;
- библиотеки для обработки текста: NLTK, spaCy, Gensim;
- фреймворки глубокого обучения: TensorFlow, PyTorch для разработки и - оптимизации алгоритмов NLP;
- инструменты для оптимизации моделей: Hyperopt, Optuna для настройки гиперпараметров и оптимизации моделей NLP;
- Обязательно наличие высшего образования - степень специалиста или магистра;
- Опыт преподавания или публичных выступлений.
​​​
Что мы предлагаем:

- Опыт преподавания и дополнительный доход;
- Удалённую работу, которую можно совмещать с основным местом работы;
- Возможность поделиться знаниями и опытом с теми, кто только начинает свой путь;
- Шанс развить личный бренд и нарастить экспертизу;
- Возможность бесплатно обучаться на курсах Нетологии через полгода сотрудничества;
- Опыт работы в EdTech-компании и возможность стать частью профессионального комьюнити.

Откликаться в тг @boyakovaev

#vacancy #remote #fulltime


Company: Truv
Position: Product Data Analyst
Salary (USD): 2000-4000 USD
Location: remote


Truv - a US-based one-stop platform for income and employment data


⚙️ Key Responsibilities:

- Work closely with product managers, engineers, and leadership to analyze user behavior and feature performance to influence product direction.
- Design and implement processes for hypothesis testing and feature evaluation
- Build dashboards and deep-dive analyses using ClickHouse, Metabase, SQL, and Python
- Help close the gap between product and analytics teams by proactively driving strategic research
- Own and lead 1–2 analytics focus areas (e.g. onboarding funnel, user retention, product engagement)
- Leverage AI tools (e.g., OpenAI API) for data analysis and insight generation when helpful.


⚙️ Your experience and skills:

- 5+ years of experience in product or business analytics
- Strong skills in Clickhouse, SQL, Python (pandas, NumPy, etc.) for analytics, and Metabase (or similar BI tools)
- Experience in B2B or B2B2C tech companies, especially in fintech
- You thrive in a fast-paced environment where analytical rigor and attention to detail are key to success.

⚙️ What we offer:

- Full-time job
- Remote work
- Be part of a forward-thinking team with the opportunity to shape the future of financial data access.
- Work with cutting-edge technology and innovative customers.
- Salary will be discussed during the interview. Paid in USD.
- Flexible time-off.

contacts: [email protected], direct

Всех поздравляем с 80й годовщиной Победы!

#вакансия #vacancy #ищу #job #dataengineer #analyst #remote #удаленно

Компания: Sotex
Локация: Москва
Должность: analyst/Data Engineer уровня Jun+
Формат работы: Part - time, Удалённая работа
Вилка: обсуждается индивидуально.

О нас:
Мы —it  компания " Sotex", занимающаяся разработкой  озера данных для небольшой телекоммуникационной компании.
Ищем в команду  Data Engineer уровня Jun+

Обязанности:
- Описание ETL-процессов поставки данных;
- Описание структуры хранения данных;
- Описание витрины данных.


Чего ждём от кандидата:
— Опыт  разработки на Python
— Опыт или желание его приобрести в описании процесса etl.

Условия работы:
- Неполная занятость с гибким графиком.
- Удалённый формат.
- Конкурентоспособная заработная плата:  обсуждается индивидуально.
- Работа в дружной команде профессионалов.


Отправляйте ваше резюме в Телеграм: telegram @ryabov_ov или в  WhatsApp  +79858527774

#вакансия #vacancy #ищу #job #analyst #remote #удаленно #intern

Компания: Sotex
Локация: Москва
Должность: analyst / intern уровня Jun+
Формат работы: Part - time, Удалённая работа
Вилка: Стажер с минимальной оплатой

О нас:
Мы —it  компания " Sotex", занимающаяся разработкой  озера данных для небольшой телекоммуникационной компании.
Ищем в команду  Analyst уровня Jun+/ стажёр

Обязанности:
- Описание ETL-процессов поставки данных;
- Описание структуры хранения данных;
- Описание витрины данных.


Чего ждём от кандидата:
— Опыт  разработки на Python
— Опыт или желание его приобрести в описании процесса etl.

Условия работы:
- Неполная занятость с гибким графиком.
- Удалённый формат.
- Конкурентоспособная заработная плата:  обсуждается индивидуально.
- Работа в дружной команде профессионалов.


Отправляйте ваше резюме в Телеграм: telegram @ryabov_ov или в  WhatsApp  +79858527774

Младший специалист-аналитик данных ВТБ

Город: Москва
ЗП: 130 000 рублей до вычета налогов

Мы занимаемся разработкой витрин данных, автоматизацией отчетности и анализом корпоративного портфеля. Еще наша работа включает сбор и анализ требований, построение прототипов витрин и их тестирование.

Тебя ждет:
— оптимизация алгоритмов по выгрузке и обновлению данных;
— анализ портфеля сделок малого бизнеса;
— участие в витринизации данных;
— автоматизация отчетности;
— участие в аудиторских проверках и формирование презентаций.

Этот профиль — для тебя, если ты:
— хорошо знаешь SQL, Python;
— пользуешься MS Excel на продвинутом уровне;
— имеешь опыт работы с большими объемами данных;
— знаешь BI-системы — Qlik Sense, Power BI, Tableau.

Откликнуться @apodyoppsis