Data Engineer

Описание

Локация: Москва, Южный административный округ, Даниловский район. Формат работы: на месте работодателя или гибридный.
Зарплата: до 200 000 RUR в месяц до вычета налогов.
Компания
Datanomica структурирует разнородные данные и помогает среднему и малому бизнесу, банкам и ритейлу использовать клиентские данные для анализа спроса, экономических показателей и финансового планирования. Работа предполагает участие в команде крупного российского банка.
Что делать

Проектировать и поддерживать высоконагруженные пайплайны потоковой передачи данных из ERP-системы в КХД.
Разрабатывать механизмы гарантированной доставки данных с семантиками at-least-once и exactly-once, а также обработку сбоев без потери целостности финансовых данных.
Оптимизировать потоки Kafka и Spark Streaming, включая партиционирование, сжатие и батчинг.
Разрабатывать ETL/ELT-процессы, витрины данных, сложные SQL-запросы, оконные функции и хранимые процедуры для банковских метрик.
Участвовать в миграции легаси-систем и переносе исторических данных с сохранением ссылочной целостности.
Внедрять проверки качества данных, мониторинг replication lag и алертинг через Prometheus/Grafana или аналоги.

Требования

От 1 до 3 лет профессионального опыта; промышленная разработка на Java — от 2 лет.
Уверенное владение Java Core, понимание многопоточности и эффективной работы со стримами.
Опыт разработки на Apache Spark и глубокое понимание архитектуры драйверов, исполнителей и управления памятью.
Практический опыт работы с Apache Kafka, продюсерами, консьюмерами, идемпотентностью и распределёнными коммитами оффсетов.
Хороший уровень SQL, включая оконные функции, CTE, рекурсивные запросы и оптимизацию тяжёлых запросов по планам выполнения.
Опыт работы с Git, Maven, Docker, CI/CD, форматами Avro и Parquet; анализ PL/SQL-кода и проектирование мэппинга между моделями.

Хорошо, если есть

Знание Kotlin.
Опыт работы с Hive и Greenplum.
Базовое понимание Jenkins или GitLab CI.

Культура и преимущества

Работа по методологиям Agile, Scrum и Kanban.
Взаимодействие с архитекторами DWH, администраторами PostgreSQL, Product Owners и аналитиками.
ИИ-инструменты используются в проектировании, включая LLM, промпт-инжиниринг и Git с агентами.
Официальное трудоустройство с первого рабочего дня и полное соблюдение ТК РФ.
Регулярное обучение, профильные конференции за счёт компании и современное оборудование.
Работа в ИТ-аккредитованной компании с ресурсами и свободой действий для решения амбициозных задач.