Data Engineer (Kafka/Spark)
Описание
Локация: Москва, Южный административный округ, Даниловский район. Формат работы: на месте работодателя, гибрид.
Зарплата: до 200 000 ₽ в месяц до вычета налогов.
Компания
Datanomica собирает инженерные команды для крупных компаний и реализует проекты в банковских системах, телекоме, ритейле, хранилищах данных, генеративном ИИ, комплаенсе, кибербезопасности и импортозамещении ПО.
Что делать
Проектировать и поддерживать высоконагруженные пайплайны потоковой передачи данных из ERP-системы в корпоративное хранилище.
Разрабатывать механизмы гарантированной доставки данных, обработки сбоев и сохранения целостности финансовой информации.
Создавать ETL/ELT-процессы, витрины данных, сложные SQL-запросы и процедуры для агрегации банковских метрик.
Участвовать в миграции данных из легаси-систем и разрабатывать инструменты извлечения, очистки, обогащения и загрузки исторических массивов.
Внедрять проверки качества данных, мониторинг задержек репликации и алертинг через Prometheus, Grafana или аналоги.
Взаимодействовать с архитекторами DWH, администраторами PostgreSQL, владельцами продуктов и аналитиками по Agile-методологиям.
Требования
От 1 года до 3 лет опыта в разработке; промышленная разработка на Java — от 2 лет.
Уверенное владение Core Java, понимание многопоточности и эффективной работы со стримами.
Опыт разработки на Apache Spark и глубокое понимание архитектуры, управления памятью и планов выполнения.
Практический опыт работы с Apache Kafka, продюсерами и консьюмерами, идемпотентностью и распределёнными коммитами оффсетов.
Хороший уровень SQL, включая оконные функции, CTE, рекурсивные запросы и оптимизацию тяжёлых запросов.
Опыт работы с Git, Maven и Docker; понимание CI/CD, Avro, Parquet и анализа PL/SQL-кода.
Хорошо, если есть
Знание Kotlin.
Опыт работы с Hive и Greenplum.
Знание Jenkins или GitLab CI.
Опыт проектирования с использованием LLM, промпт-инжиниринга и Git-агентов.
Культура и преимущества
Гибридный формат работы в аккредитованной ИТ-компании.
Проекты для крупнейших банков и корпораций с высокой нагрузкой и mission-critical системами.
Регулярное обучение и участие в профильных конференциях за счёт компании.
Современное оборудование.
Официальная белая зарплата, оформление с первого рабочего дня и полное соблюдение ТК РФ.