Tech Lead Data Engineer (Apache Spark)

Описание

Локация: офисный формат, Москва, м. Кутузовская, ул. Поклонная, 3
Зарплата: до 500 000 ₽ в месяц до вычета налогов
Компания
СБЕР развивает единое хранилище данных блока B2C и платформы Data Lakehouse и Data Streamhouse для высоконагруженной обработки данных.
Что делать

Проектировать и оптимизировать витрины данных, ETL/ELT-пайплайны на Apache Spark и Greenplum.
Разрабатывать RT- и NRT-пайплайны между Kafka, Apache Iceberg, Apache Flink и Spark Structured Streaming.
Участвовать в развитии архитектуры Data Lakehouse и Data Streamhouse, включая партиционирование, compaction и time travel в Apache Iceberg.
Реализовывать инкрементальную загрузку, API на Java или Scala и механизмы контроля качества данных на Spark и Python.
Оптимизировать Spark-приложения с использованием векторных движков Gluten/Velox, а также настраивать сборку, деплой и оркестрацию в Jenkins и Oozie или современных оркестраторах.
Уточнять требования с внутренними бизнес-заказчиками и презентовать доработки сервиса.

Требования

Более 6 лет опыта; опыт разработки пайплайнов на Apache Spark уровня не ниже middle.
Уверенное владение SQL, Java или Scala и Python для ad-hoc анализа и Data Quality.
Глубокое понимание Apache Hadoop, включая HDFS и YARN, и опыт работы с экосистемой в продуктивной среде.
Опыт работы с Apache Kafka как источником или приёмником и хотя бы одним фреймворком потоковой обработки: Apache Flink или Spark Streaming.
Знание Parquet, ORC, Avro и современных подходов к управлению Data Lakehouse; знание Apache Iceberg обязательно.
Опыт оптимизации Spark: настройка ресурсов, устранение перекосов данных, работа с memory и оптимизация shuffle.

Хорошо, если есть

Опыт внедрения промышленных пайплайнов пакетной и потоковой передачи данных.
Опыт внедрения Gluten/Velox или аналогичных векторизованных движков.
Навыки сборки и развёртывания Docker-образов приложений.

Культура и преимущества

Офисный формат работы в Москве.
Годовая премия, расширенный ДМС, страхование для семьи и корпоративная пенсионная программа.
Корпоративный спортзал, зоны отдыха и подписка Прайм с возможностью совместного использования.
Более 400 образовательных программ СберУниверситета, регулярные митапы и развитое DS-сообщество.
Льготные условия ипотечного кредита и вознаграждение за рекомендации сотрудников.