Middle Data Engineer в Локализацию (команда Рекомендаций)

з/п не указана
RWB (Wildberries & Russ)
Москва Постоянная занятость Удаленная работа

Описание

Команда строит платформу данных для ML-специалистов и продуктовых аналитиков отдела рекомендательных систем. Закрывает полный цикл: от забора данных до развития хранилищ. Ищем инженера, который будет строить платформу вместе с нами - не просто перекладывать данные между базами! Наш стек: Greenplum, Hadoop/HDFS, Iceberg, Trino, Airflow,Apache Kafka, Spark, ClickHouse.Вам предстоит: Помогать проектировать и строить хранилища данных на Iceberg (спроектировать и реализовать озёрное хранилище вокруг Apache Iceberg, используя Spark/Trino в качестве compute-движков, с расчётом на объёмы данных в сотни ТБ); Заниматься настройкой процессов обеспечения качества данных (DQ) (внедрить и настроить DQ-процессы (валидация, мониторинг, метрики качества) на данных в хранилище); Внедрять автоматическую генерацию и сопровождение метаданных/описаний данных (data discovery, data catalog, профилирование); Проектировать и разворачивать feature store для подготовки и управления признаками на стороне платформы; Участвовать в создании семантического слоя для унификации бизнес-логики и метрик поверх данных. Формат работы — удаленный формат. Вы нам подойдете, если: Уверенно владеете Python в контексте DE (2+ года); Имеете глубокие знания SQL (оконные функции, оптимизация запросов, explain-планы); Имеете опыт работы с оркестраторами данных (у нас Airflow); Имеете опыт с Hadoop (Spark / YARN / HDFS); Имеете опыт с MPP-системами (Greenplum).

Откликнуться
Источник: hh · 11.11.2026

Похожие вакансии в городе Москва

Все вакансии в городе Москва →