Ведущий инженер данных (LLM)
Описание
Локация: Москва, 2-й Сыромятнический переулок, 1; гибридный формат с работой на месте работодателя
Компания
Развитие LLM-платформы для клиентов из госсектора и enterprise-сегмента.
Что делать
Определять источники данных для AI-решений: базы данных, документы, API, файловые хранилища, внешние системы и потоки обновлений.
Проектировать модели данных, включая сущности и связи, версии, метаданные, lineage, права доступа и правила актуализации.
Организовывать сбор и обработку данных: очистку, нормализацию, дедупликацию, классификацию, разметку и формирование golden record.
Подготавливать данные для поиска и RAG: chunking, embeddings, индексацию, vector search и hybrid search.
Настраивать retrieval и reranking, обновление индексов, а при необходимости — датасеты для обучения и дообучения моделей.
Определять и мониторить метрики качества данных и retrieval, взаимодействуя с LLM-инженерами, аналитиками и разработчиками.
Требования
От 4 лет опыта в Data Engineering, Data Platform, Data Architecture или смежной области.
Уверенное знание SQL и реляционных баз данных.
Опыт построения ETL/ELT-процессов и data pipelines.
Опыт интеграции данных из баз данных, API, файлов и внешних систем.
Практический опыт проектирования моделей данных, работы с качеством данных, метаданными и версиями.
Практический опыт подготовки данных для поиска, ML или LLM/RAG-систем.
Понимание chunking, embeddings, vector search и hybrid search.
Опыт работы с векторными хранилищами или поисковыми системами.
Умение самостоятельно разбираться в структуре и качестве новых источников данных.
Хорошо, если есть
Опыт разработки и эксплуатации RAG-систем в production, оптимизации retrieval и reranking.
Python для обработки данных и разработки data pipelines.
Kafka или другие системы потоковой обработки данных; Airflow или аналогичные инструменты оркестрации.
PostgreSQL, ClickHouse, Elasticsearch/OpenSearch, векторные хранилища и аналогичные технологии.
Опыт подготовки датасетов для supervised learning или fine-tuning.
Понимание метрик оценки RAG: retrieval quality, groundedness, faithfulness и coverage.
Культура и преимущества
Полная занятость.
Работа в продуктовой команде над LLM-платформой для госсектора и enterprise-клиентов.
Гибридный формат с присутствием на рабочем месте работодателя в Москве.