Lead Data Analyst (RAG и LLM)

Описание

Локация: Москва, Россия, м. Кутузовская; гибридный формат работы.
Компания
Сбер развивает веб-поиск, RAG и агентов, способных решать сложные многошаговые задачи уровня BrowseComp.
Что делать

Разрабатывать и проверять метрики качества поиска и ответов, включая nDCG, Recall@k и faithfulness.
Оценивать статистическую значимость улучшений с помощью бутстрэпа по вопросам, анализа мощности и дисперсии между прогонами агентов.
Калибровать LLM-судей на человеческой разметке, анализировать precision, recall и смещения по позиции, длине и self-preference.
Создавать golden-сеты для многохоповых вопросов, обеспечивать однозначность ответов, цепочки доказательств и защиту от переобучения на бенчмарк.
Разрабатывать метрики для отдельных шагов агентов, выявлять зацикливание и преждевременную остановку, строить кривую зависимости точности от бюджета.
Разбирать потери по слоям: retrieval, извлечение фактов, рассуждение и формирование ответа; руководить небольшой сильной командой.

Требования

Математическое, физическое или инженерное образование.
6+ лет опыта в аналитике или Data Science, включая 3+ года в оценке поиска, RAG или LLM.
Опыт калибровки LLM-судьи.
Уверенное владение статистикой, Python и SQL.

Хорошо, если есть

Опыт работы с агентными бенчмарками BrowseComp, MuSiQue или GAIA.
Собственный датасет или публикация по IR/NLP.

Культура и преимущества

Задачи, для которых в индустрии пока нет устоявшихся решений.
GPU и бюджет на ручную разметку.
Возможность руководить небольшой сильной командой.