Senior Data Scientist (ML Evaluation & Metrics)
Описание
Senior Data Scientist (ML Evaluation & Metrics) Чем предстоит заниматься: Проектировать методологии оценки качества ML-моделей и рекомендательных механик: офлайн- и онлайн-метрики, их связь с бизнес-метриками Переводить потребности бизнеса в DS-постановки, формулировать гипотезы, целевые и guardrail-метрики, ограничения, критерии успеха Разрабатывать методологию разметки: ТЗ и инструкции для разметчиков, правила для пограничных случаев, golden sets, контроль согласованности, аудит качества разметки Готовить ТЗ на сбор и упаковку наборов данных Разрабатывать дизайны и анализировать результаты тестов ML решений в продукте Формулировать и имплементировать методологии оценки качества данных Вести исследовательскую аналитику, находить инсайты в данных и в поведении ML систем. Отвечать за отчётность и логирование ML-метрик. Определяя формат релизных отчётов, обязательный набор метрик, сравнение с baseline Определять дизайн оценки качества. Формировать драфт задач для ML инженеров, описывать, что и как должно быть реализовано, чтобы качество можно было корректно измерить. Для нас важно: От 3 лет коммерческого опыта в Data Science или ML-аналитике, включая реальный опыт оценки моделей, работающих в проде Глубокое понимание метрик ML (классификация, детекция, сегментация, ранжирование) Уверенные теорвер и матстат: проверка гипотез, доверительные интервалы, бутстрап, мощность теста, методы снижения дисперсии Классический ML на табличных данных (бустинги, линейные модели): умение анализировать поведение модели, её ошибки, калибровку, важность признаков Python (pandas, numpy, scipy, sklearn, Jupyter) Умение писать: компактные и внятные отчёты с выводами, ТЗ, инструкции, которые понимают с первого раза Умение задавать правильные вопросы и докапываться до сути постановки Крайне желательно - опыт оценки рекомендательных систем Высшее техническое или математическое образование Будет плюсом: Опыт в модерации контента, антифроде или trust & safety Опыт организации разметки (Toloka, Label Studio, in-house асессоры), active learning, human-in-the-loop Causal inference и квазиэксперименты LLM-as-a-judge и использование LLM в разметке Опыт с experiment tracking (MLflow, ClearML)