Аналитик-разработчик по оценке качества LLM в Яндекс R&D (LLM)

Описание

Локация: Москва, офис
Компания
Yandex развивает Alice AI и ключевую LLM-технологию компании, которой ежедневно пользуются миллионы людей.
Что делать

Организовывать приёмки новых версий LLM: готовить оценочные наборы, ставить задачи по аспектам качества и запускать пайплайны оценки.
Контролировать прохождение разметки через несколько команд и пулов, выявлять сбои и устранять проблемы с недоставленными или потерянными данными.
Собирать и анализировать результаты оценки, считать значимость, отделять реальные изменения от шума и объяснять расхождения между аспектами, людьми и автоматическими оценщиками.
Готовить заключения по релизам с разбором сценариев и примерами, а также еженедельные сводки для ML-команд и продукта.
Развивать автоматизацию приёмки: формулировать требования, тестировать инструменты и передавать автоматизированные задачи в процесс.
Взаимодействовать с ML-инженерами качества, доменными экспертами, командой краудсорса и соседними командами.

Требования

От 3 лет опыта.
Уверенная работа с Python и SQL.
Знание математической статистики и теории вероятностей.
Умение доводить до конца многошаговые процессы с внешними зависимостями: пайплайны, пулы разметки и сроки соседних команд.
Умение формулировать обоснованные выводы по данным и защищать их перед заказчиками.
Интерес к развитию LLM и готовность глубоко погружаться в тему.

Хорошо, если есть

Опыт оценки качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки.
Опыт работы на стыке офлайн-оценки и онлайн-экспериментов.
Опыт оценки агентских сценариев и мультимодальных моделей.
Практика применения NLP, краудсорсинговой разметки и ML.

Культура и преимущества

Работа в офисе в Москве.
Приёмки моделей проходят несколько раз в неделю и связаны с регулярными релизами.
Роль сочетает аналитику, методологию и развитие инструментов автоматизации.