Аналитик-разработчик в команду этики и безопасности Alice AI

Описание

Локация: Москва, офисный или гибридный форматКомпанияYandex развивает Alice AI — большую языковую модель для решения повседневных задач и повышения качества, достоверности и безопасности ответов.Что делатьИсследовать большие объёмы логов Alice AI, находить сложные и потенциально проблемные сценарии.Формулировать гипотезы о новых классах рисков и проектировать сценарии для red teaming.Разрабатывать критерии, рубрики и автоматизированные evaluation-пайплайны на основе LLM-as-a-Judge, промптинга и агентских подходов.Валидировать автоматические оценки на человеческой разметке и исследовать устойчивость, согласованность, смещения, precision и recall джаджей.Собирать и проверять обучающие выборки для SFT и RL, анализировать ошибки моделей.Проводить финальную оценку релиз-кандидатов, анализировать регрессии и статистическую значимость изменений.ТребованияОт 3 лет опыта.Уверенное владение Python и SQL.Самостоятельная работа с данными, исследование логов и формулирование гипотез.Знание математической статистики и теории вероятностей, умение корректно проводить эксперименты и интерпретировать результаты.Умение ясно излагать мысли, обсуждать решения и аргументированно отстаивать позицию.Хорошо, если естьОпыт работы с ML-моделями и понимание этапов их обучения и оценки.Опыт создания LLM-джаджей, автоматизированных evaluation-пайплайнов или проведения red teaming.Знание SFT, RLHF/RLAIF и современных подходов к LLM evaluation.Понимание типовых сценариев использования и уязвимостей генеративных моделей.Культура и преимуществаРабота в команде, отвечающей за безопасность и ответственное поведение LLM.Участие в общем цикле развития моделей Alice AI — от подготовки данных до финальной приёмки релизов.Сотрудничество с отдельной ML-командой, которая непосредственно обучает модели.