Аналитик-разработчик в службу AI-оптимизации

Описание

Локация: Москва, Санкт-Петербург или Ереван; офисный или гибридный форматКомпанияYandex развивает Поиск и системы оценки качества поискового ранжирования.Что делатьРазрабатывать методологию замены ручной разметки AI-агентами и большими языковыми моделями.Создавать бенчмарки и методики валидации качества автоматизированных сигналов.Оценивать LLM в роли судьи релевантности, выявлять системные ошибки и калибровать выводы.Проектировать офлайн- и онлайн-эксперименты для исследования влияния изменений на ранжирование.Готовить и проводить A/B-тесты на реальном поисковом трафике, находить проблемы в отдельных срезах и предлагать способы их исправления.ТребованияОт 3 лет опыта на стыке аналитики и разработки.Уверенное владение SQL и Python, включая pandas и NumPy.Опыт построения офлайн-метрик и статистических выводов.Понимание принципов машинного обучения и метрик precision, recall и NDCG.Опыт с LLM или понимание промпт-инжиниринга и оценки качества генерации.Знание A/B-тестирования, офлайн-симуляций и методов обеспечения статистической значимости.Культура и преимуществаРабота на стыке аналитики, разработки и методологии.Возможность влиять на развитие Поиска и качество ранжирования.Переход от офлайн-экспериментов к полноценным онлайн-тестам.