Инженер по тестированию и оценке качества ИИ

Описание

Основная задача: Ответственность за качество ИИ-решений: определение критериев приёмки, контроль качества и принятие окончательного решения о допуске релизов в промышленную эксплуатацию.Обязанности: Развитие EvalOps: автоматизированные прогоны, регрессионные проверки, встраивание в CI/CD; Подготовка эталонных выборок и разработка детерминированных проверок совместно с экспертами; Настройка LLM-as-a-Judge и калибровка оценок; Анализ трасс выполнения, определение источников ошибок, воспроизведение и проверка дефектов; Проверка вызовов инструментов, параметров и обработки ошибок; Контроль регрессий после запуска и решение об откате; Проверка устойчивости к prompt injection; Разработка автотестов на Python (pytest, asyncio, SDD/TDD). Требования: Уверенное владение Python для разработки автотестов и обработки результатов (pytest, httpx, asyncio), знание SQL; Практический опыт тестирования LLM и агентских систем, разработки эталонных выборок и автоматизированных проверок; Понимание работы LLM, управления контекстом, tool calling, skills и MCP; умение оценивать весь сценарий выполнения задачи, включая действия и итоговые артефакты; Знание тест-дизайна, негативных и граничных сценариев; понимание вариативности ответов, необходимости повторных прогонов и сопоставимых условий сравнения; Умение сочетать детерминированные проверки и LLM-as-a-Judge, проверять качество самого оценщика и разбирать ошибки валидаторов; Обязательный практический опыт разработки автоматизированных проверок с использованием ИИ-агентов через SDD и TDD, включая проверку предлагаемых агентом изменений; Опыт работы с Git, GitLab CI и Docker, интеграции проверок качества в CI/CD; Умение формулировать критерии допуска, документировать результаты и обосновывать решения о выпуске, блокировке или откате перед разработчиками и бизнес-заказчиками; Опыт работы с Langfuse, анализа агентских трасс и тестирования устойчивости к prompt injection является преимуществом. Условия: Стабильный «белый» доход и полноценный соц. пакет; График работы - 5/2 c 9 00 до 18 00; Возможен гибридный формат работы (обсуждаем индивидуально с каждым кандидатом); Корпоративный университет для внутреннего и внешнего профильного обучения; Отличные перспективы карьерного роста – горизонтального и вертикального.​​​​​​ А также для Вас: Программа ДМС с обслуживанием в лучших клиниках города; Корпоративные команды по футболу, волейболу, бегу, а также скидки на фитнес-абонементы; Эксклюзивная программа корпоративных привилегий и скидок Primezone; Корпоративная мобильная связь. Работая вместе с нами, Вы сможете принять участие в амбициозных, крупных проектах, значимых для страны!