Инженер по тестированию и оценке качества ИИ (AI)
Описание
Локация: Москва, Ленинградский проспект, 35с1; работа на месте работодателя или в гибридном формате, который обсуждается индивидуально. График: 5/2, с 09:00 до 18:00.
Компания
РТК-ЦОД реализует крупные проекты, связанные с ИИ-решениями и их качеством.
Что делать
Развивать EvalOps: автоматизированные прогоны, регрессионные проверки и интеграцию контроля качества в CI/CD.
Готовить эталонные выборки, разрабатывать детерминированные проверки совместно с экспертами и настраивать LLM-as-a-Judge.
Анализировать агентские трассы, находить источники ошибок, воспроизводить и проверять дефекты.
Проверять tool calling, параметры инструментов, обработку ошибок и устойчивость к prompt injection.
Контролировать регрессии после запуска и принимать решения об откате релизов.
Разрабатывать автотесты на Python с использованием pytest, httpx и asyncio.
Требования
От 1 года до 3 лет опыта.
Уверенное владение Python для разработки автотестов и обработки результатов, включая pytest, httpx и asyncio; знание SQL.
Практический опыт тестирования LLM и агентских систем, разработки эталонных выборок и автоматизированных проверок.
Понимание работы LLM, управления контекстом, tool calling, skills и MCP; умение оценивать полный сценарий выполнения задачи, включая действия и итоговые артефакты.
Знание тест-дизайна, негативных и граничных сценариев; понимание вариативности ответов, повторных прогонов и сопоставимых условий сравнения.
Умение сочетать детерминированные проверки и LLM-as-a-Judge, оценивать качество самого оценщика и разбирать ошибки валидаторов.
Практический опыт разработки автоматизированных проверок с использованием ИИ-агентов через SDD и TDD, включая проверку предлагаемых агентом изменений.
Опыт работы с Git, GitLab CI и Docker, интеграции проверок качества в CI/CD.
Умение формулировать критерии допуска, документировать результаты и обосновывать решения о выпуске, блокировке или откате перед разработчиками и бизнес-заказчиками.
Хорошо, если есть
Опыт работы с Langfuse, анализа агентских трасс и тестирования устойчивости к prompt injection.
Культура и преимущества
Стабильный официальный доход и полноценный социальный пакет.
Корпоративный университет для внутреннего и внешнего профильного обучения.
Программа ДМС с обслуживанием в клиниках Москвы.
Корпоративные спортивные команды, скидки на фитнес-абонементы и программа привилегий Primezone.
Корпоративная мобильная связь и возможности горизонтального и вертикального карьерного роста.