QA Engineer (LLM)

📋 Инженер по тестированию LLM-приложений 🏢 Перфоманс Лаб 💰 до 110,000 RUR (net) Опыт: От 1 года до 3 лет Формат работы (hh.ru): гибридный формат работы Требуемые языки (hh.ru): не указаны 📍 Москва, Кутузовский проспект

Привет! Давай знакомиться :)

Перфоманс Лаб – эксперт в области тестирования и обеспечения качества. На рынке с 2008. Тестируем IT-продукты и повышаем их качество. Занимаемся этим более пятнадцати лет и очень любим свое дело! Всегда находимся в поиске эффективных решений, лучших методик и профессионалов, которые умеют стратегически мыслить и идти к общей цели. У нас ты можешь развиваться в разных направлениях, изучать новые инструменты и прокачивать свои навыки. Формат работы: удаленно (Москва, Московская область)

Чем предстоит заниматься: — разрабатывать и поддерживать методологию тестирования LLM-приложений; — тестировать качество ответов моделей, в том числе с использованием подхода LLM-as-a-Judge; — проверять сценарии работы AI-агентов и выявлять ошибки в их поведении; — разрабатывать, поддерживать и запускать автотесты; — проводить функциональное, интеграционное и регрессионное тестирование веб- и API-сервисов; — тестировать REST API и web-вызовы, анализировать HTTP-запросы и ответы; — проводить нагрузочное и производительное тестирование; — работать с TLS/SSL-сертификатами, цепочками доверия и защищённым взаимодействием сервисов.

Кого мы ищем: — практический опыт тестирования LLM-приложений или AI-агентов; — понимание подходов к оценке качества…