AI QA Engineer

Acerca del puesto

Únete al equipo BCP y forma parte de una comunidad que impacta los planes de millones de peruanos. Buscamos un ingeniero/a de QA especializado en IA para garantizar la calidad de los sistemas basados en LLM.

Responsabilidades principales

• Construir y mantener golden sets y datasets de evaluación, versionándolos y expandiéndolos periódicamente.
• Automatizar las evaluaciones dentro del pipeline CI/CD usando Azure AI Evaluation SDK, Promptflow Evaluators, LangSmith o Ragas.
• Implementar guardrails de entrada y salida, incluyendo filtros de contenido, detección de PII y pruebas adversariales.
• Ejecutar ciclos de no‑regresión, bloquear releases que degraden el comportamiento y monitorear la calidad en producción.

Perfil requerido

• Bachiller o titulado en Ingeniería de Sistemas, Software, Ciencias de la Computación o afines.
• Al menos 3 años de experiencia en QA de software y 2 años en calidad de sistemas de IA/ML o LLMs.
• Inglés intermedio para lectura de documentación técnica.

Habilidades requeridas

• Python avanzado para scripting y automatización de evaluaciones.
• Uso de Azure AI Evaluation SDK, Promptflow Evaluators, LangSmith y Ragas.
• Experiencia en testing automatizado (unitario, integración, contrato y regresión) y CI/CD.

Lo que ofrecemos

• Ambiente empoderador donde tu voz e ideas son valoradas.
• Oportunidades de desarrollo profesional y crecimiento continuo.
• Compensación competitiva, ingreso a planilla, bonos por desempeño y utilidades.