AI QA Engineer
Banco de Crédito BCP · Lima
Job description
Acerca del puesto
Únete al equipo BCP y forma parte de una comunidad que impacta los planes de millones de peruanos. Buscamos un ingeniero/a de QA especializado en IA para garantizar la calidad de los sistemas basados en LLM.
Responsabilidades principales
- Construir y mantener golden sets y datasets de evaluación, versionándolos y expandiéndolos periódicamente.
- Automatizar las evaluaciones dentro del pipeline CI/CD usando Azure AI Evaluation SDK, Promptflow Evaluators, LangSmith o Ragas.
- Implementar guardrails de entrada y salida, incluyendo filtros de contenido, detección de PII y pruebas adversariales.
- Ejecutar ciclos de no‑regresión, bloquear releases que degraden el comportamiento y monitorear la calidad en producción.
Perfil requerido
- Bachiller o titulado en Ingeniería de Sistemas, Software, Ciencias de la Computación o afines.
- Al menos 3 años de experiencia en QA de software y 2 años en calidad de sistemas de IA/ML o LLMs.
- Inglés intermedio para lectura de documentación técnica.
Habilidades requeridas
- Python avanzado para scripting y automatización de evaluaciones.
- Uso de Azure AI Evaluation SDK, Promptflow Evaluators, LangSmith y Ragas.
- Experiencia en testing automatizado (unitario, integración, contrato y regresión) y CI/CD.
Lo que ofrecemos
- Ambiente empoderador donde tu voz e ideas son valoradas.
- Oportunidades de desarrollo profesional y crecimiento continuo.
- Compensación competitiva, ingreso a planilla, bonos por desempeño y utilidades.
Questions fréquentes
Why are you reporting this job?
Explore further
Salaries, guides and searches in Peru.
Salaries by job title
Apply in 30 seconds
Enter your email to apply. An account will be created automatically.
By continuing, you accept our terms of use.
Already have an account? Login
Published 12 hours ago
Expires 1 month from now
8 views · 0 interested
Boost your chances
Upload your CV — we will match you with relevant openings.
Analyzing your CV...
Banco de Crédito BCP
Lima