AI Quality Engineer

Over de functie

Als AI Quality Engineer ben je verantwoordelijk voor het waarborgen van de kwaliteit, veiligheid en betrouwbaarheid van AI‑oplossingen zoals GenAI, LLM’s, RAG‑systemen en machine‑learning componenten. Je werkt nauw samen met het IA‑Squad om productie‑klare modellen te leveren met meetbare kwaliteits‑ en risicocontroles.

Belangrijkste verantwoordelijkheden

• Definiëren van een QA‑strategie voor AI, inclusief exit‑criteria, kriticiteits‑drempels en minimale test‑suites.
• Meewerken vanaf de discovery‑ en ontwerpfase; stories en acceptatiecriteria beoordelen en test‑plannen opstellen.
• Opzetten van “golden sets”, uitvoeren van grounding‑, consistentie‑ en hallucination‑tests, en validatie van retrieval‑processen.
• Testen op prompt‑injectie, jailbreak, datalekken en misbruik; guardrails en permissies verifiëren.
• Automatiseren van API‑, end‑to‑end‑ en regressietests; integratie in CI/CD‑pipelines en versiebeheer.
• Defecten registreren, prioriteren en root‑cause analyses uitvoeren; verbeteringen voorstellen voor prompts, kennis‑bases en retrieval‑flows.
• Definiëren en monitoren van kwaliteits‑metrics (succesratio, fallback, latency); alerts configureren en incidenten afhandelen.
• Documentatie van testplannen, resultaten, artefacten en versie‑sign‑offs bijhouden.

Gewenst profiel

• Universitaire opleiding in Informatica, Computer‑Engineering of een verwante richting.
• Minimaal 4 jaar ervaring als QA‑engineer (functioneel en geautomatiseerd) in digitale producten, bij voorkeur in een gereguleerde omgeving.
• 2‑3 jaar ervaring met API‑ en/of end‑to‑end‑automatisering en CI/CD‑integratie.
• Kennis van machine‑learning/GenAI concepten en beveiligings‑/privacy‑aspecten (DLP, dataclassificatie) is een plus.
• Goede beheersing van technisch Engels (lezen en schrijven).

Vereiste vaardigheden

• Git (GitHub, GitLab)
• CI/CD‑tools (GitHub Actions, Jenkins)
• API‑testtools (Postman, Karate)
• UI‑testframeworks (Playwright, Selenium)
• Test‑management (Jira, Xray)