Plateforme Testing IA â€” Dashboard

Statut des Agents Avancement global : 47%

47%

Activite recente

Tests / jour

0

Latence LLM (avg)

--ms

Tokens consommes (24h)

0

Couverture par Agent

Repartition des couts

Gains attendus a la mise en production

Cible MVP : fin octobre 2026 source : ISSB_KPI_Synthese_Gains.html

Hypotheses de calcul

source : ISSB_KPI_Hypotheses_v2.html

Hypothese	Valeur retenue	Justification
Perimetre MVP	Chaine de valeur Souscription	Plus fort volume de regressions ENGIE BtoC
TJM testeur fonctionnel	550 EUR	Reference DSI 2026 (interne + ESN)
Volume tests / trimestre (baseline)	200 cas	Mesure equipes Souscription Q4 2025
Taux d'automatisation cible	75 %	Conforme aux benchmarks IA Testing (Forrester 2025)
Cout LLM par cas test	~0,06 EUR	Strategie hybride Claude Haiku (60%) + Sonnet (40%)
Periode d'amortissement Build	3 ans	Aligne politique amortissement DSI ENGIE

100%

Flux

Cyan = API Orange = Event Violet = Data Rose = LLM

Flux disponibles

Composants

Flux

Selectionnez un flux pour visualiser le pipeline

Catalogue des agents IA

Role, composants internes, entrees, sorties et garde-fous de chaque agent du pipeline.

Equipe AWS propose et industrialise l'infrastructure cible (compute, securite, observabilite).

Notre equipe developpe et opere les agents IA (orchestration, generation, execution, reporting).

Architecture Plateforme Testing IA â€” ENGIE BtoC (Source : ISSB v0.1)

Couche Systemes Sources (Entrees/Sorties)

JIRA / X-Ray (gestion tests, declenchement)

LeanIX (BPMN processus metier)

GitHub (depot scripts tests - cible)

Couche API Gateway (Apigee)

API Test Generation (Apigee)

API Test Execution (Apigee)

API BPMN Agent (Apigee)

API Test Script (Apigee)

Couche Agents IA (AWS Bedrock)

Agent Orchestrateur (coordination)

Agent Analyseur d'impacts (Test Designer)

Agent Concepteur cas de test (Test Designer)

Agent BPMN Writer (Test Designer)

Agent Execution (CI/CD)

Agent Root Cause (post-MVP)

Agent Reporting

Couche Modeles IA & Tracking

AWS Bedrock - Claude Sonnet (analyse, generation)

AWS Bedrock - Claude Haiku (triage rapide)

Databricks MLflow (tracking modeles)

Langfuse (observabilite LLM)

Couche Execution & Stockage

CI/CD DGP standard (pipelines tests)

S3 (artefacts, logs, captures)

Infrastructure AWS (compute)

Couche Securite & Gouvernance

Bedrock Guardrails (filtrage E/S)

IAM + Secrets Manager

Apigee (authentification, rate limiting)

CloudWatch (monitoring)

LLM principal

Claude Sonnet

AWS Bedrock

API Gateway

Apigee

5 APIs protegees

Depot code

GitHub

Cible (GitLab MVP)

CI/CD

DGP

Pipelines standard

Cout Run / an

~94 k€

Infra AWS 84k + APIHOUR 10k

CAPEX / OPEX

Build, run et coûts récurrents consolidés pour la plateforme.

CAPEX — Budget de build

Coûts par lot (TJM × JH) recalculés en temps réel.

OPEX — Coûts récurrents

Infra, licences et API sur la période.

Capacitaire

Plan de charge par rôle, par mois, en ETP et JH.

Kanban actions

Astuce : glissez-déposez une carte pour la réordonner dans sa colonne ou la déplacer vers un autre statut.

Avancement des agents

Vue consolidee : tickets Jira liés, progression par agent et jalons macro de build.

RACI Run - Exploitation Plateforme Testing IA

Matrice de responsabilités en phase d'exploitation (Run)

Activité opérationnelle	Resp. Expl.	Tech Lead	Expert IA	QA Lead	CloudOps	RSSI	Métier / PO	Nécessité
Supervision & observabilité								Détecter en continu pannes, latence, erreurs et dérive de qualité des agents avant impact sur la production.
Support N1 - Relation utilisateurs & demandes								Point d'entrée : traiter les demandes et incidents simples, informer et communiquer avec le métier.
Support N2 - Gestion des incidents								Prendre en charge les incidents significatifs : diagnostic approfondi, escalade et résolution.
Support N3 - Incidents complexes & majeurs								Traiter les incidents complexes ou fortement impactants (analyse racine profonde, correctifs experts).
Continuité & reprise d'activité (PRA/PCA)								Garantir la reprise après sinistre par des sauvegardes testées et des exercices de bascule.
Qualité & performance des agents								Maintenir la pertinence des tests générés : tuning, root-cause, non-régression et validation humaine des cas critiques.
Exploitation des campagnes de test								Exécuter les campagnes sur les User Stories et intégrer en continu le nouveau périmètre à tester.
Cycle de vie des modèles & données								Versionner/déprécier les modèles, entretenir la base de connaissance (embeddings) et les connecteurs/sources.
Sécurité & conformité								Tenir le niveau de sécurité (patching, secrets, habilitations) et la conformité AI Act / RGPD.
FinOps - Maîtrise des coûts								Suivre et optimiser les coûts (Bedrock/tokens) et éviter les dérives budgétaires.
Capacité & dimensionnement infra								Dimensionner l'infra et anticiper la montée en charge (capacity planning, scaling).
Gouvernance & amélioration continue								Piloter le backlog, les changements (CAB) et le reporting de pilotage.
Documentation & gestion des connaissances								Tenir à jour runbooks/DEX et assurer le transfert de compétences dans l'équipe.
Gestion des fournisseurs & licences								Piloter AWS/Bedrock et éditeurs tiers : contrats, licences et SLA fournisseurs.

R Responsible (réalisé)A Accountable (rend compte)C Consulted (consulté)I Informed (informé)