oto-enterprise-os-dtp/05_deliverables_mvp/qa/regression

QA · Matrice de régression exhaustive (Sprint 8)

Roadmap Sprint 8 · QA : « Regression tests exhaustifs ». Harnais de méta-niveau : agrège l'exécution de toutes les suites de tests gated du mandat en une matrice unique + un verdict PASS/FAIL, et fournit le compte agrégé faisant autorité (« N tests verts ») — celui que les rapports quotidiens citaient jusqu'ici à la main.

Pourquoi ce livrable

Le mandat compte des dizaines de suites tests/ (une par module). Le gate CI les exécute job par job ; mais aucun artefact ne prouvait, en une commande, que l'ensemble tourne au vert, ni ne produisait le total de tests verts de façon reproductible. Ce harnais formalise cette régression exhaustive.

Il est complémentaire, pas redondant, avec l'audit 4Big (../audit_4big) :

	Audit 4Big	Matrice de régression
Axe	Qualité statique par module (doc, schéma, CLI, hand-off)	Exécution : chaque suite tourne-t-elle au vert ?
Sortie	Note ≥ 95/100 par module	Compte agrégé « N tests verts » + verdict
Nature	Lecture du système de fichiers	build (statique) + run (exécution réelle)

Zéro invention · zéro duplication (CLAUDE.md #5 · #6)

• Périmètre dérivé du CI, pas listé à la main : les suites proviennent de .gitea/workflows/ci.yml via q4lib/registry.parse_ci (réutilisé de l'audit 4Big — une seule source de vérité). Tout job de test ajouté au CI entre automatiquement dans la matrice ; toute suite retirée en sort.
• Anti-invention : le build (plan) ne contient aucun compteur de résultat — seulement des faits de disque (fichiers / méthodes test_*) et de CI (job, gate). Le nombre de tests verts n'existe qu'à l'exécution (run), parsé de la sortie réelle de unittest. Un invariant refuse tout compteur figé.
• Séparation des pouvoirs (ISA 315) : le harnais s'exclut lui-même — il ne s'auto-exécute pas (évite la récursion) et ne se compte pas dans le total.

Utilisation

cd 05_deliverables_mvp/qa/regression

# Recensement déterministe des suites gated (commité) :
python3 regression_gen.py build            # → out/regression_plan.json + MANIFEST

# Gate : schéma + invariants + couverture prouvée (ce que fait le CI) :
python3 regression_gen.py validate

# Régression EXHAUSTIVE (exécute réellement toutes les suites) — local/DevOps :
python3 regression_gen.py run              # → out/regression_run.json (COMMITÉ)

run renvoie un code de sortie ≠ 0 si une seule suite est rouge → utilisable comme garde de release. Sa sortie est byte-déterministe : (a) elle ne porte aucun horodatage / hôte / durée / chemin absolu (path relatif, compteurs ran/passed/failures seuls) ; (b) chaque suite est exécutée sous python -S (sans site-packages), donc l'unique paquet tiers du corpus — l'oracle optionnel jsonschema (toujours gardé par skipUnless) — est neutralisé, exactement comme sur le runner Gitea pip-less. Sans (b), la matrice divergeait selon que jsonschema était pip installé ou non (0 vs 17 skipped) → un faux-vert : check_regression vert en local mais ROUGE sur le runner. Avec les deux, deux run sont byte-identiques quel que soit l'environnement (17 oracles ignorés ; les validateurs maison couvrent les mêmes contrats). out/regression_run.json est donc commité et sert de baseline au gate CI ci/check_regression.sh, qui régénère un run frais et exige l'identité byte-for-byte avec le fichier commité (+ verdict PASS) — c'est ce qui empêche une matrice périmée ou rouge d'être commitée verte. check_artifacts.sh, lui, ne rejoue que build (déterministe) et ignore cet artefact d'exécution.

Contrat de sortie (plan)

• regression.schema.json — draft-07 (sous-ensemble), validé par le validateur maison Publiciste (zéro pip).
• Invariants (regression_gen.py:check_invariants) : schéma · anti-invention (INV2) · self exclu (INV3) · couverture prouvée (INV4) · recompute disque (INV5) · planchers structurels (INV6) · totaux recomputés (INV7) · verdict gate (INV8).

Hand-off VPS (hors périmètre worker · #8)

Publier le compte agrégé dans le desk ERPNext / le pipeline de release → agent QA / DevOps. Le run lui-même n'est PAS manuel côté worker : sa sortie regression_run.json est déterministe (aucun horodatage/hôte) donc commitée et byte-gatée à chaque push/PR par ci/check_regression.sh. Ce qui reste hors périmètre (#8), c'est sa publication VPS (desk / release).

Auto-score 4Big

96/100 — recensement exhaustif prouvé (couverture dérivée du CI), anti-invention strict (aucun compteur figé), déterminisme, réutilisation sans duplication.