Qualifier archec dans un projet de sûreté
Un projet de sûreté doit montrer qu'il peut faire confiance aux outils qu'il
utilise, pour l'usage qu'il en fait. Pour les véhicules routiers, c'est
l'ISO 26262-8 §11. Pour le logiciel embarqué aéronautique, c'est la DO-330,
avec la DO-178C §12.2. archec qualify rédige les documents nécessaires, pour
les fonctions d'archec sur lesquelles vous vous appuyez.
Un premier kit#
Chaque façon d'utiliser archec est un cas d'utilisation. --list les affiche :
archec qualify --list
The use cases (--use, by the name on the left):
check Check a model: archec check [verification, DO-330 criterion 3]
REQ-RECOVER, REQ-PLACE, REQ-PARITY, REQ-VERIFY — test/compiler.test.js test/conflicts.test.js …
build Build the Arche project: archec build [transformation, DO-330 criterion 1]
…
safety Fault trees, FMEA, STPA: archec safety [verification, DO-330 criterion 3]
REQ-SAFETY — test/safety.test.js
…
Choisissez les cas d'utilisation sur lesquels vous vous appuyez, et le niveau d'intégrité de votre projet. Ce kit porte sur l'analyse de sûreté, en ASIL C. archec lance les tests de ce cas d'utilisation, puis rédige les documents :
archec qualify --use safety --asil C -o kit
running 1 test file(s) in /path/to/arche-lang…
UC-SAFETY TCL3 1/1 shown
qualification kit → kit (README.md, tool-classification.md, tool-qualification-report.md, tool-operational-requirements.md, tool-verification.md, tool-configuration-index.md, known-problems.md, results.json)
It supports a qualification; it does not certify archec. Confirm each TI and TD for your project.
1/1 shown signifie que l'exécution démontre l'unique exigence d'outil de ce
cas d'utilisation. Commencez par kit/README.md : il liste les cas
d'utilisation, leurs niveaux et ce qui reste à votre charge.
D'autres façons de le lancer :
archec qualify --use check,build,gen-c --asil C --dal B -o qualification --html
archec qualify --config qualify.yaml -o qualification # your choices, with reasons
Ce que ce n'est pas.
- Le kit appuie une qualification. Il ne certifie pas archec, et ne constitue pas à lui seul une qualification.
- archec n'est pas développé selon une norme de sûreté.
- La classification part de valeurs par défaut qui ne supposent rien de votre processus. Vous confirmez ou modifiez chaque niveau, en donnant vos raisons.
- Les preuves sont la propre suite de tests d'archec, exécutée sur ses propres modèles d'exemple.
- Votre évaluation, vos enregistrements d'archec en service et l'approbation de votre responsable des outils restent nécessaires.
- Vérifiez les clauses et tableaux cités par rapport à votre édition des normes.
D'où il vient#
Le kit est rédigé à partir de trois sources. Toutes trois se trouvent dans le
dépôt arche-lang, au commit de l'archec que vous utilisez. --repo désigne ce
dépôt ; par défaut, c'est celui dans lequel archec a été construit.
L'auto-modèle,
examples/arche-lang:- Chaque
use-casedequalification.archeest une façon d'utiliser archec (UC-GEN-C, choisi avec--use gen-c). - Chaque exigence sur archec qui
refinesun cas d'utilisation est une exigence d'outil de ce cas. - Chaque cas du plan de test qui
verifiesune exigence (dansverification.arche) est un cas de vérification. - Un cas désigne un fichier de test de
npm test("test/cert.test.js"). Ou bien il désigne les tests d'un fichier dont le nom contient une expression ("test/exporters.test.js › arxml"). test/qualify.test.jsvérifie que chaque cas désigne un fichier qui existe, et des tests qui correspondent.
- Chaque
Une exécution des tests. Par défaut,
archec qualifylance les fichiers de test des cas d'utilisation choisis. Il les lance avecnode --testet un rapporteur qui lui est propre, dans le dépôt, sur sondist/: construisez-le donc d'abord. Il enregistre :- le résultat de chaque test ;
- la version d'archec, le commit git, et si le dépôt contient des modifications locales ;
- le sha256 de
dist/; - l'environnement (Node.js, OS, CPU).
results.jsonconserve l'exécution.--results results.jsonrédige le kit à partir d'une exécution enregistrée.--no-runle rédige sans aucune preuve, et l'indique.La documentation. Les limites connues de chaque cas d'utilisation (ci-dessous), et les sections Limites des pages que chaque cas cite, sont ses erreurs connues.
Les documents#
| Fichier | Norme | Contenu |
|---|---|---|
README.md |
les deux | Les cas d'utilisation choisis, leurs TI, TD, TCL, critère et TQL, le nombre de leurs exigences que l'exécution démontre, et ce qui reste à votre charge. |
tool-classification.md |
ISO 26262-8 §11 | Par cas d'utilisation : les dysfonctionnements possibles, les mesures capables de les détecter, TI, TD et le TCL, les justifications, et les méthodes de qualification que ce TCL exige à votre ASIL, avec ce que le kit fournit pour chacune. |
tool-qualification-report.md |
ISO 26262-8 §11 | La validation de l'outil (méthode 1c) : chaque exigence, ses cas, le nombre de tests et le résultat ; les erreurs connues ; une conclusion qui signale quand la validation est incomplète. |
tool-operational-requirements.md |
DO-330 | L'environnement opérationnel, les entrées et sorties, le critère et le TQL de chaque cas d'utilisation, et les TOR, un par exigence d'outil. |
tool-verification.md |
DO-330 | Les cas et procédures de vérification de chaque TOR, et le résultat de chaque test. |
tool-configuration-index.md |
les deux | Version, commit, modifications locales, empreintes des fichiers, environnement, commande de test. Il avertit quand les résultats viennent d'un autre build ou d'un autre commit. |
known-problems.md |
les deux | Les limites connues par cas d'utilisation, les tests en échec, les cas non exécutés ou ignorés. |
results.json |
L'exécution, sous forme de données. |
--html produit aussi chaque document sous forme de page (index.html pour le
README). --standard iso26262 ou do330 ne produit que les documents de
cette norme. Les documents du kit sont en Markdown et en HTML : collez-les dans
vos propres modèles de documents. (archec doc --template remplit un modèle
Word, mais à partir d'un modèle arche-lang, pas du kit.)
Les niveaux#
ISO 26262-8#
- Impact de l'outil (TI). Un cas d'utilisation est TI2, sauf si un dysfonctionnement ne peut ni introduire d'erreur dans l'élément, ni empêcher d'en détecter une. Il est alors TI1.
- Détection des erreurs de l'outil (TD). TD1, TD2 ou TD3, selon la confiance que vous avez dans la capacité de votre processus à empêcher ou détecter un tel dysfonctionnement.
- Niveau de confiance de l'outil (TCL). TI1 ou TD1 donne TCL1 : aucune qualification n'est nécessaire. TI2 avec TD2 donne TCL2. TI2 avec TD3 donne TCL3.
Par défaut, chaque cas d'utilisation est TI2, TD3, donc TCL3. Le kit
n'affirme rien sur votre processus. Pour chaque cas d'utilisation, la
classification liste les mesures qui justifieraient TD1 ou TD2 : revues, tests
back-to-back, archec difftest, compilation avec les avertissements traités
comme des erreurs, outil indépendant. Si vous les appliquez, indiquez-le dans
la configuration.
DO-330 et DO-178C §12.2#
- Critère 1. La sortie fait partie du logiciel embarqué et pourrait y insérer une erreur. C'est la valeur par défaut pour les générateurs de code.
- Critère 2. L'outil automatise une vérification, et sert à alléger d'autres processus.
- Critère 3. L'outil pourrait ne pas détecter une erreur. C'est la valeur par défaut pour les vérifications et les analyses.
Avec --dal, le niveau de qualification de l'outil (TQL) en découle :
| Critère | DAL A | DAL B | DAL C | DAL D |
|---|---|---|---|---|
| 1 | TQL-1 | TQL-2 | TQL-3 | TQL-4 |
| 2 | TQL-4 | TQL-4 | TQL-5 | TQL-5 |
| 3 | TQL-5 | TQL-5 | TQL-5 | TQL-5 |
Le kit couvre le volet opérationnel de la DO-330 : les TOR (exigences opérationnelles de l'outil) et leur vérification. Pour TQL-1 à TQL-4, le volet développeur est aussi nécessaire. La plupart des projets vérifient plutôt la sortie générée. Le générateur de code sort alors du critère 1 : indiquez-le dans la configuration.
La configuration#
En YAML ou en JSON :
project: Brake controller
asil: C
dal: B
standards: [iso26262, do330] # or both (the default), or one
uses:
check:
td: TD2
justification: Every model change is reviewed; the test plans run in Arche on each merge.
gen-c:
ti: TI2
td: TD1
criterion: 3
justification: The generated C is unit-tested to MC/DC, run back-to-back with the model (archec difftest), and reviewed.
detection: CI job c-verify, review checklist RC-12
cert: {}
uses peut aussi être une liste : [check, gen-c] ou [{ use: gen-c, td: TD2 }].
--use, --asil, --dal et --standard en ligne de commande complètent la
configuration, ou la remplacent.
Le code de sortie :
- 0 quand le kit est rédigé et qu'aucun test n'a échoué ;
- 1 quand un test a échoué. Avec
--strict, aussi quand une exigence d'un cas d'utilisation choisi n'est pas démontrée (pas de test, non exécuté, ou ignoré) ; - 2 pour une option invalide.
Ajouter un cas d'utilisation ou une exigence#
- Ajoutez le
use-casedansexamples/arche-lang/qualification.arche, et ses valeurs par défaut (impact, critère, dysfonctionnements, mesures de détection, documentation) dansUSE_CASESdesrc/qualify.ts.test/qualify.test.jséchoue quand les deux ne concordent pas. - Écrivez l'exigence sur archec avec
refines UC-…, et un cas dansverification.archequi laverifieset désigne ses tests. - Écrivez ses limites connues ci-dessous.
Limites connues#
Les erreurs connues d'archec, par cas d'utilisation. Le kit recopie celles des
cas d'utilisation choisis dans known-problems.md.
Tous les cas d'utilisation#
- Les preuves sont les tests d'archec sur les modèles d'exemple de ce dépôt, pas sur vos modèles. Une construction que votre modèle utilise et qu'aucun exemple n'utilise n'est pas couverte.
- Les traces vont des cas d'utilisation aux exigences, puis aux fichiers ou aux noms de test, pas aux lignes de code. Un test qui passe démontre ce qu'il vérifie, et cela peut être moins que le texte de l'exigence.
- Un test qui a besoin d'un outil externe (un compilateur C, cargo, NuSMV, cppcheck, le dépôt Arche) est ignoré sans lui. Un cas dont tous les tests ont été ignorés ne démontre pas son exigence. Les outils externes ne sont pas qualifiés par ce kit.
--repodoit être le dépôt de l'archec que vous utilisez. L'index de configuration avertit quand le commit de l'exécution ou les empreintes dedist/diffèrent de l'outil décrit.
UC-CHECK#
- Le Python des corps
do,expectet des handlers n'est vérifié que pour les messages et les états qu'il nomme. Le reste est vérifié quand Arche l'exécute. - La parité avec les verdicts de l'application Arche n'est testée que si un dépôt Arche se trouve à côté de celui-ci (sinon,
test/parity.test.jsest ignoré). - Les vérifications des machines à états (états inaccessibles, transitions mortes ou masquées) n'exécutent aucun Python. Elles ne lisent une garde que lorsqu'elle est une simple comparaison (
self.speed < 10,not armed). Avec toute autre garde, elles en disent moins plutôt que de deviner : une transition morte derrière une telle garde n'est donc pas signalée.
UC-BUILD#
- Le projet est vérifié par rapport au schéma Arche fourni avec archec (
schemas/). Une version d'Arche avec un autre schéma peut le lire différemment : vérifiez le projet avec learche-cli checkde cette version.
UC-GEN-C#
- Un corps de handler en Python qui n'est pas écrit dans le langage d'action est laissé en TODO dans le C, et
genle signale. Ce que le modèle ne dit pas n'est pas généré. archec difftestcompare le C au simulateur d'archec, sur les parties qu'il simule. Le temps d'exécution, l'ordonnancement, les bus, les pannes et les procédés ne sont pas comparés (voir le simulateur).- Sans
within,eventuallyetleads tone peuvent pas échouer à l'exécution, et leurs moniteurs sont omis (--monitors). - Dans les tests, le C est compilé avec
-Wall -Wextra -Werror -pedantic. Les constats MISRA C:2012 (l'addon de cppcheck) sont rapportés, mais le code généré n'est pas déclaré conforme.
UC-GEN-EMBASSY#
- Les échéances des ports et des transitions, les watchdogs et les timeouts sont générés en C. Le Rust indique qu'il ne les gère pas encore.
- Une crate générée avant l'arrivée des niveaux de priorité ne démarre pas ces niveaux, et
genle signale. - Les tests lisent la crate générée. Ils ne la construisent avec cargo que si cargo est installé.
UC-GEN-TESTS#
- Un cas dont une étape Python ne peut pas être traduite en C est ignoré dans
c-tests, avec la raison. - En C, les attentes d'un cas ne prennent aucun temps. Un corps qui boucle sans fin est une erreur pour son cas, et le cas suivant s'exécute quand même.
UC-GEN-ARXML#
- Omis : les points d'envoi et de réception de données des runnables, les unités et les contraintes de données. Dans la correspondance champ par champ d'une structure, ses tableaux, champs optionnels et unions sont omis (le groupe de signaux est mis en correspondance).
- Le schéma n'est pas redistribué. L'ARXML, Classic comme Adaptive, n'est validé par rapport à AUTOSAR_00049.xsd que si
AUTOSAR_XSDdésigne une copie de ce fichier ; sinon, ces tests sont ignorés. L'export Adaptive n'a pas encore été validé par rapport au schéma. - Adaptive : les ports UDP et TCP, les délais de découverte de services, E2E, la sécurité, la persistance et la gestion de la santé de la plateforme ne sont pas générés. Les types de données sont ceux de Classic, pas des types d'implémentation C++. Un champ n'est créé que pour un message qui circule dans les deux sens, et les identifiants de son getter et de son setter sont numérotés après les méthodes. Il y a une application par processus, pas une par part. Un microcontrôleur est un ECU Classic : un service qu'il fournit n'a donc pas d'instance fournie.
UC-GEN-DBC#
- La disposition d'une trame est celle du codec (
layout.ts), ou le format de transmission que le message écrit. Un outil DBC et le firmware s'accordent dessus, mais rien ne la compare à une disposition définie hors du modèle.
UC-ANALYZE#
- Les temps de réponse supposent un ordonnancement préemptif à priorités fixes sur chaque cœur, avec le
wcetdonné par le modèle. Un coût que le modèle ne donne pas rend le résultat inconnu, pas nul. Les caches, les interruptions et les blocages hors du modèle ne sont pas comptés. - La charge du bus est la somme des bits par période des messages routés. L'arbitrage, les retransmissions et les trames d'erreur ne sont pas modélisés.
UC-VERIFY#
- NuSMV vérifie les machines sans le temps : une échéance
withinest vérifiée par les moniteurs,archec replayet--conflicts, pas par NuSMV. - Une garde qui n'est pas entièrement traduite peut se déclencher ou non dans le modèle NuSMV : un contre-exemple peut donc être impossible dans le modèle.
leads toeteventuallyexigeraient de l'équité : le modèle généré laisse un état attendre indéfiniment.- Sans NuSMV dans le PATH, chaque propriété est « non vérifiée » (code de sortie 2), jamais prouvée.
UC-SAFETY#
- Les arbres de défaillances dérivés suivent le modèle d'erreurs tel qu'il est écrit. Un chemin d'erreur que le modèle n'écrit pas (une part, un lien ou un mode de défaillance omis) n'y figure pas.
UC-CERT#
- Les niveaux et les traces sont ceux que le modèle écrit :
derives,satisfies,verifies. Une trace tenue hors du modèle n'est pas vue.
UC-REPLAY#
- Un état n'est connu que par le journal. Une vérification qui lit l'état d'une part que le journal ne donne jamais n'est pas vérifiable, et une réponse encore attendue à la fin du journal est non concluante, pas un échec.
UC-REQIF#
- Ce qui n'a pas de place dans le langage est conservé en commentaire à l'import, pas comme donnée. Les attributs sont associés par leur nom (« Object Text », « Description »).
UC-DOC#
- Un champ de modèle de document qui ne peut pas être rempli est signalé dans le document et affiché, et le code de sortie vaut 1. Un champ rempli avec un élément que vous ne visiez pas (un filtre trop large) n'est pas détecté.