Comment les candidats lancent les tests dans une épreuve de code
Les candidats lancent les tests du projet depuis l’onglet Tests ou le terminal. Faites afficher du TAP par la commande de test pour obtenir une ligne par test.
Les candidats lancent eux-mêmes les tests du projet, aussi souvent qu’ils le veulent, depuis l’onglet Tests de l’éditeur ou depuis le terminal. L’onglet Tests exécute la commande de test de votre kendor.yaml et affiche le résultat. Si cette commande affiche du TAP, chaque test obtient sa propre ligne.
Où se trouvent les tests
Les tests sont des fichiers ordinaires du projet. Placez-les là où votre lanceur de tests les attend, comme tests/, src/__tests__/ ou à côté du code. Les candidats peuvent toujours les ouvrir et les lire, y compris dans les exercices à fichier unique.
Les candidats en sont informés avant de commencer : la page de démarrage indique qu’ils peuvent lancer les tests du projet depuis l’onglet Tests ou le terminal quand ils le veulent.
Empêcher les candidats de modifier vos tests
Listez vos tests comme chemins en lecture seule : dans l’éditeur d’épreuve, choisissez Paramètres et renseignez Chemins en lecture seule, séparés par des virgules. Une entrée est un fichier (phpunit.xml), un dossier (tests/) ou un préfixe se terminant par * (src/test*).
- Les fichiers en lecture seule s’ouvrent verrouillés dans l’éditeur du candidat.
- Si un candidat en modifie un quand même, depuis le terminal ou via un agent IA, Kendor remet votre original avant chaque exécution des tests.
- Chaque enregistrement conserve aussi votre original, de sorte que le code que vous relisez contient toujours vos tests.
Sans chemins en lecture seule, les candidats peuvent modifier les tests comme n’importe quel autre fichier.
Ce qui s’exécute quand un candidat choisit Lancer les tests
L’onglet Tests se trouve dans la barre de gauche de l’éditeur, derrière l’icône de fiole. Choisir Lancer les tests exécute la test.command d’un service de votre kendor.yaml :
- le service nommé dans
kendor.gradeService, si vous l’avez défini - sinon le service sous
preview.service - sinon l’unique service, s’il n’y en a qu’un
version: 1
runtime:
type: python
version: "3.12"
services:
app:
dev:
command: uvicorn main:app --host $HOST --port $PORT --reload
port: 8000
test:
command: pytest --tap-stream
preview:
service: appLa commande s’exécute dans le bac à sable propre au candidat, sur ses fichiers actuels, avec les dépendances déjà installées. Elle s’exécute depuis la racine du projet, ou depuis le workDir du service s’il en a un. Vous pouvez aussi définir la commande dans le formulaire de configuration d’exécution de l’éditeur d’épreuve, dans le champ Commande de test (facultatif), qui écrit le même kendor.yaml.
Les candidats peuvent modifier une partie de kendor.yaml pour leur propre session, comme les services et les étapes d’installation, mais pas la commande de test. Kendor exécute toujours celle que vous avez définie.
Remarque. Sans commande de test, Lancer les tests affiche une erreur demandant un test.command dans kendor.yaml. Vérifiez-le une fois avec Aperçu côté candidat avant de lancer l’épreuve.
Plusieurs services
Pour un projet comptant plusieurs services, comme une API et un worker, listez-les sous kendor.gradeServices. La commande de test de chaque service s’exécute dans son propre dossier, et les lignes sont fusionnées, chacune préfixée par le nom du service : api › creates a user. Voir Applications à plusieurs services.
Ce que voient les candidats
Après une exécution, l’onglet affiche un résumé comme 7/9 passed (78%) et une ligne par test avec sa durée. Les tests en échec s’ouvrent automatiquement pour afficher le message d’échec. Le bouton d’actualisation du résumé relance la suite.
Si la commande n’a affiché aucun TAP, il y a une seule ligne nommée test suite. Elle réussit quand la commande se termine avec le code 0 et échoue sinon. Les candidats peuvent lancer la commande dans le terminal pour en voir la sortie complète.
Si Kendor ne peut pas du tout exécuter la suite, par exemple faute de commande de test, l’onglet affiche l’erreur à la place des lignes.
Obtenir une ligne par test avec TAP
Kendor lit du TAP (lignes ok 1 - name / not ok 2 - name) sur la sortie standard de la commande. Tout ce qui est affiché sur la sortie d’erreur standard est ignoré dans le décompte : le bruit du build qui s’y trouve ne peut donc ni ajouter ni masquer un test.
Ces commandes affichent du TAP dans les bacs à sable de Kendor :
pytest --tap-streamnode --testgo test -json ./... | kendor-gotest-tapcargo test --color never 2>&1 | kendor-cargo-taprm -rf target/surefire-reports; mvn -B -q test 1>&2; kendor-junit-tap 'target/surefire-reports/*.xml'./vendor/bin/phpunit --log-junit /tmp/kendor-phpunit.xml- Python : le Python de Kendor est livré avec
pytest-tap, donc--tap-streamfonctionne sans rien ajouter à vos dépendances. - Node.js :
node --testaffiche du TAP quand il n’est pas relié à un terminal, ce qui est la façon dont l’onglet Tests le lance. - Go, Rust, Java et C++ :
kendor-gotest-tap,kendor-cargo-tapetkendor-junit-tapsont des convertisseurs livrés dans chaque bac à sable.kendor-junit-taplit les rapports XML JUnit : il fonctionne donc aussi pour Gradle (build/test-results/test/*.xml) et pour les lanceurs de tests C++ qui écrivent du XML JUnit. - PHP : quand une commande de test unique à la racine du projet fait écrire à PHPUnit son journal JUnit dans
/tmp/kendor-phpunit.xml, Kendor lit chaque test depuis ce journal.
Astuce. Envoyez la sortie propre à Maven ou Gradle sur la sortie d’erreur standard (1>&2) comme ci-dessus, afin que seul le TAP arrive sur la sortie standard.
Lancer les tests dans le terminal
Les candidats peuvent aussi lancer la même commande, ou n’importe quelle autre, dans le terminal. La sortie y est celle que le lanceur affiche dans un terminal, qui pour certains lanceurs est un format plus lisible que le TAP. Les deux s’exécutent dans le même bac à sable, sur les mêmes fichiers.
Les relecteurs peuvent les lancer aussi
Sur la page de relecture d’un rendu, Ouvrir dans l’éditeur ouvre le code du candidat dans l’éditeur complet avec son propre bac à sable. L’onglet Tests y fonctionne aussi : vous pouvez donc lancer la suite sur exactement ce qu’il a rendu.
Si un candidat a modifié un fichier de test qui n’est pas en lecture seule, l’onglet Solution le signale comme modifié, et Diff vs starter montre ce qu’il a changé. Voir Relire un rendu.