So führen Kandidaten Tests in einem Coding-Screening aus
Kandidaten führen die Tests des Projekts über den Tab Tests oder das Terminal aus. Gib TAP vom Test-Befehl aus, um eine Zeile pro Test zu erhalten.
Kandidaten führen die Tests des Projekts selbst aus, so oft sie möchten, über den Tab Tests im Editor oder über das Terminal. Der Tab Tests führt den Test-Befehl aus deiner kendor.yaml aus und zeigt das Ergebnis. Gibt dieser Befehl TAP aus, erhält jeder Test eine eigene Zeile.
Wo Tests liegen
Tests sind gewöhnliche Dateien im Projekt. Lege sie dorthin, wo dein Test-Runner sie erwartet, etwa tests/, src/__tests__/ oder neben den Code. Kandidaten können sie immer öffnen und lesen, auch bei Einzeldatei-Aufgaben.
Kandidaten werden vor dem Start informiert: Die Startseite sagt ihnen, dass sie die Tests des Projekts jederzeit über den Tab Tests oder das Terminal ausführen können.
Verhindern, dass Kandidaten deine Tests ändern
Führe deine Tests als schreibgeschützte Pfade auf: Wähle im Screening-Editor Einstellungen und trage unter Schreibgeschützte Pfade die Einträge durch Kommas getrennt ein. Ein Eintrag ist eine Datei (phpunit.xml), ein Ordner (tests/) oder ein Präfix, das auf * endet (src/test*).
- Schreibgeschützte Dateien öffnen sich im Editor des Kandidaten gesperrt.
- Ändert ein Kandidat trotzdem eine, über das Terminal oder einen KI-Agenten, stellt Kendor vor jedem Testlauf dein Original wieder her.
- Auch jede Speicherung behält dein Original, sodass der Code, den du prüfst, immer deine Tests enthält.
Ohne schreibgeschützte Pfade können Kandidaten die Tests wie jede andere Datei ändern.
Was läuft, wenn ein Kandidat Tests ausführen wählt
Der Tab Tests befindet sich in der linken Leiste des Editors, hinter dem Becherglas-Symbol. Tests ausführen führt das test.command eines Dienstes in deiner kendor.yaml aus:
- den in
kendor.gradeServicegenannten Dienst, falls du ihn gesetzt hast - andernfalls den Dienst unter
preview.service - andernfalls den einzigen Dienst, wenn es nur einen gibt
version: 1
runtime:
type: python
version: "3.12"
services:
app:
dev:
command: uvicorn main:app --host $HOST --port $PORT --reload
port: 8000
test:
command: pytest --tap-stream
preview:
service: appDer Befehl läuft in der eigenen Sandbox des Kandidaten, auf seinen aktuellen Dateien, mit bereits installierten Abhängigkeiten. Er läuft im Projektstamm oder, falls der Dienst eines hat, in dessen workDir. Du kannst den Befehl auch im Runtime-Konfigurationsformular des Screening-Editors im Feld Testbefehl (optional) festlegen, das dieselbe kendor.yaml schreibt.
Kandidaten können Teile der kendor.yaml für ihre eigene Sitzung ändern, etwa Dienste und Install-Schritte, aber nicht den Test-Befehl. Kendor führt immer den aus, den du festgelegt hast.
Hinweis. Ohne Test-Befehl zeigt Tests ausführen einen Fehler, der test.command in der kendor.yaml verlangt. Prüfe es vor dem Start einmal mit Als Kandidat ansehen.
Mehrere Dienste
Bei einem Projekt mit mehr als einem Dienst, etwa einer API und einem Worker, liste sie unter kendor.gradeServices auf. Der Test-Befehl jedes Dienstes läuft in seinem eigenen Ordner, und die Zeilen werden zusammengeführt, jede mit dem Dienstnamen als Präfix: api › creates a user. Siehe Multi-Service-Apps.
Was Kandidaten sehen
Nach einem Lauf zeigt der Tab eine Zusammenfassung wie 7/9 passed (78%) und eine Zeile pro Test mit seiner Zeit. Fehlgeschlagene Tests klappen automatisch auf und zeigen die Fehlermeldung. Die Aktualisieren-Schaltfläche in der Zusammenfassung führt die Suite erneut aus.
Hat der Befehl kein TAP ausgegeben, gibt es eine einzelne Zeile namens test suite. Sie ist bestanden, wenn der Befehl mit Code 0 endet, und sonst fehlgeschlagen. Kandidaten können den Befehl im Terminal ausführen, um die vollständige Ausgabe zu sehen.
Kann Kendor die Suite gar nicht ausführen, etwa weil es keinen Test-Befehl gibt, zeigt der Tab statt Zeilen den Fehler.
Eine Zeile pro Test mit TAP
Kendor liest TAP (Zeilen wie ok 1 - name / not ok 2 - name) aus der Standardausgabe des Befehls. Alles, was auf der Standardfehlerausgabe erscheint, wird beim Zählen ignoriert, sodass Build-Rauschen dort keinen Test hinzufügen oder verbergen kann.
Diese Befehle geben in den Sandboxes von Kendor TAP aus:
pytest --tap-streamnode --testgo test -json ./... | kendor-gotest-tapcargo test --color never 2>&1 | kendor-cargo-taprm -rf target/surefire-reports; mvn -B -q test 1>&2; kendor-junit-tap 'target/surefire-reports/*.xml'./vendor/bin/phpunit --log-junit /tmp/kendor-phpunit.xml- Python: Kendors Python bringt
pytest-tapmit,--tap-streamfunktioniert also, ohne dass du etwas zu deinen Requirements hinzufügen musst. - Node.js:
node --testgibt TAP aus, wenn es nicht an ein Terminal angehängt ist, und genau so führt der Tab Tests es aus. - Go, Rust, Java und C++:
kendor-gotest-tap,kendor-cargo-tapundkendor-junit-tapsind Konverter, die in jeder Sandbox enthalten sind.kendor-junit-tapliest JUnit-XML-Berichte und funktioniert daher auch für Gradle (build/test-results/test/*.xml) und für C++-Test-Runner, die JUnit-XML schreiben. - PHP: Lässt ein einzelner Test-Befehl im Projektstamm PHPUnit sein JUnit-Protokoll nach
/tmp/kendor-phpunit.xmlschreiben, liest Kendor jeden Test aus diesem Protokoll.
Tipp. Leite die eigene Ausgabe von Maven oder Gradle wie oben auf die Standardfehlerausgabe (1>&2), damit nur das TAP auf der Standardausgabe landet.
Tests im Terminal ausführen
Kandidaten können denselben oder jeden anderen Befehl auch im Terminal ausführen. Die Ausgabe dort ist, was der Runner in einem Terminal ausgibt, bei manchen Runnern ein freundlicheres Format als TAP. Beide laufen in derselben Sandbox auf denselben Dateien.
Auch Reviewer können sie ausführen
Auf der Review-Seite einer Abgabe öffnet Im Editor öffnen den Code des Kandidaten im vollständigen Editor mit eigener Sandbox. Der Tab Tests funktioniert dort ebenfalls, sodass du die Suite genau gegen das ausführen kannst, was abgegeben wurde.
Hat ein Kandidat eine Testdatei bearbeitet, die nicht schreibgeschützt ist, markiert der Tab Lösung sie als geändert, und Diff vs Starter zeigt, was er geändert hat. Siehe Eine Abgabe prüfen.