Zum Inhalt springen
KendorDocs

So führen Kandidaten Tests in einem Coding-Screening aus

Für Eigentümer und Bearbeiter ·

Kandidaten führen die Tests des Projekts über den Tab Tests oder das Terminal aus. Gib TAP vom Test-Befehl aus, um eine Zeile pro Test zu erhalten.

Kandidaten führen die Tests des Projekts selbst aus, so oft sie möchten, über den Tab Tests im Editor oder über das Terminal. Der Tab Tests führt den Test-Befehl aus deiner kendor.yaml aus und zeigt das Ergebnis. Gibt dieser Befehl TAP aus, erhält jeder Test eine eigene Zeile.

Wo Tests liegen

Tests sind gewöhnliche Dateien im Projekt. Lege sie dorthin, wo dein Test-Runner sie erwartet, etwa tests/, src/__tests__/ oder neben den Code. Kandidaten können sie immer öffnen und lesen, auch bei Einzeldatei-Aufgaben.

Kandidaten werden vor dem Start informiert: Die Startseite sagt ihnen, dass sie die Tests des Projekts jederzeit über den Tab Tests oder das Terminal ausführen können.

Verhindern, dass Kandidaten deine Tests ändern

Führe deine Tests als schreibgeschützte Pfade auf: Wähle im Screening-Editor Einstellungen und trage unter Schreibgeschützte Pfade die Einträge durch Kommas getrennt ein. Ein Eintrag ist eine Datei (phpunit.xml), ein Ordner (tests/) oder ein Präfix, das auf * endet (src/test*).

  • Schreibgeschützte Dateien öffnen sich im Editor des Kandidaten gesperrt.
  • Ändert ein Kandidat trotzdem eine, über das Terminal oder einen KI-Agenten, stellt Kendor vor jedem Testlauf dein Original wieder her.
  • Auch jede Speicherung behält dein Original, sodass der Code, den du prüfst, immer deine Tests enthält.

Ohne schreibgeschützte Pfade können Kandidaten die Tests wie jede andere Datei ändern.

Was läuft, wenn ein Kandidat Tests ausführen wählt

Der Tab Tests befindet sich in der linken Leiste des Editors, hinter dem Becherglas-Symbol. Tests ausführen führt das test.command eines Dienstes in deiner kendor.yaml aus:

  • den in kendor.gradeService genannten Dienst, falls du ihn gesetzt hast
  • andernfalls den Dienst unter preview.service
  • andernfalls den einzigen Dienst, wenn es nur einen gibt
kendor.yaml
version: 1
runtime:
  type: python
  version: "3.12"
services:
  app:
    dev:
      command: uvicorn main:app --host $HOST --port $PORT --reload
      port: 8000
    test:
      command: pytest --tap-stream
preview:
  service: app

Der Befehl läuft in der eigenen Sandbox des Kandidaten, auf seinen aktuellen Dateien, mit bereits installierten Abhängigkeiten. Er läuft im Projektstamm oder, falls der Dienst eines hat, in dessen workDir. Du kannst den Befehl auch im Runtime-Konfigurationsformular des Screening-Editors im Feld Testbefehl (optional) festlegen, das dieselbe kendor.yaml schreibt.

Kandidaten können Teile der kendor.yaml für ihre eigene Sitzung ändern, etwa Dienste und Install-Schritte, aber nicht den Test-Befehl. Kendor führt immer den aus, den du festgelegt hast.

Hinweis. Ohne Test-Befehl zeigt Tests ausführen einen Fehler, der test.command in der kendor.yaml verlangt. Prüfe es vor dem Start einmal mit Als Kandidat ansehen.

Mehrere Dienste

Bei einem Projekt mit mehr als einem Dienst, etwa einer API und einem Worker, liste sie unter kendor.gradeServices auf. Der Test-Befehl jedes Dienstes läuft in seinem eigenen Ordner, und die Zeilen werden zusammengeführt, jede mit dem Dienstnamen als Präfix: api › creates a user. Siehe Multi-Service-Apps.

Was Kandidaten sehen

Nach einem Lauf zeigt der Tab eine Zusammenfassung wie 7/9 passed (78%) und eine Zeile pro Test mit seiner Zeit. Fehlgeschlagene Tests klappen automatisch auf und zeigen die Fehlermeldung. Die Aktualisieren-Schaltfläche in der Zusammenfassung führt die Suite erneut aus.

Hat der Befehl kein TAP ausgegeben, gibt es eine einzelne Zeile namens test suite. Sie ist bestanden, wenn der Befehl mit Code 0 endet, und sonst fehlgeschlagen. Kandidaten können den Befehl im Terminal ausführen, um die vollständige Ausgabe zu sehen.

Kann Kendor die Suite gar nicht ausführen, etwa weil es keinen Test-Befehl gibt, zeigt der Tab statt Zeilen den Fehler.

Eine Zeile pro Test mit TAP

Kendor liest TAP (Zeilen wie ok 1 - name / not ok 2 - name) aus der Standardausgabe des Befehls. Alles, was auf der Standardfehlerausgabe erscheint, wird beim Zählen ignoriert, sodass Build-Rauschen dort keinen Test hinzufügen oder verbergen kann.

Diese Befehle geben in den Sandboxes von Kendor TAP aus:

pytest --tap-stream
  • Python: Kendors Python bringt pytest-tap mit, --tap-stream funktioniert also, ohne dass du etwas zu deinen Requirements hinzufügen musst.
  • Node.js: node --test gibt TAP aus, wenn es nicht an ein Terminal angehängt ist, und genau so führt der Tab Tests es aus.
  • Go, Rust, Java und C++: kendor-gotest-tap, kendor-cargo-tap und kendor-junit-tap sind Konverter, die in jeder Sandbox enthalten sind. kendor-junit-tap liest JUnit-XML-Berichte und funktioniert daher auch für Gradle (build/test-results/test/*.xml) und für C++-Test-Runner, die JUnit-XML schreiben.
  • PHP: Lässt ein einzelner Test-Befehl im Projektstamm PHPUnit sein JUnit-Protokoll nach /tmp/kendor-phpunit.xml schreiben, liest Kendor jeden Test aus diesem Protokoll.

Tipp. Leite die eigene Ausgabe von Maven oder Gradle wie oben auf die Standardfehlerausgabe (1>&2), damit nur das TAP auf der Standardausgabe landet.

Tests im Terminal ausführen

Kandidaten können denselben oder jeden anderen Befehl auch im Terminal ausführen. Die Ausgabe dort ist, was der Runner in einem Terminal ausgibt, bei manchen Runnern ein freundlicheres Format als TAP. Beide laufen in derselben Sandbox auf denselben Dateien.

Auch Reviewer können sie ausführen

Auf der Review-Seite einer Abgabe öffnet Im Editor öffnen den Code des Kandidaten im vollständigen Editor mit eigener Sandbox. Der Tab Tests funktioniert dort ebenfalls, sodass du die Suite genau gegen das ausführen kannst, was abgegeben wurde.

Hat ein Kandidat eine Testdatei bearbeitet, die nicht schreibgeschützt ist, markiert der Tab Lösung sie als geändert, und Diff vs Starter zeigt, was er geändert hat. Siehe Eine Abgabe prüfen.

War dieser Artikel hilfreich?