Come i candidati eseguono i test in una prova di coding
I candidati eseguono i test del progetto dalla scheda Test o dal terminale. Stampa TAP dal comando di test per ottenere una riga per ogni test.
I candidati eseguono da soli i test del progetto, tutte le volte che vogliono, dalla scheda Test dell'editor o dal terminale. La scheda Test esegue il comando di test del tuo kendor.yaml e mostra il risultato. Se quel comando stampa TAP, ogni test ottiene una propria riga.
Dove si trovano i test
I test sono normali file del progetto. Mettili dove il tuo test runner se li aspetta, ad esempio tests/, src/__tests__/ o accanto al codice. I candidati possono sempre aprirli e leggerli, anche nelle sfide a file singolo.
I candidati vengono avvisati prima di iniziare: la pagina iniziale dice che possono eseguire i test del progetto dalla scheda Test o dal terminale quando vogliono.
Impedire ai candidati di modificare i tuoi test
Elenca i tuoi test come percorsi di sola lettura: nell'editor della prova scegli Impostazioni e compila Percorsi di sola lettura, separati da virgole. Una voce è un file (phpunit.xml), una cartella (tests/) o un prefisso che termina con * (src/test*).
- I file di sola lettura si aprono bloccati nell'editor del candidato.
- Se un candidato ne modifica comunque uno, dal terminale o tramite un agente IA, Kendor rimette il tuo originale prima di ogni esecuzione dei test.
- Anche ogni salvataggio conserva il tuo originale, quindi il codice che rivedi contiene sempre i tuoi test.
Senza percorsi di sola lettura, i candidati possono modificare i test come qualsiasi altro file.
Che cosa viene eseguito quando un candidato sceglie Esegui i test
La scheda Test si trova nella barra a sinistra dell'editor, dietro l'icona della provetta. Scegliere Esegui i test esegue il test.command di un servizio del tuo kendor.yaml:
- il servizio indicato in
kendor.gradeService, se l'hai impostato - altrimenti il servizio sotto
preview.service - altrimenti l'unico servizio, se ce n'è uno solo
version: 1
runtime:
type: python
version: "3.12"
services:
app:
dev:
command: uvicorn main:app --host $HOST --port $PORT --reload
port: 8000
test:
command: pytest --tap-stream
preview:
service: appIl comando viene eseguito dentro la sandbox del candidato, sui suoi file attuali, con le dipendenze già installate. Parte dalla radice del progetto, oppure dal workDir del servizio se ne ha uno. Puoi impostare il comando anche nel modulo di configurazione runtime dell'editor della prova, nel campo Comando di test (facoltativo), che scrive lo stesso kendor.yaml.
I candidati possono modificare una parte di kendor.yaml per la propria sessione, come i servizi e i passaggi di installazione, ma non il comando di test. Kendor esegue sempre quello che hai impostato tu.
Nota. Senza un comando di test, Esegui i test mostra un errore che richiede test.command in kendor.yaml. Controllalo una volta con Anteprima come candidato prima di avviare.
Più servizi
Per un progetto con più di un servizio, come un'API e un worker, elencali sotto kendor.gradeServices. Il comando di test di ogni servizio viene eseguito nella sua cartella, e le righe vengono unite, ciascuna con il nome del servizio come prefisso: api › creates a user. Vedi App con più servizi.
Che cosa vedono i candidati
Dopo un'esecuzione, la scheda mostra un riepilogo come 7/9 passed (78%) e una riga per ogni test con il suo tempo. I test falliti si aprono automaticamente per mostrare il messaggio di errore. Il pulsante di aggiornamento nel riepilogo esegue di nuovo la suite.
Se il comando non ha stampato TAP, c'è una sola riga chiamata test suite. Passa quando il comando termina con codice 0 e fallisce altrimenti. I candidati possono eseguire il comando nel terminale per vederne l'output completo.
Se Kendor non riesce a eseguire affatto la suite, ad esempio perché manca un comando di test, la scheda mostra l'errore al posto delle righe.
Ottenere una riga per test con TAP
Kendor legge TAP (righe ok 1 - name / not ok 2 - name) dallo standard output del comando. Tutto ciò che viene stampato sullo standard error viene ignorato nel conteggio, quindi il rumore della build lì non può aggiungere né nascondere un test.
Questi comandi stampano TAP nelle sandbox di Kendor:
pytest --tap-streamnode --testgo test -json ./... | kendor-gotest-tapcargo test --color never 2>&1 | kendor-cargo-taprm -rf target/surefire-reports; mvn -B -q test 1>&2; kendor-junit-tap 'target/surefire-reports/*.xml'./vendor/bin/phpunit --log-junit /tmp/kendor-phpunit.xml- Python: il Python di Kendor include
pytest-tap, quindi--tap-streamfunziona senza aggiungere nulla ai tuoi requirements. - Node.js:
node --teststampa TAP quando non è collegato a un terminale, ed è così che la scheda Test lo esegue. - Go, Rust, Java e C++:
kendor-gotest-tap,kendor-cargo-tapekendor-junit-tapsono convertitori presenti in ogni sandbox.kendor-junit-taplegge i report XML JUnit, quindi funziona anche per Gradle (build/test-results/test/*.xml) e per i test runner C++ che scrivono XML JUnit. - PHP: quando un unico comando di test nella radice del progetto fa scrivere a PHPUnit il suo log JUnit in
/tmp/kendor-phpunit.xml, Kendor legge ogni test da quel log.
Suggerimento. Invia allo standard error l'output di Maven o di Gradle (1>&2) come sopra, così sullo standard output arriva solo il TAP.
Eseguire i test nel terminale
I candidati possono eseguire lo stesso comando, o qualsiasi altro, anche nel terminale. L'output lì è ciò che il runner stampa in un terminale, che per alcuni runner è un formato più leggibile di TAP. Entrambi vengono eseguiti nella stessa sandbox sugli stessi file.
Possono eseguirli anche i revisori
Nella pagina di revisione di una consegna, Apri nell'editor apre il codice del candidato nell'editor completo con una sandbox propria. Anche lì la scheda Test funziona, quindi puoi eseguire la suite esattamente su ciò che ha consegnato.
Se un candidato ha modificato un file di test che non è di sola lettura, la scheda Soluzione lo contrassegna come modificato e Diff vs starter mostra che cosa ha cambiato. Vedi Rivedere una consegna.