Como os candidatos executam testes numa triagem de código
Os candidatos executam os testes do próprio projeto a partir do separador Testes ou do terminal. Imprime TAP no comando de teste para obteres uma linha por teste.
Os candidatos executam eles próprios os testes do projeto, as vezes que quiserem, a partir do separador Testes do editor ou do terminal. O separador Testes executa o comando de teste do teu kendor.yaml e mostra o resultado. Se esse comando imprimir TAP, cada teste tem a sua própria linha.
Onde ficam os testes
Os testes são ficheiros normais do projeto. Põe-nos onde o teu executor de testes os espera, como tests/, src/__tests__/ ou ao lado do código. Os candidatos podem sempre abri-los e lê-los, também nos desafios de ficheiro único.
Os candidatos são avisados antes de começar: a página inicial diz que podem executar os testes do projeto a partir do separador Testes ou do terminal quando quiserem.
Impedir que os candidatos alterem os teus testes
Lista os teus testes como caminhos só de leitura: no editor da triagem, escolhe Definições e preenche Caminhos só de leitura, separados por vírgulas. Uma entrada é um ficheiro (phpunit.xml), uma pasta (tests/) ou um prefixo terminado em * (src/test*).
- Os ficheiros só de leitura abrem bloqueados no editor do candidato.
- Se um candidato alterar um na mesma, a partir do terminal ou através de um agente de IA, o Kendor repõe o teu original antes de cada execução de testes.
- Cada gravação mantém também o teu original, por isso o código que revês tem sempre os teus testes.
Sem caminhos só de leitura, os candidatos podem alterar os testes como qualquer outro ficheiro.
O que corre quando um candidato escolhe Executar testes
O separador Testes está na barra esquerda do editor, atrás do ícone do gobelé. Escolher Executar testes executa o test.command de um serviço do teu kendor.yaml:
- o serviço indicado em
kendor.gradeService, se o definiste - caso contrário, o serviço em
preview.service - caso contrário, o único serviço, se só houver um
version: 1
runtime:
type: python
version: "3.12"
services:
app:
dev:
command: uvicorn main:app --host $HOST --port $PORT --reload
port: 8000
test:
command: pytest --tap-stream
preview:
service: appO comando corre dentro da sandbox do próprio candidato, sobre os ficheiros atuais dele, com as dependências já instaladas. Corre a partir da raiz do projeto, ou do workDir do serviço se tiver um. Também podes definir o comando no formulário de configuração de runtime do editor da triagem, no campo Comando de teste (opcional), que escreve o mesmo kendor.yaml.
Os candidatos podem alterar parte do kendor.yaml na sua própria sessão, como os serviços e os passos de instalação, mas não o comando de teste. O Kendor executa sempre o que definiste.
Nota. Sem comando de teste, Executar testes mostra um erro a pedir test.command no kendor.yaml. Verifica-o uma vez com Pré-visualizar como candidato antes de lançares.
Vários serviços
Para um projeto com mais do que um serviço, como uma API e um worker, lista-os em kendor.gradeServices. O comando de teste de cada serviço corre na sua própria pasta, e as linhas são juntas, cada uma com o nome do serviço como prefixo: api › creates a user. Vê Apps com vários serviços.
O que os candidatos veem
Depois de uma execução, o separador mostra um resumo como 7/9 passed (78%) e uma linha por teste com o seu tempo. Os testes que falham abrem automaticamente para mostrar a mensagem de falha. O botão de atualizar no resumo executa a suite de novo.
Se o comando não imprimiu TAP, há uma única linha chamada test suite. Passa quando o comando termina com código 0 e falha caso contrário. Os candidatos podem executar o comando no terminal para ver a saída completa.
Se o Kendor não conseguir executar a suite de todo, por exemplo porque não há comando de teste, o separador mostra o erro em vez de linhas.
Obter uma linha por teste com TAP
O Kendor lê TAP (linhas ok 1 - name / not ok 2 - name) da saída padrão do comando. Tudo o que for impresso no erro padrão é ignorado na contagem, por isso o ruído da build aí não pode adicionar nem esconder um teste.
Estes comandos imprimem TAP nas sandboxes do Kendor:
pytest --tap-streamnode --testgo test -json ./... | kendor-gotest-tapcargo test --color never 2>&1 | kendor-cargo-taprm -rf target/surefire-reports; mvn -B -q test 1>&2; kendor-junit-tap 'target/surefire-reports/*.xml'./vendor/bin/phpunit --log-junit /tmp/kendor-phpunit.xml- Python: o Python do Kendor vem com
pytest-tap, por isso--tap-streamfunciona sem acrescentares nada aos teus requisitos. - Node.js:
node --testimprime TAP quando não está ligado a um terminal, que é como o separador Testes o executa. - Go, Rust, Java e C++:
kendor-gotest-tap,kendor-cargo-tapekendor-junit-tapsão conversores que vêm em todas as sandboxes. Okendor-junit-taplê relatórios XML JUnit, por isso funciona também para o Gradle (build/test-results/test/*.xml) e para executores de testes C++ que escrevem XML JUnit. - PHP: quando um único comando de teste na raiz do projeto faz o PHPUnit escrever o seu registo JUnit em
/tmp/kendor-phpunit.xml, o Kendor lê cada teste a partir desse registo.
Dica. Envia a saída do próprio Maven ou Gradle para o erro padrão (1>&2) como acima, para que apenas o TAP vá parar à saída padrão.
Executar testes no terminal
Os candidatos podem também executar o mesmo comando, ou qualquer outro, no terminal. A saída aí é o que o executor imprime num terminal, que para alguns executores é um formato mais amigável do que o TAP. Ambos correm na mesma sandbox sobre os mesmos ficheiros.
Os revisores também os podem executar
Na página de revisão de uma submissão, Abrir no editor abre o código do candidato no editor completo com a sua própria sandbox. O separador Testes funciona também aí, por isso podes executar a suite exatamente sobre o que ele submeteu.
Se um candidato editou um ficheiro de teste que não é só de leitura, o separador Solução marca-o como alterado, e Diff vs inicial mostra o que ele mudou. Vê Rever uma submissão.