Saltar para o conteúdo
KendorDocs

Como os candidatos executam testes numa triagem de código

Para proprietários e editores ·

Os candidatos executam os testes do próprio projeto a partir do separador Testes ou do terminal. Imprime TAP no comando de teste para obteres uma linha por teste.

Os candidatos executam eles próprios os testes do projeto, as vezes que quiserem, a partir do separador Testes do editor ou do terminal. O separador Testes executa o comando de teste do teu kendor.yaml e mostra o resultado. Se esse comando imprimir TAP, cada teste tem a sua própria linha.

Onde ficam os testes

Os testes são ficheiros normais do projeto. Põe-nos onde o teu executor de testes os espera, como tests/, src/__tests__/ ou ao lado do código. Os candidatos podem sempre abri-los e lê-los, também nos desafios de ficheiro único.

Os candidatos são avisados antes de começar: a página inicial diz que podem executar os testes do projeto a partir do separador Testes ou do terminal quando quiserem.

Impedir que os candidatos alterem os teus testes

Lista os teus testes como caminhos só de leitura: no editor da triagem, escolhe Definições e preenche Caminhos só de leitura, separados por vírgulas. Uma entrada é um ficheiro (phpunit.xml), uma pasta (tests/) ou um prefixo terminado em * (src/test*).

  • Os ficheiros só de leitura abrem bloqueados no editor do candidato.
  • Se um candidato alterar um na mesma, a partir do terminal ou através de um agente de IA, o Kendor repõe o teu original antes de cada execução de testes.
  • Cada gravação mantém também o teu original, por isso o código que revês tem sempre os teus testes.

Sem caminhos só de leitura, os candidatos podem alterar os testes como qualquer outro ficheiro.

O que corre quando um candidato escolhe Executar testes

O separador Testes está na barra esquerda do editor, atrás do ícone do gobelé. Escolher Executar testes executa o test.command de um serviço do teu kendor.yaml:

  • o serviço indicado em kendor.gradeService, se o definiste
  • caso contrário, o serviço em preview.service
  • caso contrário, o único serviço, se só houver um
kendor.yaml
version: 1
runtime:
  type: python
  version: "3.12"
services:
  app:
    dev:
      command: uvicorn main:app --host $HOST --port $PORT --reload
      port: 8000
    test:
      command: pytest --tap-stream
preview:
  service: app

O comando corre dentro da sandbox do próprio candidato, sobre os ficheiros atuais dele, com as dependências já instaladas. Corre a partir da raiz do projeto, ou do workDir do serviço se tiver um. Também podes definir o comando no formulário de configuração de runtime do editor da triagem, no campo Comando de teste (opcional), que escreve o mesmo kendor.yaml.

Os candidatos podem alterar parte do kendor.yaml na sua própria sessão, como os serviços e os passos de instalação, mas não o comando de teste. O Kendor executa sempre o que definiste.

Nota. Sem comando de teste, Executar testes mostra um erro a pedir test.command no kendor.yaml. Verifica-o uma vez com Pré-visualizar como candidato antes de lançares.

Vários serviços

Para um projeto com mais do que um serviço, como uma API e um worker, lista-os em kendor.gradeServices. O comando de teste de cada serviço corre na sua própria pasta, e as linhas são juntas, cada uma com o nome do serviço como prefixo: api › creates a user. Vê Apps com vários serviços.

O que os candidatos veem

Depois de uma execução, o separador mostra um resumo como 7/9 passed (78%) e uma linha por teste com o seu tempo. Os testes que falham abrem automaticamente para mostrar a mensagem de falha. O botão de atualizar no resumo executa a suite de novo.

Se o comando não imprimiu TAP, há uma única linha chamada test suite. Passa quando o comando termina com código 0 e falha caso contrário. Os candidatos podem executar o comando no terminal para ver a saída completa.

Se o Kendor não conseguir executar a suite de todo, por exemplo porque não há comando de teste, o separador mostra o erro em vez de linhas.

Obter uma linha por teste com TAP

O Kendor lê TAP (linhas ok 1 - name / not ok 2 - name) da saída padrão do comando. Tudo o que for impresso no erro padrão é ignorado na contagem, por isso o ruído da build aí não pode adicionar nem esconder um teste.

Estes comandos imprimem TAP nas sandboxes do Kendor:

pytest --tap-stream
  • Python: o Python do Kendor vem com pytest-tap, por isso --tap-stream funciona sem acrescentares nada aos teus requisitos.
  • Node.js: node --test imprime TAP quando não está ligado a um terminal, que é como o separador Testes o executa.
  • Go, Rust, Java e C++: kendor-gotest-tap, kendor-cargo-tap e kendor-junit-tap são conversores que vêm em todas as sandboxes. O kendor-junit-tap lê relatórios XML JUnit, por isso funciona também para o Gradle (build/test-results/test/*.xml) e para executores de testes C++ que escrevem XML JUnit.
  • PHP: quando um único comando de teste na raiz do projeto faz o PHPUnit escrever o seu registo JUnit em /tmp/kendor-phpunit.xml, o Kendor lê cada teste a partir desse registo.

Dica. Envia a saída do próprio Maven ou Gradle para o erro padrão (1>&2) como acima, para que apenas o TAP vá parar à saída padrão.

Executar testes no terminal

Os candidatos podem também executar o mesmo comando, ou qualquer outro, no terminal. A saída aí é o que o executor imprime num terminal, que para alguns executores é um formato mais amigável do que o TAP. Ambos correm na mesma sandbox sobre os mesmos ficheiros.

Os revisores também os podem executar

Na página de revisão de uma submissão, Abrir no editor abre o código do candidato no editor completo com a sua própria sandbox. O separador Testes funciona também aí, por isso podes executar a suite exatamente sobre o que ele submeteu.

Se um candidato editou um ficheiro de teste que não é só de leitura, o separador Solução marca-o como alterado, e Diff vs inicial mostra o que ele mudou. Vê Rever uma submissão.

Este artigo foi útil?