Como rever take-homes de forma justa
Acordem os critérios antes de abrir uma submissão, leiam e corram o código, tratem reproduções e sinais como contexto e registem cada veredicto antes de o painel discutir.
Para rever take-homes de forma justa, escreve o que é bom antes de abrires a primeira submissão e depois lê o diff e corre o código de cada candidato da mesma maneira. Usa reproduções, o histórico do terminal e as transcrições dos agentes para perceber como o trabalho foi feito, não como veredicto. Pede a cada revisor que registe uma recomendação sozinho antes de qualquer discussão e escreve o motivo da decisão final.
Define os critérios antes de leres o que quer que seja
Depois de veres uma submissão, ela molda o que pensas que a tarefa estava a testar. Escreve primeiro os critérios, enquanto todos os candidatos ainda são uma página em branco.
Mantém uma lista curta de coisas que consigas apontar no código:
- Correção. Faz o que a tarefa pedia? Os testes passam e os casos limite estão tratados?
- Clareza. Um colega conseguiria pegar nisto amanhã? Os nomes, a estrutura e os comentários ajudam?
- Testes. O candidato adicionou ou atualizou testes para a alteração?
- Discernimento. Manteve-se no âmbito, fez compromissos sensatos e explicou-os?
- Adequação ao código existente. Seguiu as convenções que o projeto já tinha?
Para cada um, escreve uma frase sobre o que é «forte» e o que é «fraco». Partilha a lista com todos os revisores antes de chegar a primeira submissão.
O que não avaliar
Deixa de fora o que a tarefa não pedia: outra framework, formatação perfeita ou funcionalidades fora do âmbito. Não premeies o volume. Uma alteração pequena, correta e bem testada vale mais do que uma reescrita desmesurada.
Lê o diff e depois corre-o
Começa pelo diff face ao código inicial, não pelo projeto inteiro. Mostra exatamente o que o candidato alterou e evita que avalies código que ele herdou.
Depois corre-o. Inicia a aplicação, corre os testes e experimenta as entradas óbvias e uma ou duas incómodas. O código que parece certo por vezes não está, e o código que parece estranho por vezes funciona bem. Dez minutos a correr apanham o que uma hora de leitura deixa escapar.
Faz isto pela mesma ordem para todos os candidatos, com as mesmas entradas. A consistência é quase tudo o que «justo» significa.
Usa o processo como contexto, não como veredicto
Muitas ferramentas mostram agora como uma submissão foi construída: uma reprodução tecla a tecla, o histórico do terminal, a conversa com o agente de IA. São úteis, mas é fácil ler demasiado nelas.
- As reproduções mostram como alguém abordou o problema: por onde começou, o que tentou primeiro, quando escreveu testes. Usa-as para responder a uma dúvida que tenhas sobre o código, não para penalizar alguém por um primeiro rascunho desarrumado.
- O histórico do terminal mostra se correram os testes, leram logs e verificaram o seu trabalho. É um sinal real para uma função em que vão depurar problemas de produção.
- As transcrições dos agentes mostram como instruíram o agente e se verificaram o resultado. Se os agentes eram permitidos, o uso intenso não é um problema; o uso sem verificação é.
O código final é o que escolheram entregar. Avalia isso primeiro e usa o processo para o explicar.
Como deves tratar os sinais de integridade?
Mudanças de separador, colagens de fora do editor e tempo ausente são factos, não acusações. Há muitos motivos normais para cada um: consultar documentação, uma mensagem de um filho, colar o seu próprio excerto de uma aplicação de notas.
- Lê-os ao lado do código. Cinquenta linhas coladas de fora, seguidas de código que o candidato não consegue explicar, merecem uma pergunta. Colar um URL não.
- Nunca rejeites só por causa de um sinal. Se algo te preocupa, pergunta ao candidato na entrevista de seguimento.
- Aplica a mesma leitura a todos os candidatos. Se só olhas para os sinais quando já tens dúvidas, vais encontrar o que procuras.
Regista as recomendações antes de discutir
A primeira opinião dita numa reunião de balanço puxa todos os outros para ela. Para obter juízos independentes:
- Cada revisor lê e corre a submissão sozinho.
- Cada um regista uma recomendação e algumas linhas de provas, antes de ler as dos outros.
- Só então o grupo discute. Começa pelos pontos de desacordo.
- Uma pessoa toma a decisão e escreve porquê.
Provas significa pormenores concretos: «tratou o caso do carrinho vazio e adicionou um teste para ele», não «parece sólido».
Escreve a decisão
Regista o que foi decidido, por quem e os principais motivos, ligados aos teus critérios. Isto ajuda-te a dar ao candidato um feedback útil, mantém as rondas seguintes consistentes e facilita detetar desvios quando olhas para trás para uma ronda de contratação.
Decide como e quando o candidato recebe resposta e cumpre. Uma nota curta e concreta é uma cortesia de que a maioria dos candidatos se lembra.
Fazê-lo no Kendor
No Kendor, abre Candidatos, escolhe o candidato e escolhe Abrir revisão. Os revisores listados em Revisores predefinidos na triagem recebem todas as submissões, e o menu Revisor na página de revisão reatribui uma. Mais em Rever uma submissão.
Ler e correr o código
O separador Solução mostra os ficheiros submetidos, com Diff vs inicial para ver exatamente o que mudou. Para o correr, escolhe Revisão ao vivo: a submissão abre numa sala ao vivo com a sua própria sandbox, onde podes iniciar a aplicação e correr os testes. A submissão original fica inalterada. Para percorrer o trabalho com o candidato, usa Convidar candidato ao lado.
Ver como foi construído
- Cronologia reproduz o trabalho tecla a tecla. Ignorar inatividade avança depressa pelos períodos calmos.
- Terminal reproduz o que apareceu no terminal do candidato.
- Agentes de IA mostra cada conversa com o agente, quando os agentes eram permitidos.
- Pedidos lista os pedidos que o candidato enviou a partir do painel Pedidos do editor.
- Comentários é onde os revisores deixam notas uns aos outros;
@namenotifica um colega.
Os separadores só aparecem quando há algo gravado para eles.
Sinais de integridade
Quando a Supervisão está ativa na triagem, o separador Atividade lista mudanças de separador, colagens externas e saídas do ecrã inteiro, cada uma com a respetiva hora, e o tempo total que o candidato esteve ausente. Quando está desativada, não se recolhem sinais de integridade. O Kendor não grava o ecrã nem a webcam do candidato. Vê Sinais de integridade.
Recomendação e decisão
Cada revisor escolhe uma Recomendação: Sim convicto, Tende a sim, Tende a não ou Não convicto, com uma nota opcional. As recomendações de todos aparecem no mesmo cartão, por isso regista a tua antes de leres as outras. Quando os revisores se dividem, o Kendor di-lo e sugere conversarem primeiro.
Depois alguém toma a Decisão: Avançar ou Rejeitar, com um motivo opcional que vai para o registo de decisões. Anular esta decisão inverte-a. Nada é enviado por email ao candidato automaticamente quando rejeitas; envia tu a rejeição quando estiveres pronto, com Enviar e-mail de recusa.
Dica. Mantém os teus critérios escritos abertos ao lado da página de revisão e cita-os na nota da recomendação. Mantém a nota concreta e facilita resolver desacordos.