Testes de código · take-homes assíncronos

Take-homes num IDE a sério. Avaliados onde ninguém pode mexer na pontuação.

Q: Os candidatos conseguem ver os testes ocultos?

Não. Os testes ocultos nunca chegam ao browser do candidato: o ficheiro de testes de um exercício de um só ficheiro fica fora do seu workspace, e os testes ocultos só correm quando a submissão é avaliada nos servidores da Kendor. Os ficheiros de teste que o candidato vê são repostos a partir do teu starter antes da avaliação.

Q: E se o código precisar de rede?

As dependências são instaladas antes de a rede ser cortada. Qualquer chamada externa durante os testes falha da mesma forma para todos os candidatos, por isso simula os serviços externos no código inicial.

Q: A Kendor rejeita candidatos automaticamente?

Não. Os resultados dos testes e os sinais de integridade são informação para os revisores. É uma pessoa que faz avançar ou rejeita cada candidato.

Q: Os candidatos têm de instalar alguma coisa?

Não. Abrem o link do convite num browser e chegam ao IDE com as dependências do projeto, o terminal e a pré-visualização prontos. Sem webcam, sem extensão de browser, sem app de desktop.

Os candidatos têm VS Code, um terminal, uma pré-visualização da app a correr e servidores de linguagem, tudo no browser. A avaliação volta a correr o trabalho nos servidores da Kendor, com versões fixas e sem rede, para que a pontuação pertença ao código.

Pede acesso Ver preços

rate-limiterTempo restante01:12:40← Voltar à avaliaçãoSubmeter

Explorador

▾src

limiter.ts

server.ts

store.ts

▾test

limiter.test.ts

kendor.yaml

package.json

README.md

limiter.tslimiter.test.ts

1import type { Store } from './store';

3export class RateLimiter {

4 constructor(private store: Store, private limit = 100) {}

6 async allow(key: string): Promise<boolean> {

7 const bucket = Math.floor(Date.now() / 60_000);

8 const count = await this.store.incr(`${key}:${bucket}`);

9 return count <= this.limit;

10 }

11}

(method) Store.incr(key: string): Promise<number>

Terminal

$ npm test

✓ test/limiter.test.ts (6 tests) 412ms

Tests 6 passed (6)

:3000Pré-visualização

/api/check?key=ada

HTTP/1.1 200 OK

x-ratelimit-remaining: 97

{ "allowed": true }

mainTypeScriptNode.js 22Ln 8, Col 52

Três tipos de pergunta, um só limite de tempo.

Combina projetos completos, exercícios de um só ficheiro e perguntas escritas num mesmo screen. O limite de tempo cobre o screen inteiro, e os candidatos passam livremente de uma pergunta para outra.

Backend séniorAtiva

Desafios 3

rate-limitergithub.com/acme/rate-limiterNode.js 2210 testesPronto

Abrir no editor

parse_durationFicheiro únicoPython 3.128 testesPronto

Abrir no editor

Partilhar o limite entre três regiõesPerguntasRevisão manualPronto

Editar resumo e perguntas

Lista de lançamento

3 de 3 desafios prontos

Limite de tempo

90 minutos⌄

Supervisão

Uma nova execução limpa decide a pontuação.

Os resultados do terminal do candidato não contam. Para avaliar, a Kendor reconstrói o workspace a partir do teu starter nos seus servidores, sobrepõe só os ficheiros que o candidato pode editar e corre os teus testes com as versões fixas do desafio. Os testes ocultos só correm aí.

As mesmas versões para todos os candidatos, para que duas submissões sejam avaliadas da mesma forma.
Sem rede enquanto os testes correm, para que nada fora da sandbox possa mudar um resultado.
Testes, fixtures e comandos de instalação vêm do teu starter, por isso editá-los não muda nada.

← Voltar à submissãoSubmissão n.º 1482 · só leitura9/10 aprovados · registadoCorrer testes ocultos

limiter.ts

6 async allow(key: string): Promise<boolean> {

7 const bucket = Math.floor(Date.now() / 60_000);

8 return (await this.store.incr(key)) <= this.limit;

9 }

Testes0/10 aprovados38 ms o mais lentoExecutado há 2 min.

allows requests up to the limit4 ms
blocks the 101st request3 ms
counts keys separately2 ms
resets when the window rolls over6 ms
propagates store errors2 ms
sets x-ratelimit-remaining11 ms
handles 10k distinct keysOculto38 ms
concurrent calls stay under the limitOculto21 ms
expired buckets are droppedOculto3 ms
burst at the window boundaryOculto5 ms

Sinais de integridade, mostrados como evidência.

Com a supervisão ativa, mudanças de separador, colagens externas e saídas de ecrã inteiro ficam registadas com a hora, e o separador Cronologia reproduz o código tal como foi escrito. A Kendor não os transforma numa pontuação. Uma pessoa lê-os e decide o que significam.

AtividadeSupervisionado

3Mudanças de separador2m 31s fora no total

1Colagem externa

0Saídas de ecrã inteiro

9/10Testes aprovados

16:17:04Fora da triagem durante 1m 12s
16:31:40Colou 214 caracteres de foraconst windowStart = now - (now % this.windowMs);
16:52:18Fora da triagem durante 48s
17:03:55Fora da triagem durante 31s
17:24:09Enviado

Cronologia

31:40 / 1:24:09A ignorar inatividade1×2×4×

Associa um screen a uma oferta de emprego.

Os candidatos recebem o screen no momento em que se candidatam, como link na página de confirmação e como email de convite, por isso ninguém envia convites à mão. Escolhe Sem triagem e as candidaturas ficam à espera de revisão manual.

Senior Backend EngineerAtiva

Triagem · opcional

Associa uma triagem e os candidatos passam à triagem ao candidatarem-se.

Sem triagemAnalisa as candidaturas manualmente.Triagem Backend séniorTypeScript · Python90 min

41Todos0Candidataram-se22Triagem19Em análise

Cada revisor dá o seu próprio veredito.

Os revisores leem o código, os resultados dos testes e a atividade, e cada um regista uma recomendação de Não convicto a Sim convicto, com uma nota que os outros podem ler. Depois alguém da equipa faz avançar ou rejeita o candidato.

Ada Okaforrate-limiter · 9/10 aprovados

RecomendaçãoEm revisão · 2 de 3

MCMaya Chen · há 2 hA lógica da janela está certa, e os testes leem-se como documentação.Sim convicto
JWJonas Wirth · há 1 hTratou a falha do store sem ninguém pedir.Mais sim do que não
PNPriya Nair · agoraA ler a resposta escrita.Ainda sem veredito

Decisão

Rejeitar Avançar

2 de 3 revisões. Ainda assim podes decidir.

Como funciona

Do repositório à decisão em três passos.

Cria o screen
Importa um repositório ou começa com um só ficheiro, adiciona testes (também ocultos) e define o limite de tempo.
Envia-o, ou associa-o a uma vaga
Convida candidatos diretamente, ou deixa que quem se candidata o receba ao candidatar-se.
Avaliar, rever, decidir
A Kendor avalia uma nova execução limpa, cada revisor regista uma recomendação, e tu fazes avançar ou rejeitas.

Perguntas

Os candidatos conseguem ver os testes ocultos?

Não. Os testes ocultos nunca chegam ao browser do candidato: o ficheiro de testes de um exercício de um só ficheiro fica fora do seu workspace, e os testes ocultos só correm quando a submissão é avaliada nos servidores da Kendor. Os ficheiros de teste que o candidato vê são repostos a partir do teu starter antes da avaliação.

E se o código precisar de rede?

As dependências são instaladas antes de a rede ser cortada. Qualquer chamada externa durante os testes falha da mesma forma para todos os candidatos, por isso simula os serviços externos no código inicial.

A Kendor rejeita candidatos automaticamente?

Não. Os resultados dos testes e os sinais de integridade são informação para os revisores. É uma pessoa que faz avançar ou rejeita cada candidato.

Os candidatos têm de instalar alguma coisa?

Não. Abrem o link do convite num browser e chegam ao IDE com as dependências do projeto, o terminal e a pré-visualização prontos. Sem webcam, sem extensão de browser, sem app de desktop.

Mais da Kendor

Todas as funcionalidades

Faz o teu próximo teste na Kendor. Lê o que o código diz.

A Kendor trabalha com equipas de engenharia na UE, no Reino Unido e nos EUA. Diz-nos para que funções estás a contratar e configuramos a tua organização contigo.