Comment évaluer équitablement les exercices à la maison
Convenez des critères avant d'ouvrir un rendu, lisez et exécutez le code, traitez les rejeux et les signaux comme du contexte, et enregistrez chaque verdict avant que le jury discute.
Pour évaluer équitablement des exercices à la maison, écrivez à quoi ressemble un bon travail avant d'ouvrir le premier rendu, puis lisez le diff et exécutez le code de la même façon pour chaque candidat. Utilisez les rejeux, l'historique du terminal et les transcriptions d'agents pour comprendre comment le travail a été réalisé, pas comme verdict. Faites enregistrer à chaque évaluateur une recommandation seul avant toute discussion, et notez la raison de la décision finale.
Décidez de vos critères avant de lire quoi que ce soit
Une fois que vous avez vu un rendu, il façonne ce que vous pensez que la tâche testait. Écrivez les critères d'abord, tant que chaque candidat est encore une page blanche.
Limitez-vous à une courte liste d'éléments que vous pouvez montrer du doigt dans le code :
- Exactitude. Fait-il ce que demandait la tâche ? Les tests passent-ils, et les cas limites sont-ils gérés ?
- Clarté. Un collègue pourrait-il le reprendre demain ? Les noms, la structure et les commentaires sont-ils utiles ?
- Tests. Le candidat a-t-il ajouté ou mis à jour des tests pour la modification ?
- Jugement. Est-il resté dans le périmètre, a-t-il fait des compromis sensés et les a-t-il expliqués ?
- Adéquation à la base de code. A-t-il suivi les conventions déjà présentes dans le projet ?
Pour chacun, écrivez une phrase sur ce à quoi ressemblent « fort » et « faible ». Partagez la liste avec chaque évaluateur avant l'arrivée du premier rendu.
Ce qu'il ne faut pas juger
Laissez de côté ce que la tâche ne demandait pas : un autre framework, un formatage parfait, ou des fonctionnalités hors périmètre. Ne récompensez pas le volume. Une petite modification correcte et bien testée vaut mieux qu'une réécriture tentaculaire.
Lisez le diff, puis exécutez-le
Commencez par le diff par rapport au code de départ, pas par tout le projet. Il montre exactement ce que le candidat a modifié et vous évite de noter du code dont il a hérité.
Puis exécutez-le. Lancez l'application, lancez les tests, et essayez les entrées évidentes et une ou deux entrées tordues. Un code qui a l'air juste ne l'est parfois pas, et un code qui paraît étrange fonctionne parfois très bien. Dix minutes d'exécution repèrent ce qu'une heure de lecture manque.
Faites-le dans le même ordre pour chaque candidat, avec les mêmes entrées. La cohérence, c'est l'essentiel de ce qu'on appelle « équitable ».
Utilisez le processus comme contexte, pas comme verdict
De nombreux outils montrent désormais comment un rendu a été construit : un rejeu des frappes, l'historique du terminal, la conversation avec l'agent IA. Ils sont utiles, mais faciles à surinterpréter.
- Les rejeux montrent comment quelqu'un a abordé le problème : par où il a commencé, ce qu'il a essayé en premier, quand il a écrit des tests. Utilisez-les pour répondre à une question que vous avez sur le code, pas pour pénaliser quelqu'un pour un premier jet brouillon.
- L'historique du terminal montre s'il a lancé les tests, lu les logs et vérifié son travail. C'est un vrai signal pour un poste où il devra déboguer des incidents en production.
- Les transcriptions d'agents montrent comment il a briefé l'agent et s'il a vérifié sa sortie. Si les agents étaient autorisés, un usage intensif n'est pas un problème ; un usage sans vérification, si.
Le code final est ce qu'il a choisi de rendre. Jugez-le d'abord, et utilisez le processus pour l'expliquer.
Comment traiter les signaux d'intégrité ?
Les changements d'onglet, les collages venus de l'extérieur de l'éditeur et le temps passé ailleurs sont des faits, pas des accusations. Chacun a de nombreuses raisons ordinaires : consulter une documentation, un message d'un enfant, coller son propre extrait depuis une application de notes.
- Lisez-les à côté du code. Cinquante lignes collées de l'extérieur, suivies d'un code que le candidat ne sait pas expliquer, méritent une question. Le collage d'une URL, non.
- Ne rejetez jamais sur un signal seul. Si quelque chose vous inquiète, interrogez le candidat à ce sujet lors de l'entretien de suivi.
- Appliquez la même lecture à chaque candidat. Si vous ne regardez les signaux que lorsque vous avez déjà des doutes, vous trouverez ce que vous cherchez.
Enregistrez les recommandations avant de discuter
La première opinion exprimée lors d'un débrief entraîne tout le monde dans son sillage. Pour obtenir des jugements indépendants :
- Chaque évaluateur lit et exécute le rendu seul.
- Chacun enregistre une recommandation et quelques lignes de preuves, avant de lire celles des autres.
- Seulement ensuite, le groupe discute. Commencez par les points de désaccord.
- Une personne prend la décision et écrit pourquoi.
Des preuves, ce sont des éléments précis : « a géré le cas du panier vide et ajouté un test pour cela », pas « a l'air solide ».
Écrivez la décision
Notez ce qui a été décidé, par qui, et les principales raisons, en lien avec vos critères. Cela vous aide à donner un retour utile au candidat, garde les tours suivants cohérents, et facilite le repérage d'une dérive quand vous revenez sur un processus de recrutement.
Décidez comment et quand le candidat reçoit une réponse, et tenez-vous-y. Une note courte et précise est une marque de courtoisie dont la plupart des candidats se souviennent.
Le faire dans Kendor
Dans Kendor, ouvrez Candidats, choisissez le candidat et choisissez Ouvrir la révision. Les relecteurs listés sous Relecteurs par défaut sur l'épreuve reçoivent chaque rendu, et le menu Relecteur sur la page de revue en réaffecte un. Plus de détails dans Évaluer un rendu.
Lire et exécuter le code
L'onglet Solution affiche les fichiers rendus, avec Diff vs starter pour voir exactement ce qui a changé. Pour l'exécuter, choisissez Revue en direct : le rendu s'ouvre dans une salle en direct avec son propre bac à sable, où vous pouvez lancer l'application et exécuter les tests. Le rendu d'origine reste inchangé. Pour passer en revue le travail avec le candidat, utilisez Inviter un candidat à côté.
Voir comment il a été construit
- Chronologie rejoue le travail frappe par frappe. Ignorer l'inactivité avance rapidement dans les périodes calmes.
- Terminal rejoue ce qui est apparu dans le terminal du candidat.
- Agents IA affiche chaque conversation avec l'agent, quand les agents étaient autorisés.
- Requêtes liste les requêtes que le candidat a envoyées depuis le panneau Requêtes de l'éditeur.
- Commentaires est l'endroit où les évaluateurs se laissent des notes ;
@nameprévient un collègue.
Les onglets n'apparaissent que lorsqu'il y a quelque chose d'enregistré pour eux.
Signaux d'intégrité
Quand Surveillance est activée pour l'épreuve, l'onglet Activité liste les changements d'onglet, les collages externes et les sorties du plein écran, chacun avec son horaire, ainsi que la durée totale d'absence du candidat. Quand elle est désactivée, aucun signal d'intégrité n'est collecté. Kendor n'enregistre ni l'écran ni la webcam du candidat. Voir Signaux d'intégrité.
Recommandation et décision
Chaque évaluateur choisit une Recommandation : Oui, sans réserve, Plutôt oui, Plutôt non ou Non, sans réserve, avec une note facultative. Les recommandations de tous s'affichent sur la même carte : enregistrez la vôtre avant de lire celles des autres. Quand les évaluateurs sont partagés, Kendor le signale et suggère d'en discuter d'abord.
Ensuite, quelqu'un prend la Décision : Retenir ou Rejeter, avec une raison facultative qui va dans le journal des décisions. Annuler cette décision l'annule. Aucun e-mail n'est envoyé automatiquement au candidat quand vous rejetez ; envoyez le refus vous-même quand vous êtes prêt, avec Envoyer l’e-mail de refus.
Astuce. Gardez vos critères écrits ouverts à côté de la page de revue et citez-les dans votre note de recommandation. Cela rend la note précise, et facilite le règlement des désaccords.