Évaluation
Pendant une évaluation : écrit les sorties dans la ligne du jeu d'essai, enregistre des mesures, ou sépare le chemin d'évaluation du chemin normal.
Fonctionnement
Hors évaluation (exécution manuelle, publiée), « Écrire les sorties » et « Enregistrer des mesures » laissent passer les éléments sans rien enregistrer ; les mesures sont tout de même calculées et ajoutées à l'élément pour la mise au point. Les mesures « Exactitude » et « Utilité » demandent un modèle de chat relié à l'entrée « Modèle » : il note la réponse de 1 à 5 avec une justification.
Paramètres
| Paramètre | Type | Détail |
|---|---|---|
| Opération | choix | Valeurs : Enregistrer des mesures, Écrire les sorties dans le jeu d'essai, Séparer évaluation et exécution normale. |
| Sortiesselon les autres paramètres | clé-valeur | Écrites dans la ligne du jeu d'essai en cours ; la colonne doit exister dans la table. |
| Mesureselon les autres paramètres | choix | Valeurs : Mesures personnalisées (valeurs numériques), Exactitude de la réponse (IA, 1 à 5), Utilité de la réponse (IA, 1 à 5), Similarité de texte (0 à 1), Catégorie exacte (0 ou 1), Outils attendus utilisés (0 à 1). |
| Mesuresselon les autres paramètres | clé-valeur | — |
| Question poséeselon les autres paramètres | texte long | — |
| Réponse attendueselon les autres paramètres | texte long | — |
| Réponse obtenueobligatoire · selon les autres paramètres | texte long | — |
| Outils attendusselon les autres paramètres | texte | Noms des outils, séparés par des virgules. |
| Appels d'outils de l'agentselon les autres paramètres | texte | Sortie « toolCalls » du bloc Agent IA. |
| Nom de la mesureselon les autres paramètres | texte | Facultatif : nom par défaut de la mesure choisie. |
Données reçues et renvoyées
- EntréeListe d'éléments (en général un seul : la ligne en cours).
- SortieMesures : l'élément reçu avec « metrics » ({ nom: valeur }) et, pour une mesure IA, « metricsReasoning ». Sorties : l'élément reçu, inchangé. Séparer : l'élément sur « Évaluation » ou « Exécution normale ».
Erreurs
Valeur non numérique, colonne absente de la table, modèle non relié pour une mesure IA, fournisseur indisponible.
À savoir. Les moyennes de chaque mesure s'affichent dans l'onglet « Évaluations » ; chaque cas renvoie à son exécution.
Exemple
Paramètres d'un bloc prêt à l'emploi. Dans l'éditeur, l'onglet Aide du bloc applique cet exemple en un clic.
{
"operation": "setMetrics",
"metric": "stringSimilarity",
"expected": "{{ $node[\"Déclencheur d'évaluation\"].json.attendu }}",
"actual": "{{ $json.response }}"
}