Silicon Startup
Candida startup 25 nov · Eventbrite
Tutti gli articoli

Una funzione AI va provata su casi ripetibili

Definire il successo prima di confrontare prompt o modelli.

Pubblicato su Silicon Startup

Il metodo documentato

La guida OpenAI alle valutazioni parte da obiettivo, dati e criteri di misura, poi propone confronti e verifiche continue. La variabilità delle risposte rende insufficiente giudicare un sistema da un unico esempio riuscito.

Una prova da fare

La nostra proposta: per un assistente che riassume richieste, preparare casi ordinari, ambigui e incompleti. Segnare quali fatti deve conservare e quali informazioni non deve inventare. Confrontare due versioni sugli stessi casi, registrando errori, tempi e revisione umana.

Fonti

Consulta i materiali originali su cui si basa questo articolo.