Metodologia

Ogni studio di FARL segue lo stesso impianto: le scelte che possono influenzare i risultati sono fissate e registrate prima delle misure.

Protocollo prima dei dati

Domande di ricerca, ipotesi, metriche e criteri di analisi sono scritti in un protocollo versionato e congelato prima della raccolta dei risultati. Una modifica successiva crea una nuova versione, con la storia completa delle versioni precedenti.

Workflow scientifico vincolato

Ogni esperimento attraversa fasi con prerequisiti espliciti (per esempio, il benchmark si congela prima della baseline, e la baseline precede la valutazione del modello specializzato). Il sistema impedisce di saltare le fasi e conserva la storia di ogni transizione; quando un prerequisito cambia, le fasi successive vengono invalidate.

Benchmark congelati e separazione delle risposte attese

I casi di valutazione sono congelati con un'impronta crittografica prima delle esecuzioni. Le risposte attese sono conservate separatamente e non sono accessibili ai componenti che interrogano i modelli. Le suddivisioni dei dati tengono insieme le famiglie di casi correlati, per evitare contaminazioni tra addestramento e valutazione.

Valutazione in cieco

I revisori esperti valutano le risposte senza sapere quale modello o condizione le ha prodotte. L'accesso ai risultati aggregati è sottoposto a embargo fino alla chiusura della revisione.

Analisi e risultati negativi

Le metriche considerano tutte le unità pianificate, incluse le risposte mancanti o non valide, e i confronti sono appaiati con intervalli che tengono conto della dipendenza tra casi della stessa famiglia. Regressioni e risultati negativi sono riportati con lo stesso rigore dei miglioramenti.

Risorse di calcolo governate

I calcoli girano solo su risorse registrate, verificate e autorizzate per il singolo progetto. Le operazioni con costi richiedono un'approvazione esplicita; ogni esecuzione è legata alla fase del workflow a cui appartiene e lascia una traccia verificabile.

Tracciabilità

Le operazioni rilevanti (congelamenti, esecuzioni, revisioni, pubblicazioni) sono registrate in un registro di audit. Nell'area pubblica compaiono solo testi destinati al pubblico e risultati approvati: mai dati riservati, risposte attese o log.