Comune-LLM
Does Domain-Specific Fine-Tuning Improve Procedural Rule Application in Small Language Models? An Empirical Study of Italian Municipal Administration
- Ambito
- Modelli linguistici
- Stato
- In corso
Sintesi
Studio sull'effetto del fine-tuning supervisionato di piccoli modelli linguistici sull'applicazione delle regole procedurali dei Comuni italiani: condizioni, competenze, eccezioni e procedure, oltre la sola terminologia. Lo studio è in corso e non ha ancora risultati. Regressioni e risultati negativi saranno riportati con lo stesso rigore dei miglioramenti.
Metodologia
Il benchmark viene validato e congelato prima della baseline e di qualsiasi fine-tuning. Le risposte dei modelli sono valutate da revisori esperti in cieco. I confronti tra modello originale e modello specializzato sono appaiati, a parità di fonti fornite in contesto, e tengono conto della dipendenza tra casi della stessa famiglia.
Risultati e pubblicazioni
Nessun risultato pubblicato. I risultati saranno resi pubblici solo al termine dello studio e dopo approvazione esplicita, inclusi eventuali risultati negativi.