Ablation di fine-tuning su modelli piccoli — Isolare la qualità del dataset su modelli da 1–3B parametri
Uno studio controllato su quanto la sola qualità del dataset sposti i risultati sui modelli piccoli — tenendo fissa la ricetta di training e variando soltanto i dati.
In breve
La maggior parte dei confronti sul fine-tuning cambia più cose alla volta, il che rende difficile attribuire il risultato. Questo progetto fissa la ricetta e varia solo il dataset, così qualsiasi differenza nella valutazione è riconducibile alla qualità dei dati e non agli iperparametri o alla scelta del modello.
Il problema
Un comune, un ambulatorio o una piccola azienda con un uso evidente per un modello linguistico — rispondere a domande ricorrenti sui propri documenti, redigere corrispondenza standard, classificare le richieste in ingresso — di solito sbatte contro lo stesso muro. I dati non possono uscire dalla sede, e i consigli disponibili danno per scontato che possano farlo.
- Inviare dati di cittadini o di pazienti a un'API di terze parti è una questione di protezione dei dati prima ancora che tecnica, e per molti enti pubblici la risposta è semplicemente no.
- La saggezza corrente dice usa un modello più grande, cosa che trasforma il problema in una spesa di hardware e licenze che queste organizzazioni non hanno.
- Nessuno dice loro la cosa utile: quanta parte del divario si chiude curando qualche centinaio di buoni esempi invece di comprare potenza di calcolo — o se, nel loro caso, non si chiuda affatto.
Come questo progetto aiuta
Questo studio risponde a quella domanda con un esperimento controllato invece che con un'opinione. La ricetta di addestramento resta fissa e cambia solo il dataset, così qualsiasi variazione nella valutazione è attribuibile alla qualità dei dati — l'unica variabile che un'organizzazione può governare con il tempo del proprio personale invece che con il budget.
- Dimensionato per l'hardware che si ha già. Modelli nella fascia 1–3B, addestrati con adapter LoRA in circa 12–24 ore GPU ed esportati in GGUF perché il risultato giri in locale — nessun dato esce dalla rete, nessun cluster da acquistare.
- Una prova di fattibilità prima di un acquisto. Eseguire la stessa ablation sui dati dell'organizzazione dice se la curatela arriva a una risposta accettabile prima che qualcuno firmi per la potenza di calcolo o per un contratto con un fornitore.
- La parte trasferibile è il metodo. Fissare la ricetta e far variare una sola cosa è ciò che rende un risultato difendibile in una discussione di gara, dove l'abbiamo provato e sembrava migliore non basta.
- Abbastanza economico da ripetere. Un set di ablation che sta in una giornata di GPU può essere rieseguito ogni volta che i dati cambiano, il che lo trasforma in un controllo continuo invece che in uno studio una tantum.
I modelli piccoli non sostituiscono un modello di frontiera sul lavoro aperto. L'affermazione onesta è più ristretta e più utile: per un compito delimitato sui propri documenti, la qualità dei dati è la leva da tirare per prima, ed è così che si scopre fin dove porta prima di spendere qualsiasi cifra.
Setup
- Fine-tuning di tre modelli nella fascia 1–3B parametri — Phi-3-mini, Qwen2.5-1.5B e Gemma-2B.
- Varianti di dataset costruite e curate con Argilla e distilabel.
- Training con adattatori LoRA / PEFT invece del fine-tuning completo, mantenendo ogni run abbastanza economica da poter essere ripetuta.
- Esportazione in GGUF con quantizzazione per l'inferenza locale.
- Il budget totale è stato di circa 12–24 ore GPU sull'intero set di ablation.
Perché modelli piccoli e perché LoRA
È il vincolo ad aver guidato il progetto. Con 1–3B parametri e adattatori LoRA, un intero sweep di ablation sta in una giornata di tempo GPU, ed è questo che rende possibile provare più varianti di dataset — un fine-tuning completo di un modello più grande avrebbe consentito forse una run sola, e una run sola non può separare la qualità dei dati dal rumore. L'export GGUF chiude il cerchio rendendo ogni modello risultante eseguibile in locale per la valutazione.