Come funzionano gli SLM

Gli LLM fungono da base per gli SLM. Come i modelli linguistici di grandi dimensioni, i modelli linguistici di piccole dimensioni utilizzano un'architettura basata su reti neurali nota come modello trasformatore. I trasformatori sono diventati fondamentali nell'elaborazione del linguaggio naturale (PNL) e fungono da elementi costitutivi di modelli come il trasformatore generativo pre-addestrato(GPT).

Ecco una breve panoramica dell'architettura trasformativa:

• I codificatori trasformano le sequenze di input in rappresentazioni numeriche chiamate embedding (incorporamenti) che acquisiscono la semantica e la posizione dei token nella sequenza di input.
• Un meccanismo di auto-attenzione consente ai trasformatori di "focalizzare l'attenzione" sui token più importanti nella sequenza di input, indipendentemente dalla loro posizione.
• I decodificatori utilizzano questo meccanismo di auto-attenzione e gli incorporamenti degli codificatori per generare la sequenza di output statisticamente più probabile.

Le tecniche di compressione del modello vengono applicate per creare un modello più snello a partire da uno più grande. Comprimere un modello significa ridurne le dimensioni conservando il più possibile la sua accuratezza. Ecco alcuni metodi comuni di compressione del modello:

• Pruning
• Quantizzazione
• Fattorizzazione a basso rango
• Distillazione della conoscenza

Il pruning rimuove i parametri meno cruciali, ridondanti o non necessari da una rete neurale. I parametri che di solito vengono eliminati includono i pesi numerici corrispondenti alle connessioni tra i neuroni (in questo caso, i pesi saranno impostati su 0), i neuroni stessi o gli strati di una rete neurale.

I modelli sottoposti a pruning dovranno spesso essere messi a punto dopo il pruning per compensare qualsiasi perdita di precisione. Inoltre, è fondamentale sapere quando sono stati eliminati abbastanza parametri, poiché un pruning eccessivo può degradare le prestazioni di un modello.

La quantizzazione converte i dati ad alta precisione in dati a bassa precisione. Ad esempio, i pesi del modello e i valori di attivazione (un numero compreso tra 0 e 1 assegnato ai neuroni in una rete neurale) possono essere rappresentati come numeri interi a 8 bit anziché come numeri in virgola mobile a 32 bit. La quantizzazione può alleggerire il carico computazionale e accelerare l'inferenza.

La quantizzazione può essere incorporata nell'addestramento del modello (noto come addestramento consapevole della quantizzazione o QAT) o effettuata dopo l'addestramento (chiamata quantizzazione post-addestramento o PTQ). La PTQ non richiede la stessa quantità di potenza di calcolo e di dati di addestramento del QAT, ma quest'ultimo può produrre un modello più accurato.

La low-rank factorization scompone una matrice di pesi di grandi dimensioni in una matrice più piccola e di rango inferiore. Questa approssimazione più compatta può comportare un minor numero di parametri, ridurre il numero di calcoli e semplificare operazioni matriciali complesse.

Tuttavia, la fattorizzazione a basso rango può richiedere un'enorme quantità di risorse computazionali ed essere più difficile da implementare. Come il pruning, la rete fattorizzata richiederà una messa a punto per recuperare eventuali perdite di precisione.

La distillazione della conoscenza implica il trasferimento delle conoscenze di un "modello insegnante" pre-addestrato a un "modello studente". Il modello studente è addestrato non solo per eguagliare le previsioni del modello insegnante, ma anche per imitare il suo processo di ragionamento sottostante. In quanto tale, la conoscenza di un modello più ampio viene essenzialmente "distillata" in un modello più piccolo.

La distillazione della conoscenza è un approccio comune a molti SLM. In genere viene utilizzato lo schema di distillazione offline, in cui i pesi del modello insegnante sono congelati e non possono essere modificati durante il processo di distillazione.