SLM e LLM a confronto: cosa sono i modelli linguistici di piccole dimensioni?

Un modello linguistico di piccole dimensioni (SLM) è una versione ridotta di unmodello linguistico di grandi dimensioni (LLM) che dispone di conoscenze più specializzate, è più veloce da personalizzare e più efficiente da eseguire.

Gli SLM sono addestrati per avere conoscenze specifiche del dominio, a differenza degli LLM che hanno un'ampia conoscenza generale. Considerate le loro dimensioni ridotte, gli SLM richiedono meno risorse di elaborazione per l'addestramento e il deployment, riducendo i costi dell'infrastruttura e accelerando il fine tuning. La natura leggera degli SLM li rende ideali per i dispositivi edge e le applicazioni mobili.

SLM e LLM a confronto

Sia gli SLM che gli LLM sono tipi di sistemi di intelligenza artificiale (IA) addestrati a interpretare il linguaggio umano, compresi i linguaggi di programmazione. In genere, le differenze principali tra LLM e SLM sono la dimensione dei set di dati su cui sono addestrati, i diversi processi utilizzati per addestrarli e i costi e benefici di inizio per diversi scenari di utilizzo.

Come suggeriscono i loro nomi, sia gli LLM che gli SLM sono addestrati su set di dati composti da linguaggio, il che li distingue dai modelli addestrati su immagini (come DALL·E) o video (come Sora). Alcuni esempi di set di dati basati sul linguaggio includono testi di pagine web, codice per sviluppatori, email e manuali.

Una delle applicazioni più note degli SLM e LLM è l'IA generativa (gen AI), che può generare, come suggerisce il nome, risposte di contenuto spontanee a molte query diverse e imprevedibili. Gli LLM, in particolare, sono divenuti ben noti tra il grande pubblico grazie al modello fondativo GPT-4 e a ChatGPT, un chatbot di conversione addestrato su massicci set di dati che utilizza bilioni di parametri per rispondere a una vasta gamma di query umane. Sebbene l'IA gen sia ampiamente diffusa, esistono anche applicazioni non generative degli LLM e SLM, come l'IA predittiva.