Proprietà

Cosa sono

• Gli SLM (Small Language Models) sono modelli linguistici progettati per funzionare in ambienti con risorse limitate, come smartphone, sistemi embedded e computer poco potenti.

• In genere hanno da circa 1 milione a 10 miliardi di parametri, molto meno degli LLM, ma mantengono funzionalità fondamentali come:

  • generazione di testo;

  • riassunto;

  • traduzione;

  • question answering.

• Il termine "small" è relativo: alcuni ritengono che modelli con miliardi di parametri non siano realmente "piccoli", ma il nome è ormai di uso comune.

Come vengono ridotti di dimensione

Le principali tecniche sono:

• Knowledge distillation: addestramento di un modello più piccolo ("student") usando un modello più grande ("teacher").

• Pruning: rimozione dei parametri meno importanti.

• Quantization: riduzione della precisione numerica dei pesi (ad esempio da floating point a interi).

Esempi di SLM

Tra i modelli citati:

• Llama 3.2 1B (Meta)

• Qwen 2.5 1.5B (Alibaba)

• DeepSeek-R1 1.5B

• SmolLM2 1.7B

• Phi-3.5 Mini 3.8B (Microsoft)

• Gemma 3 4B (Google DeepMind)

Sono menzionati anche modelli più grandi ma ancora talvolta considerati SLM:

• Mistral 7B

• Gemma 9B

• Phi-4 14B

Vantaggi

• Bassi requisiti computazionali.

• Minore consumo energetico.

• Inferenza più rapida.

• Esecuzione locale senza connessione Internet, con maggiore privacy.

• Costi di distribuzione inferiori.

• Facilità di personalizzazione tramite fine-tuning per domini specifici.

Limiti

• Generalizzazione più limitata rispetto agli LLM.

• Maggiore rischio di bias se addestrati su dataset ridotti.

• Prestazioni inferiori in compiti molto complessi o con forte dipendenza dal contesto.

• Minore robustezza in situazioni ambigue o con input avversari.

Applicazioni pratiche

Gli SLM sono impiegati in:

• chatbot e assistenti virtuali;

• generazione e debugging di codice;

• traduzione automatica offline;

• riassunto e generazione di contenuti;

• applicazioni sanitarie locali;

• dispositivi IoT ed edge computing;

• strumenti educativi personalizzati.

Utilizzo su dispositivi edge

Su smartphone (PocketPal)

L'app PocketPal permette di eseguire SLM direttamente sul dispositivo, offrendo:

• funzionamento offline;

• supporto a diversi modelli (Phi, Gemma, Qwen e altri);

• gestione automatica della memoria;

• configurazione dei parametri di inferenza;

• monitoraggio delle prestazioni (token/s e latenza).

Su PC (Ollama)

Ollama consente di eseguire SLM localmente con:

• gestione semplice dei modelli;

• ottimizzazione per GPU consumer;

• integrazione in workflow personalizzati (ad esempio revisione automatica del codice).

Per iniziare:

1. Installare Ollama.

2. Scaricare un modello (es. qwen2.5:1.5b).

3. Avviarlo in modalità interattiva.

Questo permette di utilizzare chatbot, assistenti alla programmazione e strumenti di sintesi dei documenti completamente in locale, senza dipendere da servizi cloud.