Oggetti

Descrizione

dta reg (aaaa-mm-gg)

Body

<h2>Cosa sono</h2>
<ul>
<li>
Gli SLM (Small Language Models) sono modelli linguistici progettati per funzionare in ambienti con risorse limitate, come smartphone, sistemi embedded e computer poco potenti.
</li>
<li>
In genere hanno da circa 1 milione a 10 miliardi di parametri, molto meno degli LLM, ma mantengono funzionalit&agrave; fondamentali come:
<ul>
<li>
generazione di testo;
</li>
<li>
riassunto;
</li>
<li>
traduzione;
</li>
<li>
question answering.
</li>
</ul>
</li>
<li>
Il termine "small" &egrave; relativo: alcuni ritengono che modelli con miliardi di parametri non siano realmente "piccoli", ma il nome &egrave; ormai di uso comune.
</li>
</ul>
<h2>Come vengono ridotti di dimensione</h2>
Le principali tecniche sono:
<ul>
<li>
Knowledge distillation: addestramento di un modello pi&ugrave; piccolo ("student") usando un modello pi&ugrave; grande ("teacher").
</li>
<li>
Pruning: rimozione dei parametri meno importanti.
</li>
<li>
Quantization: riduzione della precisione numerica dei pesi (ad esempio da floating point a interi).
</li>
</ul>
<h2>Esempi di SLM</h2>
Tra i modelli citati:
<ul>
<li>
Llama 3.2 1B (Meta)
</li>
<li>
Qwen 2.5 1.5B (Alibaba)
</li>
<li>
DeepSeek-R1 1.5B
</li>
<li>
SmolLM2 1.7B
</li>
<li>
Phi-3.5 Mini 3.8B (Microsoft)
</li>
<li>
Gemma 3 4B (Google DeepMind)
</li>
</ul>
Sono menzionati anche modelli pi&ugrave; grandi ma ancora talvolta considerati SLM:
<ul>
<li>
Mistral 7B
</li>
<li>
Gemma 9B
</li>
<li>
Phi-4 14B
</li>
</ul>
<h2>Vantaggi</h2>
<ul>
<li>
Bassi requisiti computazionali.
</li>
<li>
Minore consumo energetico.
</li>
<li>
Inferenza pi&ugrave; rapida.
</li>
<li>
Esecuzione locale senza connessione Internet, con maggiore privacy.
</li>
<li>
Costi di distribuzione inferiori.
</li>
<li>
Facilit&agrave; di personalizzazione tramite fine-tuning per domini specifici.
</li>
</ul>
<h2>Limiti</h2>
<ul>
<li>
Generalizzazione pi&ugrave; limitata rispetto agli LLM.
</li>
<li>
Maggiore rischio di bias se addestrati su dataset ridotti.
</li>
<li>
Prestazioni inferiori in compiti molto complessi o con forte dipendenza dal contesto.
</li>
<li>
Minore robustezza in situazioni ambigue o con input avversari.
</li>
</ul>
<h2>Applicazioni pratiche</h2>
Gli SLM sono impiegati in:
<ul>
<li>
chatbot e assistenti virtuali;
</li>
<li>
generazione e debugging di codice;
</li>
<li>
traduzione automatica offline;
</li>
<li>
riassunto e generazione di contenuti;
</li>
<li>
applicazioni sanitarie locali;
</li>
<li>
dispositivi IoT ed edge computing;
</li>
<li>
strumenti educativi personalizzati.
</li>
</ul>
<h2>Utilizzo su dispositivi edge</h2>
<h3>Su smartphone (PocketPal)</h3>
L'app PocketPal permette di eseguire SLM direttamente sul dispositivo, offrendo:
<ul>
<li>
funzionamento offline;
</li>
<li>
supporto a diversi modelli (Phi, Gemma, Qwen e altri);
</li>
<li>
gestione automatica della memoria;
</li>
<li>
configurazione dei parametri di inferenza;
</li>
<li>
monitoraggio delle prestazioni (token/s e latenza).
</li>
</ul>
<h3>Su PC (Ollama)</h3>
Ollama consente di eseguire SLM localmente con:
<ul>
<li>
gestione semplice dei modelli;
</li>
<li>
ottimizzazione per GPU consumer;
</li>
<li>
integrazione in workflow personalizzati (ad esempio revisione automatica del codice).
</li>
</ul>
Per iniziare:
<ol>
<li>
Installare Ollama.
</li>
<li>
Scaricare un modello (es. <code>qwen2.5:1.5b</code>).
</li>
<li>
Avviarlo in modalit&agrave; interattiva.
</li>
</ol>
Questo permette di utilizzare chatbot, assistenti alla programmazione e strumenti di sintesi dei documenti completamente in locale, senza dipendere da servizi cloud.
&nbsp;

tipo ogg.

cat

subcat

proprietario

azienda

ute

selez1

op1

codart

codice

codclifor

motivo

url

tag

imgsrc

sunto_breve

sunto_medio

note

keyscrape

Lista tag dell'oggetto (oggettag)
cod_tag	value
embedding	5
llm	9
llm_internal	5
slm	9
wpg	5

Lista delle righe dell'oggetto (oggettir)
tip_pro	cod_pro	descrizione	val_pro	pes_pro

---.