SLM - Esempi
Sono emersi diversi modelli linguistici, piccoli ma potenti, a dimostrazione che le dimensioni non sono tutto. I seguenti esempi sono modelli linguistici spaziali (SLM) con un numero di parametri compreso tra 1 e 4 miliardi:
- Llama3.2-1B – Una variante da 1 miliardo di parametri sviluppata da Meta eottimizzata per dispositivi edge.
- Qwen2.5-1.5B – Un modello di Alibaba progettato per applicazioni multilingue con 1,5 miliardi di parametri .
- DeepSeeek-R1-1.5B - Il modello di ragionamento di prima generazione di DeepSeek, derivato da Qwen2.5 e contenente 1,5 miliardi di parametri .
- SmolLM2-1.7B – Da HuggingFaceTB, un modello linguistico "piccolo" ( 1,7 miliardi di parametri ) all'avanguardia, addestrato su dataset open source specializzati (FineMath, Stack-Edu e SmolTalk).
- Phi-3.5-Mini-3.8B – Il modello aperto di Microsoft, piccolo ma potente, con 3,8 miliardi di parametri ottimizzato per il ragionamento e la generazione di codice.
- Gemma3-4B - Sviluppato da Google DeepMind, questo modello leggero ma potente, con 4 miliardi di parametri, è multilingue e multimodale.
Ecco altri modelli linguistici più potenti e di piccole dimensioni disponibili: Mistral 7B , Gemma 9B e Phi-4 14B (anche se non sono sicuro che Phi-4 con 14 miliardi di parametri si qualifichi ancora come "piccolo", ma è davvero molto capace :)
Altri famosi slm
Alpaca - Una versione messa a punto di LLaMA, ottimizzata per l'istruzione seguente
Vicuna - Un chatbot open source addestrato da fine-tuning LLaMA
FLAN-T5 Small - Una versione più piccola del modello FLAN-T5
DistilGPT2 - Una versione distillata di GPT-2
BERT-Mini - Un modello BERT più piccolo con 4 strati
- Hugging Face Transformers - State-of-the-art Natural Language Processing for PyTorch and TensorFlow 2.0
- Peft - Parameter-Efficient Fine-Tuning (PEFT) methods
- Periflow - A framework for deploying large language models
- bitsandbytes - 8-bit CUDA functions for PyTorch
- TensorFlow Lite - A set of tools to help developers run TensorFlow models on mobile, embedded, and IoT devices
- ONNX Runtime - Cross-platform, high performance ML inferencing and training accelerator
- DeepFabric - A framework generating high-quality synthetic data for training and evaluating small language models