La risposta breve: **si conosce la struttura interna solo dei modelli *open‑source***.
Per i modelli *closed‑source* (GPT‑4/4o, Claude 3/3.5, Gemini, Grok, ecc.) **non esiste alcuna descrizione ufficiale completa**: solo paper generici, diagrammi ad alto livello e qualche dettaglio parziale.
---
## 🧩 Modelli di cui *si conosce davvero* la struttura interna
Questi LLM hanno **codice, pesi, architettura e documentazione pubblica**.
Sono quelli che puoi studiare, sezionare, modificare, addestrare e usare come base per ricerca.
### 🔓 **LLaMA / LLaMA‑2 / LLaMA‑3**
- Architettura: Transformer decoder puro
- Pesi e training recipe pubblici
- Documentazione tecnica dettagliata
- Ampia comunità di ricerca
[Sebastian Raschka](https://sebastianraschka.com/llm-architecture-gallery/)
### 🔓 **Mistral (7B, 8x7B, Mixtral, ecc.)**
- Architettura: Transformer con *Sliding Window Attention* e *Grouped Query Attention*
- Paper tecnico completo
- Modelli e pesi disponibili
[Sebastian Raschka](https://sebastianraschka.com/llm-architecture-gallery/)
### 🔓 **OLMo (Allen Institute for AI)**
- Progetto totalmente open: pesi, dataset, training pipeline
- Architettura documentata e replicabile
[Sebastian Raschka](https://sebastianraschka.com/llm-architecture-gallery/)
### 🔓 **Phi‑3 / Phi‑4**
- Modelli piccoli ma completamente aperti
- Architettura e pesi pubblici
[Sebastian Raschka](https://sebastianraschka.com/llm-architecture-gallery/)
### 🔓 **Gemma (Google)**
- Versioni 2B–27B open‑source
- Architettura Transformer documentata
[Sebastian Raschka](https://sebastianraschka.com/llm-architecture-gallery/)
### 🔓 **Qwen (Alibaba)**
- Ampia famiglia di modelli open
- Architettura e pesi pubblici
[Sebastian Raschka](https://sebastianraschka.com/llm-architecture-gallery/)
### 🔓 **GLM (THUDM)**
- Architettura “General Language Model” con documentazione completa
[Sebastian Raschka](https://sebastianraschka.com/llm-architecture-gallery/)
### 🔓 **GPT‑Neo / GPT‑J / GPT‑NeoX (EleutherAI)**
- Implementazioni open dei Transformer GPT‑like
- Codice e pesi pubblici
[Sebastian Raschka](https://sebastianraschka.com/llm-architecture-gallery/)
### 🔓 **xLSTM**
- Architettura alternativa ai Transformer
- Paper e implementazioni pubbliche
[Sebastian Raschka](https://sebastianraschka.com/llm-architecture-gallery/)
---
## 🔒 Modelli di cui *non* si conosce la struttura interna
Questi modelli sono **closed‑source**: niente pesi, niente architettura completa, solo descrizioni vaghe.
### ❌ **GPT‑4 / GPT‑4o / GPT‑5 (OpenAI)**
- Nessuna architettura ufficiale
- Nessun peso
- Solo diagrammi concettuali
### ❌ **Claude 3 / 3.5 (Anthropic)**
- Paper ad alto livello
- Nessuna struttura interna pubblica
### ❌ **Gemini 1.5 / 2.0 (Google)**
- Architettura non divulgata
- Solo overview generiche
### ❌ **Grok (xAI)**
- Nessuna documentazione tecnica completa
### ❌ **Copilot commercial models (Microsoft)**
- Basati su modelli OpenAI → closed
---
## 🧠 Perché la struttura interna è nota solo negli open‑source?
Perché:
- i modelli chiusi sono **proprietari**
- la struttura interna è considerata **vantaggio competitivo**
- rivelare pesi e architettura permetterebbe il **clonaggio** del modello
- molte tecniche di training sono **trade secret**
---
## 📌 In sintesi
**Conosciamo l’architettura interna solo dei modelli open‑source**, in particolare:
**LLaMA, Mistral, OLMo, Phi, Gemma, Qwen, GLM, GPT‑NeoX, xLSTM**.
Tutti gli altri (GPT‑4, Claude, Gemini, Grok…) sono scatole nere.
---
Se vuoi, posso prepararti una **tabella comparativa** tra questi modelli, oppure una **spiegazione tecnica approfondita** di uno specifico LLM:
vuoi approfondire LLaMA, Mistral o OLMo?