Dipende da cosa intendi per **"si conosce la struttura interna"**.

Possiamo distinguere tre livelli.

### 1. Si conosce completamente: modelli open source/open weights ⭐ Di questi conosciamo l'architettura, gli iperparametri principali, il tokenizer e spesso anche i pesi. Tra i più importanti: | Modello | Architettura nota | Pesi disponibili | | ------------ | ----------------- | ------------------------ | | Llama 3 | sì | sì | | Llama 4 | in gran parte | sì (versioni rilasciate) | | Mistral 7B | sì | sì | | Mixtral 8x7B | sì | sì | | DeepSeek-V3 | sì | sì | | DeepSeek-R1 | sì | sì | | Qwen 3 | sì | sì | | Gemma 3 | sì | sì | | Falcon | sì | sì | | BLOOM | sì | sì | Questi possono essere scaricati e studiati strato per strato. ---

## 2. Si conosce solo l'architettura generale Per questi modelli le aziende pubblicano documenti tecnici ma non tutti i dettagli. Ad esempio: * Gemini * Claude * Grok Sappiamo che: * derivano dai Transformer; * utilizzano attenzione multi-head; * usano embedding, feed-forward network, positional encoding (o varianti); * impiegano tecniche di addestramento come RLHF o metodi simili. Ma non conosciamo: * numero preciso di layer; * dimensione reale degli embedding; * numero esatto di parametri; * dataset completo; * dettagli delle ottimizzazioni. ---

## 3. Struttura quasi completamente sconosciuta Qui rientrano soprattutto i modelli di OpenAI.

Per esempio: * GPT-4 * GPT-4.1 * GPT-5 Si sa solamente che: * appartengono alla famiglia Transformer; * utilizzano enormi quantità di dati; * sono addestrati in più fasi; * sfruttano tecniche di alignment. Non sono pubblici: * numero di layer; * numero di teste di attenzione; * dimensione degli embedding; * eventuale architettura Mixture of Experts; * numero di esperti; * funzione di routing; * dettagli del dataset; * procedura completa di addestramento. Molte informazioni che circolano derivano da analisi esterne o indiscrezioni e non sono confermate. ---

# Ma si possono "aprire"?

Per i modelli open source sì. Per esempio, il modello **Llama 3 8B** contiene circa **32 layer Transformer**. Ogni layer comprende: ``` Embedding ↓ Transformer Block 1 Self Attention Feed Forward ↓ Transformer Block 2 ↓ ... ↓ Transformer Block 32 ↓ Norm ↓ Linear ↓ Softmax ``` Ogni matrice di pesi può essere ispezionata con librerie come PyTorch. --- # Ma anche conoscendo tutto... si capisce come ragiona? Ed è qui che nasce la disciplina detta Mechanistic Interpretability. Anche se possiedi **tutti i miliardi di pesi**, non è semplice capire: * dove sia rappresentato il concetto di "gatto"; * come venga codificata la grammatica; * in quale punto emerga il ragionamento; * come vengano combinate conoscenze diverse per arrivare a una risposta. È un po' come avere lo schema elettrico completo di un cervello artificiale: conoscere tutti i collegamenti non equivale a comprendere immediatamente il processo cognitivo. --- ## Un'osservazione interessante per il libro che stai scrivendo Se il tuo obiettivo è spiegare gli LLM in modo divulgativo, c'è un'idea molto efficace: usare un modello completamente aperto (ad esempio **Llama 3** o **Qwen 3**) come "cavia". È possibile seguire il percorso di un token dall'input fino all'output, mostrando in modo concreto embedding, attenzione, layer Transformer e generazione finale. Anche se i modelli commerciali più avanzati sono chiusi, il principio di funzionamento è sostanzialmente lo stesso. Questo permette al lettore di capire davvero "cosa succede dentro" un LLM senza dover conoscere i dettagli proprietari dei modelli più recenti.