LOGISTAR — Scheda Oggetto

Dati oggetto

URL

Apri

Titolo / Descrizione

Sito / Azienda

Estratto / Body

&lt;div class=&quot;rich-text text&quot;&gt;
&lt;div id=&quot;rich-text-3f59f9930f&quot; class=&quot;cms-richtext  &quot; data-dynamic-inner-content=&quot;description&quot;&gt;
&lt;p&gt;Gli LLM fungono da base per gli SLM. Come i modelli linguistici di grandi dimensioni, i modelli linguistici di piccole dimensioni utilizzano un&#039;architettura basata su &lt;a href=&quot;https://www.ibm.com/it-it/think/topics/neural-networks?&quot;&gt;reti neurali&lt;/a&gt; nota come &lt;a href=&quot;https://www.ibm.com/it-it/think/topics/transformer-model?&quot;&gt;modello trasformatore&lt;/a&gt;. I trasformatori sono diventati fondamentali nell&#039;&lt;a href=&quot;https://www.ibm.com/it-it/think/topics/natural-language-processing?&quot;&gt;elaborazione del linguaggio naturale (PNL)&lt;/a&gt; e fungono da elementi costitutivi di modelli come il &lt;a href=&quot;https://www.ibm.com/it-it/think/topics/gpt?&quot;&gt;trasformatore generativo pre-addestrato&lt;/a&gt;(GPT).&lt;/p&gt;
&lt;p&gt;Ecco una breve panoramica dell&#039;architettura trasformativa:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;I codificatori trasformano le sequenze di input in rappresentazioni numeriche chiamate &lt;a href=&quot;https://www.ibm.com/it-it/think/topics/embedding?&quot;&gt;embedding (incorporamenti)&lt;/a&gt; che acquisiscono la semantica e la posizione dei token nella sequenza di input.&lt;/li&gt;
&lt;li&gt;Un meccanismo di auto-attenzione consente ai trasformatori di &quot;focalizzare l&#039;attenzione&quot; sui token pi&amp;ugrave; importanti nella sequenza di input, indipendentemente dalla loro posizione.&lt;/li&gt;
&lt;li&gt;I decodificatori utilizzano questo meccanismo di auto-attenzione e gli incorporamenti degli codificatori per generare la sequenza di output statisticamente pi&amp;ugrave; probabile.&lt;/li&gt;
&lt;/ul&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;standalone-title enhanced-title text&quot;&gt;
&lt;h3 class=&quot;expressive-heading-04  &quot;&gt;Compressione del modello&lt;/h3&gt;
&lt;/div&gt;
&lt;div class=&quot;rich-text text&quot;&gt;
&lt;div id=&quot;rich-text-320baca4e8&quot; class=&quot;cms-richtext  &quot; data-dynamic-inner-content=&quot;description&quot;&gt;
&lt;p&gt;Le tecniche di compressione del modello vengono applicate per creare un modello pi&amp;ugrave; snello a partire da uno pi&amp;ugrave; grande. Comprimere un modello significa ridurne le dimensioni conservando il pi&amp;ugrave; possibile la sua accuratezza. Ecco alcuni metodi comuni di compressione del modello:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Pruning&lt;/li&gt;
&lt;li&gt;Quantizzazione&lt;/li&gt;
&lt;li&gt;Fattorizzazione a basso rango&lt;/li&gt;
&lt;li&gt;Distillazione della conoscenza&lt;/li&gt;
&lt;/ul&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;standalone-title enhanced-title text&quot;&gt;
&lt;h3 class=&quot;expressive-heading-04  &quot;&gt;Pruning&lt;/h3&gt;
&lt;/div&gt;
&lt;div class=&quot;rich-text text&quot;&gt;
&lt;div id=&quot;rich-text-1632d4ca6b&quot; class=&quot;cms-richtext  &quot; data-dynamic-inner-content=&quot;description&quot;&gt;
&lt;p&gt;Il pruning rimuove i parametri meno cruciali, ridondanti o non necessari da una rete neurale. I parametri che di solito vengono eliminati includono i pesi numerici corrispondenti alle connessioni tra i neuroni (in questo caso, i pesi saranno impostati su 0), i neuroni stessi o gli strati di una rete neurale.&lt;/p&gt;
&lt;p&gt;I modelli sottoposti a pruning dovranno spesso essere &lt;a href=&quot;https://www.ibm.com/it-it/think/topics/fine-tuning?&quot;&gt;messi a punto&lt;/a&gt; dopo il pruning per compensare qualsiasi perdita di precisione. Inoltre, &amp;egrave; fondamentale sapere quando sono stati eliminati abbastanza parametri, poich&amp;eacute; un pruning eccessivo pu&amp;ograve; degradare le prestazioni di un modello.&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;standalone-title enhanced-title text&quot;&gt;
&lt;h3 class=&quot;expressive-heading-04  &quot;&gt;Quantizzazione&lt;/h3&gt;
&lt;/div&gt;
&lt;div class=&quot;rich-text text&quot;&gt;
&lt;div id=&quot;rich-text-59a627b75f&quot; class=&quot;cms-richtext  &quot; data-dynamic-inner-content=&quot;description&quot;&gt;
&lt;p&gt;&lt;a href=&quot;https://www.ibm.com/it-it/think/topics/quantization?&quot;&gt;La quantizzazione&lt;/a&gt; converte i dati ad alta precisione in dati a bassa precisione. Ad esempio, i pesi del modello e i valori di attivazione (un numero compreso tra 0 e 1 assegnato ai neuroni in una rete neurale) possono essere rappresentati come numeri interi a 8 bit anzich&amp;eacute; come numeri in virgola mobile a 32 bit. La quantizzazione pu&amp;ograve; alleggerire il carico computazionale e accelerare l&#039;inferenza.&lt;/p&gt;
&lt;p&gt;La quantizzazione pu&amp;ograve; essere incorporata nell&#039;addestramento del modello (noto come addestramento consapevole della quantizzazione o QAT) o effettuata dopo l&#039;addestramento (chiamata quantizzazione post-addestramento o PTQ). La PTQ non richiede la stessa quantit&amp;agrave; di potenza di calcolo e di dati di addestramento del QAT, ma quest&#039;ultimo pu&amp;ograve; produrre un modello pi&amp;ugrave; accurato.&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;standalone-title enhanced-title text&quot;&gt;
&lt;h3 class=&quot;expressive-heading-04  &quot;&gt;Fattorizzazione a basso rango&lt;/h3&gt;
&lt;/div&gt;
&lt;div class=&quot;rich-text text&quot;&gt;
&lt;div id=&quot;rich-text-3e39e69a88&quot; class=&quot;cms-richtext  &quot; data-dynamic-inner-content=&quot;description&quot;&gt;
&lt;p&gt;La low-rank factorization scompone una matrice di pesi di grandi dimensioni in una matrice pi&amp;ugrave; piccola e di rango inferiore. Questa approssimazione pi&amp;ugrave; compatta pu&amp;ograve; comportare un minor numero di parametri, ridurre il numero di calcoli e semplificare operazioni matriciali complesse.&lt;/p&gt;
&lt;p&gt;Tuttavia, la fattorizzazione a basso rango pu&amp;ograve; richiedere un&#039;enorme quantit&amp;agrave; di risorse computazionali ed essere pi&amp;ugrave; difficile da implementare. Come il pruning, la rete fattorizzata richieder&amp;agrave; una messa a punto per recuperare eventuali perdite di precisione.&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class=&quot;standalone-title enhanced-title text&quot;&gt;
&lt;h3 class=&quot;expressive-heading-04  &quot;&gt;Distillazione della conoscenza&lt;/h3&gt;
&lt;/div&gt;
&lt;div class=&quot;rich-text text&quot;&gt;
&lt;div id=&quot;rich-text-65dd60cf93&quot; class=&quot;cms-richtext  &quot; data-dynamic-inner-content=&quot;description&quot;&gt;
&lt;p&gt;&lt;a href=&quot;https://www.ibm.com/it-it/think/topics/knowledge-distillation?&quot;&gt;La distillazione della conoscenza&lt;/a&gt; implica il trasferimento delle conoscenze di un &quot;modello insegnante&quot; pre-addestrato a un &quot;modello studente&quot;. Il modello studente &amp;egrave; addestrato non solo per eguagliare le previsioni del modello insegnante, ma anche per imitare il suo processo di ragionamento sottostante. In quanto tale, la conoscenza di un modello pi&amp;ugrave; ampio viene essenzialmente &quot;distillata&quot; in un modello pi&amp;ugrave; piccolo.&lt;/p&gt;
&lt;p&gt;La distillazione della conoscenza &amp;egrave; un approccio comune a molti SLM. In genere viene utilizzato lo schema di distillazione offline, in cui i pesi del modello insegnante sono congelati e non possono essere modificati durante il processo di distillazione.&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;&amp;nbsp;&lt;/p&gt;

Note

Voto oggetto (1-10)

Precisione (1-10)

Tag (10)

✎ Modifica tag 🤖 Suggerisci AI

          fine-tuning:5, slm:9, ai:5, llm:5, tool:5, opensource:5, transformer:5, embedding:5        

slm 9 ai 5 embedding 5 fine-tuning 5 llm 5 opensource 5 tool 5 transformer 5 transformer 5 wpg 5

ID: 68089 • Tipo: WPG • Reg: 2026-07-15 • Mod: 29/07/2026 20:16