Oggetti

Descrizione

dta reg (aaaa-mm-gg)

Body

<div class="rich-text text">
<div id="rich-text-3f59f9930f" class="cms-richtext  " data-dynamic-inner-content="description">
<p>Gli LLM fungono da base per gli SLM. Come i modelli linguistici di grandi dimensioni, i modelli linguistici di piccole dimensioni utilizzano un'architettura basata su <a href="https://www.ibm.com/it-it/think/topics/neural-networks?">reti neurali</a> nota come <a href="https://www.ibm.com/it-it/think/topics/transformer-model?">modello trasformatore</a>. I trasformatori sono diventati fondamentali nell'<a href="https://www.ibm.com/it-it/think/topics/natural-language-processing?">elaborazione del linguaggio naturale (PNL)</a> e fungono da elementi costitutivi di modelli come il <a href="https://www.ibm.com/it-it/think/topics/gpt?">trasformatore generativo pre-addestrato</a>(GPT).</p>
<p>Ecco una breve panoramica dell'architettura trasformativa:</p>
<ul>
<li>I codificatori trasformano le sequenze di input in rappresentazioni numeriche chiamate <a href="https://www.ibm.com/it-it/think/topics/embedding?">embedding (incorporamenti)</a> che acquisiscono la semantica e la posizione dei token nella sequenza di input.</li>
<li>Un meccanismo di auto-attenzione consente ai trasformatori di "focalizzare l'attenzione" sui token pi&ugrave; importanti nella sequenza di input, indipendentemente dalla loro posizione.</li>
<li>I decodificatori utilizzano questo meccanismo di auto-attenzione e gli incorporamenti degli codificatori per generare la sequenza di output statisticamente pi&ugrave; probabile.</li>
</ul>
</div>
</div>
<div class="standalone-title enhanced-title text">
<h3 class="expressive-heading-04  ">Compressione del modello</h3>
</div>
<div class="rich-text text">
<div id="rich-text-320baca4e8" class="cms-richtext  " data-dynamic-inner-content="description">
<p>Le tecniche di compressione del modello vengono applicate per creare un modello pi&ugrave; snello a partire da uno pi&ugrave; grande. Comprimere un modello significa ridurne le dimensioni conservando il pi&ugrave; possibile la sua accuratezza. Ecco alcuni metodi comuni di compressione del modello:</p>
<ul>
<li>Pruning</li>
<li>Quantizzazione</li>
<li>Fattorizzazione a basso rango</li>
<li>Distillazione della conoscenza</li>
</ul>
</div>
</div>
<div class="standalone-title enhanced-title text">
<h3 class="expressive-heading-04  ">Pruning</h3>
</div>
<div class="rich-text text">
<div id="rich-text-1632d4ca6b" class="cms-richtext  " data-dynamic-inner-content="description">
<p>Il pruning rimuove i parametri meno cruciali, ridondanti o non necessari da una rete neurale. I parametri che di solito vengono eliminati includono i pesi numerici corrispondenti alle connessioni tra i neuroni (in questo caso, i pesi saranno impostati su 0), i neuroni stessi o gli strati di una rete neurale.</p>
<p>I modelli sottoposti a pruning dovranno spesso essere <a href="https://www.ibm.com/it-it/think/topics/fine-tuning?">messi a punto</a> dopo il pruning per compensare qualsiasi perdita di precisione. Inoltre, &egrave; fondamentale sapere quando sono stati eliminati abbastanza parametri, poich&eacute; un pruning eccessivo pu&ograve; degradare le prestazioni di un modello.</p>
</div>
</div>
<div class="standalone-title enhanced-title text">
<h3 class="expressive-heading-04  ">Quantizzazione</h3>
</div>
<div class="rich-text text">
<div id="rich-text-59a627b75f" class="cms-richtext  " data-dynamic-inner-content="description">
<p><a href="https://www.ibm.com/it-it/think/topics/quantization?">La quantizzazione</a> converte i dati ad alta precisione in dati a bassa precisione. Ad esempio, i pesi del modello e i valori di attivazione (un numero compreso tra 0 e 1 assegnato ai neuroni in una rete neurale) possono essere rappresentati come numeri interi a 8 bit anzich&eacute; come numeri in virgola mobile a 32 bit. La quantizzazione pu&ograve; alleggerire il carico computazionale e accelerare l'inferenza.</p>
<p>La quantizzazione pu&ograve; essere incorporata nell'addestramento del modello (noto come addestramento consapevole della quantizzazione o QAT) o effettuata dopo l'addestramento (chiamata quantizzazione post-addestramento o PTQ). La PTQ non richiede la stessa quantit&agrave; di potenza di calcolo e di dati di addestramento del QAT, ma quest'ultimo pu&ograve; produrre un modello pi&ugrave; accurato.</p>
</div>
</div>
<div class="standalone-title enhanced-title text">
<h3 class="expressive-heading-04  ">Fattorizzazione a basso rango</h3>
</div>
<div class="rich-text text">
<div id="rich-text-3e39e69a88" class="cms-richtext  " data-dynamic-inner-content="description">
<p>La low-rank factorization scompone una matrice di pesi di grandi dimensioni in una matrice pi&ugrave; piccola e di rango inferiore. Questa approssimazione pi&ugrave; compatta pu&ograve; comportare un minor numero di parametri, ridurre il numero di calcoli e semplificare operazioni matriciali complesse.</p>
<p>Tuttavia, la fattorizzazione a basso rango pu&ograve; richiedere un'enorme quantit&agrave; di risorse computazionali ed essere pi&ugrave; difficile da implementare. Come il pruning, la rete fattorizzata richieder&agrave; una messa a punto per recuperare eventuali perdite di precisione.</p>
</div>
</div>
<div class="standalone-title enhanced-title text">
<h3 class="expressive-heading-04  ">Distillazione della conoscenza</h3>
</div>
<div class="rich-text text">
<div id="rich-text-65dd60cf93" class="cms-richtext  " data-dynamic-inner-content="description">
<p><a href="https://www.ibm.com/it-it/think/topics/knowledge-distillation?">La distillazione della conoscenza</a> implica il trasferimento delle conoscenze di un "modello insegnante" pre-addestrato a un "modello studente". Il modello studente &egrave; addestrato non solo per eguagliare le previsioni del modello insegnante, ma anche per imitare il suo processo di ragionamento sottostante. In quanto tale, la conoscenza di un modello pi&ugrave; ampio viene essenzialmente "distillata" in un modello pi&ugrave; piccolo.</p>
<p>La distillazione della conoscenza &egrave; un approccio comune a molti SLM. In genere viene utilizzato lo schema di distillazione offline, in cui i pesi del modello insegnante sono congelati e non possono essere modificati durante il processo di distillazione.</p>
</div>
</div>
<p>&nbsp;</p>

tipo ogg.

cat

subcat

proprietario

azienda

ute

selez1

op1

codart

codice

codclifor

motivo

url

tag

imgsrc

sunto_breve

sunto_medio

note

keyscrape

Lista tag dell'oggetto (oggettag)
cod_tag	value
ai	5
embedding	5
fine-tuning	5
llm	5
opensource	5
slm	9
tool	5
transformer	5
wpg	5

Lista delle righe dell'oggetto (oggettir)
tip_pro	cod_pro	descrizione	val_pro	pes_pro

---.