Glossario essenziale di Intelligenza Artificiale Generativa: dal Machine Learning all’LLM

“Navigare nel mondo dell’intelligenza artificiale generativa può sembrare un viaggio attraverso una giungla di termini tecnici e acronimi”: questa frase l’ha scritta ChatGPT. Ed è vera. Durante i miei corsi ho sentito l’esigenza di scrivere questo glossario essenziale sull’intelligenza artificiale generativa (ispirato a “The economic potential of generative AI: The next productivity frontier” di McKinsey) dove spiego i concetti fondamentali dell’IA generativa, dal machine learning e deep learning agli LLM, e altro ancora.

La nostra acqua

Prima di tuffarti nel glossario, leggi questa storiella raccontata a dei laureandi dallo scrittore americano David Foster Wallace:

Ci sono due giovani pesci che nuotano uno vicino all’altro e incontrano un pesce più anziano che, nuotando in direzione opposta, fa loro un cenno di saluto e poi dice “Buongiorno ragazzi. Com’è l’acqua?” I due giovani pesci continuano a nuotare per un po’, e poi uno dei due guarda l’altro e gli chiede “ma cosa diavolo è l’acqua?”

Perché l’ho riportata? Lo faccio spiegare a ChatGPT:

Ecco il glossario promesso in ordine alfabetico.

Application Programming Interface (API)

L’interfaccia di programmazione delle applicazioni (API) è un modo per accedere in modo programmatico a modelli, set di dati o altri software, solitamente esterni. In parole povere, se voglio usare la potenza di ChatGPT sul mio sito, devo accedervi grazie alle API.

Artificial Intelligence (AI)

L’intelligenza artificiale (IA o AI in inglese) è la capacità del software di eseguire compiti che richiedono tradizionalmente l’intelligenza umana. Se ne parla dalla metà del Novecento:

Deep Learning

Il deep learning è un sottoinsieme del machine learning (che a sua volta è un sottoinsieme dell’intelligenza artificiale) che utilizza reti neurali profonde, strati di “neuroni” connessi i cui collegamenti hanno parametri o pesi che possono essere addestrati. È particolarmente efficace nell’apprendimento da dati non strutturati come immagini, testi e audio. Facciamo un esempio: Netflix che ti propone show che potrebbero piacerti è machine learning. ChatGPT che inventa testi originali è deep learning.

Fine-Tuning

Letteralmente la “messa a punto fine” è il processo di adattamento di un modello di base pre-addestrato per eseguire meglio un compito specifico. Questo comporta un periodo relativamente breve di addestramento su un set di dati etichettati, che è molto più piccolo del set di dati su cui il modello è stato inizialmente addestrato. Questo ulteriore addestramento permette al modello di apprendere e adattarsi alle sfumature, alla terminologia e ai modelli specifici trovati nel set di dati più piccolo.

Foundation Model (FM)

I modelli di base (FM) sono modelli di deep learning addestrati su enormi quantità di dati non strutturati e non etichettati che possono essere utilizzati per una vasta gamma di compiti direttamente o adattati a compiti specifici attraverso il fine-tuning. Esempi di questi modelli sono GPT-4, PaLM, DALL·E 2 e Stable Diffusion.

Generative AI

L’IA generativa è un’intelligenza artificiale che è tipicamente costruita utilizzando FM e ha capacità che l’IA precedente non aveva, come il generare contenuti: testi, post, audio, video, ecc. Ma non solo. I modelli di base possono anche essere utilizzati per scopi non generativi (per esempio, classificare il “sentiment” dell’utente come negativo o positivo sulla base delle trascrizioni delle chiamate) offrendo un miglioramento significativo rispetto ai modelli precedenti. Un esempio concreto: un’azienda di e-commerce, mettiamo Amazon, potrebbe utilizzare l’AI per generare raccomandazioni personalizzate di prodotti in base al comportamento passato del cliente, alle preferenze e ad altri dati pertinenti. Questo può migliorare l’engagement del cliente, aumentare le vendite e creare un’esperienza più soddisfacente per l’utente.

Graphics Processing Units (GPUs)

Le unità di elaborazione grafica (GPU) sono chip originariamente sviluppati per produrre grafica per computer (per esempio per i videogiochi) e sono anche utili per le applicazioni di deep learning. In contrasto, il machine learning tradizionale di solito viene eseguito su unità di elaborazione centrale (CPU), normalmente indicate come il “processore” di un computer.

Negli ultimi tempi si parla molto dell’esplosione del valore dell’azienda Nvidia, proprio per la continua crescita della domanda di processori per gestire le piattaforme di machine learning.

Large Language Model (LLM)

I modelli di linguaggio di grandi dimensioni (LLM) costituiscono una classe di modelli di base che possono elaborare enormi quantità di testo non strutturato e apprendere le relazioni tra parole o parti di parole, noti come token. Questo permette agli LLM di generare testo in linguaggio naturale, eseguendo compiti come la sintesi o l’estrazione di conoscenze. GPT-4 (che sottende ChatGPT) e LaMDA (il modello dietro Bard di Google) sono esempi di LLM.

Una LLM molto interessante è Alpaca, progetto dell’università di Stanford. Con 7 miliardi di parametri, Alpaca offre performance paragonabili a text-davinci-003 di OpenAI, ma con costi di gestione notevolmente ridotti. Sorprendentemente, il modello può funzionare su un comune PC con 16 GB di RAM e una CPU da 6-8 core, rendendo l’IA avanzata più accessibile. Mentre i modelli più grandi richiedono più RAM, le esigenze di Alpaca rimangono al di sotto di un supercomputer.

Personalmente ho fatto un esperimento: ho installato un LLM sul mio computer. Ecco come è andata:

Machine Learning (ML)

Il machine learning (ML) è un sottoinsieme dell’IA in cui un modello acquisisce capacità dopo essere stato addestrato su molti punti dati di esempio. Gli algoritmi di machine learning rilevano i modelli e apprendono come fare previsioni e raccomandazioni elaborando dati ed esperienze, oppure ricevendo istruzioni di programmazione esplicite. Gli algoritmi si adattano in risposta a nuovi dati ed esperienze.

Ho già fatto l’esempio delle raccomandazioni personalizzate di Netflix, ne riporto un altro. Le banche e le società di carte di credito usano il machine learning per identificare modelli di comportamento sospetti che potrebbero indicare frodi. Per esempio, se la tua carta di credito viene improvvisamente utilizzata in un altro paese per fare acquisti molto costosi, il sistema può rilevare questa anomalia e bloccare ulteriori transazioni per prevenire frodi. Lo stesso meccanismo si usa per l’anti-spam:

Prompt Engineering

L’ingegneria del prompt si riferisce al processo di progettazione, affinamento e ottimizzazione dei prompt di input per guidare un modello di IA generativo verso la produzione di output desiderati (cioè accurati). Ho creato il metodo G.O.L. per dare uno schema nella creazione di buoni prompt:

Structured Data

I dati strutturati sono dati tabulari (per esempio, organizzati in tabelle, database o fogli di calcolo) che possono essere utilizzati per addestrare efficacemente alcuni modelli di machine learning. Lavorando su diversi progetti di AI personalizzata, mi sono reso conto che quello che fa davvero la differenza è la qualità del dato usato per addestrare la macchina: ideale sarebbe avere file di testo e PDF “puliti”.

Transformer

Transformer è un tipo di modello di apprendimento automatico, spesso utilizzato nell’elaborazione del linguaggio naturale (NLP), la tecnologia che consente alle macchine di capire, rispondere e interagire con il linguaggio umano. Questi modelli sono chiamati “transformer” perché “trasformano” le informazioni di input (ad esempio, un testo scritto) in output (ad esempio, una traduzione di quel testo, una risposta a una domanda, ecc.) attraverso una serie di calcoli matematici. All’interno di un Transformer, ci sono due parti principali: l’encoder, che legge e interpreta l’input, e il decoder, che genera l’output. Ad esempio, se stai traducendo dall’italiano all’inglese, l’encoder leggerà e interpreterà l’italiano, e il decoder genererà l’equivalente inglese.

Un aspetto chiave dei modelli Transformer è l’attenzione, o “self-attention”, che permette al modello di dare più importanza a certe parole o frasi durante la traduzione o risposta. Ad esempio, se stai traducendo una frase come “Il gatto ha mangiato il suo cibo”, il modello potrebbe dare più importanza alla parola “gatto” perché è il soggetto della frase.

Inoltre, i modelli Transformer possono gestire input di lunghezze diverse e mantenere informazioni da tutte le parti dell’input, il che li rende molto utili per compiti come la traduzione, la generazione di testo e altre attività di NLP. Un esempio famoso di un modello Transformer è GPT (Generative Pretrained Transformer).

Use Case

I casi d’uso sono applicazioni mirate a una specifica sfida aziendale che producono uno o più risultati misurabili. Ad esempio, nel marketing, l’IA generativa potrebbe essere utilizzata per generare contenuti creativi come email personalizzate.

Unstructured Data

I dati non strutturati mancano di un formato o di una struttura coerente (per esempio: testo, immagini e file audio) e richiedono di solito tecniche più avanzate per estrarre intuizioni. Ma anche da questo punto di vista i passi avanti sono notevoli. Per esempio qui ho raccontato l’esperimento di LLaVa:

Scrivimi per organizzare un evento o un corso sull’intelligenza artificiale generativa

Scrivimi mandami un WhatsApp al 339.6325418 per organizzare un corso o una conferenza sull’A.I. generativa.