Llama (modello linguistico)

Oggi Llama (modello linguistico) è un argomento che suscita grande interesse nella società. Che sia per la sua rilevanza storica, per la rilevanza nella vita delle persone o per l'impatto sul mondo, Llama (modello linguistico) ha catturato l'attenzione di un gran numero di persone. Dalle sue origini fino alla sua influenza in diversi ambiti, Llama (modello linguistico) ha generato dibattiti, opinioni contrastanti e ricerche infinite. In questo articolo esploreremo diversi aspetti legati a Llama (modello linguistico), analizzandone il significato, l’impatto e la rilevanza oggi. Inoltre, esamineremo come Llama (modello linguistico) ha influenzato la società e come continua a essere un argomento di interesse per molti.

Llama
software
GenereChat bot
SviluppatoreMeta Platforms
Ultima versione4.0 (5 Aprile 2025)
Sistema operativoMultipiattaforma
LinguaggioPython
LicenzaMeta Llama 3 Community License
(licenza non libera)
LinguaMultilingua
Sito webwww.llama.com/
Modifica dati su Wikidata · Manuale

Llama (acronimo di Large Language Model Meta AI, e precedentemente stilizzato come LLaMA) è una famiglia di modelli linguistici autoregressivi di grandi dimensioni (LLM) pubblicati da Meta AI a partire da febbraio 2023. L'ultima versione è Llama 3.3, rilasciata nel dicembre 2024.[1]

I pesi del modello per la prima versione di Llama sono stati resi disponibili alla comunità di ricerca con una licenza non commerciale e l'accesso è stato concesso caso per caso.[2] Copie non autorizzate del modello sono state condivise via BitTorrent. In risposta, Meta AI ha emesso richieste di rimozione, secondo la legge statunitense DMCA, contro i repository che condividevano il link su GitHub.[3] Le versioni successive di Llama sono state rese accessibili al di fuori del mondo accademico e pubblicate con licenze che consentivano un limitato uso commerciale.[4][5] I modelli di Llama sono addestrati con parametri di dimensioni diverse, comprese tra 7B e 405B. In origine, Llama era disponibile solo come modello fondativo. A partire da Llama 2, Meta AI ha iniziato a pubblicare versioni perfezionate delle istruzioni accanto ai modelli di base.[5]

Parallelamente al lancio di Llama 3, Meta ha aggiunto la funzionalità di assistente virtuale a Facebook e WhatsApp in alcune regioni del mondo selezionate, nonché un sito web autonomo. Entrambi i servizi utilizzano un modello Llama 3.[6]

Confronto dei modelli

Nella colonna dei costi di formazione viene riportato solo il costo del modello più esteso. Ad esempio, "21.000" è il costo di addestramento di Llama 2 cioè 69B in unità di petaFLOP per giorno. Inoltre, 1 petaFLOP-giorno = 1 petaFLOP/sec × 1 giorno = 8,64E19 FLOP.

Nome Data di rilascio Parametri Costo della formazione (petaFLOP-giorno) Lunghezza del contesto Dimensione del corpus Sostenibile commercialmente?
Llama 24 febbraio 2023
  • 6,7 miliardi
  • 13 miliardi
  • 32,5 miliardi
  • 65,2 miliardi
 6.300 [7] 2048 1–1,4 T No
Llama 2 18 luglio 2023
  • 6,7 miliardi
  • 13 miliardi
  • 69 miliardi
 21.000 [8] 4096 2T Si
Codice Llama 24 agosto 2023
  • 6,7 miliardi
  • 13 miliardi
  • 33,7 miliardi
  • 69 miliardi
Llama 3 18 aprile 2024
  • 8 miliardi
  • 70,6 miliardi
 100.000 [9][10] 8192 15T
Llama 3.1 23 luglio 2024
  • 8 miliardi
  • 70.6 miliardi
  • 405 miliardi
 440,000[11] 128,000
Llama 3.2 25 settembre 2024
  • 1 miliardi
  • 3 miliardi
  • 11 miliardi
  • 90 miliardi[12][13]
 128,000[14]

Applicazioni

Il Center for Research on Foundation Models (CRFM) dell'Institute for Human-Centered Artificial Intelligence (HAI) dell'Università di Stanford ha pubblicato Alpaca, una soluzione di addestramento basata sul modello LLaMA 7B che utilizza il metodo “Self-Instruct” di messa a punto delle istruzioni per acquisire capacità paragonabili al modello OpenAI GPT-3 della serie text-davinci-003 a un costo modesto.[15] I file del modello sono stati rimossi il 21 marzo 2023, a causa dei costi di hosting e di problemi di sicurezza, sebbene il codice e il documento sono rimasti online come riferimento.[16][17]

Meditron è una famiglia di strumenti basati su Llama, perfezionati su un insieme di linee guida cliniche, articoli e documenti PubMed. È stato creato dai ricercatori della Facoltà di Informatica e Scienze della Comunicazione dell'École Polytechnique Fédérale di Losanna e della Facoltà di Medicina dell'Università Yale. Mostra prestazioni migliorate nei benchmark correlati alla medicina come MedQA e MedMCQA.[18][19][20]

Zoom ha utilizzato Meta Llama 2 per creare un'intelligenza artificiale in grado di riassumere le riunioni, fornire utili suggerimenti per presentazioni e fare da assistente nelle risposte ai messaggi. Questo assistente AI è alimentato da più modelli, tra cui Meta Llama 2.[21]

Note

  1. ^ (EN) Meta unveils a new, more efficient Llama model, su https://techcrunch.com/. URL consultato il 2 gennaio 2025.
  2. ^ Yuvraj Malik e Katie Paul, Meta heats up Big Tech's AI arms race with new language model, su reuters.com, Reuters, 25 febbraio 2023.
  3. ^ OpSec Online LLC, github/dmca - Notice of Claimed Infringement via Email, su github.com, GitHub, 21 marzo 2023. URL consultato il 25 marzo 2023.
  4. ^ (EN) Emilia David, Meta's AI research head wants open source licensing to change, su The Verge, 30 ottobre 2023.
  5. ^ a b Meta and Microsoft Introduce the Next Generation of LLaMA, su Meta, 18 luglio 2023. URL consultato il 21 luglio 2023.
  6. ^ Meet Your New Assistant: Meta AI, Built With Llama 3, su Meta, 18 aprile 2024. URL consultato il 28 gennaio 2025.
  7. ^ The Falcon has landed in the Hugging Face ecosystem, su huggingface.co, 5 giugno 2023. URL consultato il 28 gennaio 2025.
  8. ^ (EN) Model Details, su GitHub. URL consultato il 28 gennaio 2025.
  9. ^ Andrej Karpathy - The model card has some more interesting info too, su x.com, 18 aprile 2024. URL consultato il 28 gennaio 2025.
  10. ^ (EN) GitHub, https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md. URL consultato il 28 maggio 2024.
  11. ^ (EN) llama-models/models/llama3_1/MODEL_CARD.md at main · meta-llama/llama-models, su GitHub. URL consultato il 23 luglio 2024 (archiviato il 23 luglio 2024).
  12. ^ (EN) Kylie Robison, Meta releases its first open AI model that can process images, su The Verge, 25 settembre 2024. URL consultato il 25 settembre 2024.
  13. ^ (EN) Kyle Wiggers, Meta's Llama AI models get multimodal, su TechCrunch, 25 settembre 2024. URL consultato il 25 settembre 2024 (archiviato il 25 settembre 2024).
  14. ^ Archived copy, su ai.meta.com. URL consultato il 26 settembre 2024 (archiviato il 25 settembre 2024).
  15. ^ Alpaca: A Strong, Replicable Instruction-Following Model, su stanford.edu. URL consultato il 28 gennaio 2025.
  16. ^ (EN) Stanford sends 'hallucinating' Alpaca AI model out to pasture over safety, cost, su theregister.com, 21 marzo 2023. URL consultato il 28 gennaio 2025.
  17. ^ (EN) Stanford Researchers Take Down Alpaca AI Due to ‘Hallucinations’ and Rising Costs, su Gizmodo.
  18. ^ (EN) Meditron: An LLM suite especially suited for low-resource medical settings leveraging Meta Llama, su ai.meta.com. URL consultato il 28 gennaio 2025.
  19. ^ (EN) EPFL's new Large Language Model for Medical Knowledge, su actu.epfl.ch. URL consultato il 28 gennaio 2025.
  20. ^ epfLLM / meditron, su github.com. URL consultato il 28 gennaio 2025.
  21. ^ How Companies Are Using Meta Llama, su Meta, 7 maggio 2024. URL consultato il 28 gennaio 2025.

Collegamenti esterni