In anticipo rispetto al debutto di iOS 18 alla WWDC di giugno, Apple ha rilasciato una nuova famiglia di modelli di linguaggio open-source denominata OpenELM (Open-source Efficient Language Models). Questo movimento segna un importante passo avanti nelle iniziative di ricerca e sviluppo AI di Apple, ponendo una particolare enfasi sulla efficienza e l’accessibilità.
OpenELM: caratteristiche e innovazioni
OpenELM si distingue per il suo approccio innovativo nell’allocare efficientemente i parametri all’interno di ciascun layer del modello transformer, risultando in una maggiore accuratezza con una minore quantità di dati di addestramento. Ad esempio, con un budget di parametri di circa un miliardo, OpenELM ha mostrato un miglioramento dell’accuratezza del 2,36% rispetto a modelli precedenti, come OLMo, pur richiedendo la metà dei token di pre-addestramento.
Contributi di OpenELM alla Comunità Open Source
A differenza di pratiche precedenti che si limitavano a fornire solo i pesi del modello e il codice di inferenza, e ad addestrare su set di dati privati, Apple ha deciso di includere nell’uscita di OpenELM l’intero framework per l’addestramento e la valutazione del modello su dataset pubblicamente disponibili. Questo include log di addestramento, diversi checkpoint, e configurazioni di pre-addestramento. Inoltre, è stato rilasciato il codice per convertire i modelli per l’utilizzo nella libreria MLX, facilitando l’inferenza e il fine-tuning su dispositivi Apple.
Implicazioni per iOS 18 e la Privacy
Il rilascio di OpenELM è solo l’ultima delle iniziative di Apple nel campo dell’intelligenza artificiale, in preparazione per iOS 18 che includerà una serie di nuove funzionalità AI. Si prevede che le funzionalità AI di iOS 18 siano alimentate da un modello di linguaggio completamente on-device, offrendo vantaggi in termini di privacy e velocità.
Il lancio di OpenELM da parte di Apple non solo rafforza la sua posizione nel settore AI ma offre anche strumenti preziosi alla comunità di ricerca aperta, incoraggiando ulteriori sviluppi e innovazioni. Con questi avanzamenti, Apple continua a delineare il futuro dell’intelligenza artificiale, concentrando gli sforzi su privacy, efficienza e accessibilità.
Per info sui modelli e codici di applicazioni consultare ARVIX e Huggingface