Sommario
I sviluppatori Windows possono ora sfruttare PyTorch per eseguire inferenze sui modelli più recenti grazie a DirectML. Con l’aggiornamento a DirectML 1.13 e il supporto per PyTorch 2.2, il pacchetto Torch-DirectML rende semplice l’installazione e l’uso di esperienze AI, permettendo agli sviluppatori di scalare l’AI ai loro clienti su Windows.
Integrazione di PyTorch con DirectML
PyTorch con DirectML fornisce un metodo semplice per gli sviluppatori per provare i modelli AI più recenti sui loro dispositivi Windows. Questo aggiornamento si basa sulla piattaforma di inferenza di classe mondiale di DirectML, assicurando che queste ottimizzazioni offrano un’esperienza scalabile e performante con i modelli di AI generativa più recenti. L’obiettivo è garantire un’esperienza senza interruzioni con modelli rilevanti come Llama 2, Llama 3, Mistral, Phi 2 e Phi 3 Mini, con una copertura che si espanderà ulteriormente nei prossimi mesi.
Installazione e Uso di PyTorch con DirectML
Per utilizzare il pacchetto Torch-DirectML con la GPU di Windows è semplice come eseguire:
Copia codicepip install torch-directml
Una volta installato, è possibile consultare il sample di modello linguistico che permette di eseguire un modello linguistico localmente in breve tempo. Iniziare installando alcuni requisiti e accedendo alla CLI di Hugging Face:
Copia codicepip install –r requirements.txt
huggingface-cli login
Successivamente, eseguire il seguente comando, che scarica il modello specificato di Hugging Face, lo ottimizza per DirectML e lo esegue in una sessione interattiva basata su Gradio:
cssCopia codicepython app.py --model_repo “microsoft/Phi-3-mini-4k-instruct”
Questa esperienza di inferenza senza interruzioni è alimentata dalla stretta collaborazione con i partner hardware per garantire che si ottenga il massimo dalla GPU di Windows utilizzando DirectML.
Collaborazione con Partner Hardware
- AMD: PyTorch con DirectML permette a un numero maggiore di sviluppatori di eseguire modelli LLM localmente. Ulteriori informazioni sugli investimenti di AMD con DirectML.
- Intel: Supporta gli obiettivi di Microsoft per PyTorch con DirectML, ulteriori dettagli sul supporto completo disponibile oggi.
- NVIDIA: Entusiasta dell’uso del pacchetto torch-directml accelerato dalle GPU RTX. Annunci relativi a RTX AI PCs e la collaborazione estesa con Microsoft.
Quantizzazione con DirectML
L’integrazione della quantizzazione con DirectML aiuta gli sviluppatori a ridurre le dimensioni del modello e migliorare le prestazioni su Windows. Questa tecnica permette di ottimizzare i modelli AI per eseguire inferenze più rapide ed efficienti su una gamma di dispositivi.
Anteprima Sviluppatore WebNN con DirectML
L’introduzione della WebNN Developer Preview con DirectML permette agli sviluppatori di creare applicazioni web che sfruttano l’accelerazione hardware per l’inferenza AI. Questo approccio consente di eseguire modelli AI direttamente nei browser, offrendo un’esperienza utente più reattiva e interattiva.
