Baichuan Intelligence, la startup fondata dal pioniere dei motori di ricerca cinesi Wang Xiaochuan, ha presentato il suo modello di linguaggio di grandi dimensioni (LLM), Baichuan-13B. Questo passo avvicina Wang al suo sogno di creare un’alternativa cinese a OpenAI.
Il percorso di Baichuan Intelligence
Baichuan è considerata una delle più promettenti sviluppatrici di LLM in Cina, grazie al passato del suo fondatore come prodigio dell’informatica presso l’Università di Tsinghua e alla fondazione del fornitore di motori di ricerca Sogou, successivamente acquisito da Tencent. Wang ha lasciato Sogou alla fine del 2021 e ha lanciato Baichuan in aprile, raccogliendo rapidamente 50 milioni di dollari di finanziamento da un gruppo di investitori angel.
Il modello Baichuan-13B
Baichuan-13B, un modello con 13 miliardi di parametri basato sull’architettura Transformer (la stessa che sottende GPT), è addestrato su dati in cinese e inglese. Il modello è open source e ottimizzato per applicazioni commerciali, secondo la sua pagina GitHub. Baichuan-13B è addestrato su 1,4 trilioni di token, rispetto all’1 trilione di token utilizzati da LLaMa di Meta nel suo modello con 13 miliardi di parametri.
Velocità di sviluppo e disponibilità
Nonostante sia stata avviata solo tre mesi fa, Baichuan ha già raggiunto una notevole velocità di sviluppo. A fine aprile, il team era cresciuto fino a 50 persone e a giugno ha presentato il suo primo LLM, il modello pre-training Baichuan-7B con 7 miliardi di parametri. Ora, il modello fondamentale Baichuan-13B è disponibile gratuitamente per accademici e sviluppatori che hanno ricevuto l’approvazione ufficiale per utilizzarlo a scopi commerciali. Importante notare che il modello offre varianti che possono funzionare su hardware di consumo, tra cui le schede grafiche Nvidia 3090.