SuperCLUE: GPT4 continua a classificarsi al primo posto nella lista dei grandi modelli cinesi nell'ottobre 2023

Di recente, SuperCLUE ha pubblicato l'ultimo elenco dei grandi modelli cinesi di ottobre . GPT4 ha continuato a dominare la classifica, classificandosi al primo posto. Il modello di grandi dimensioni vivoLM, sviluppato internamente da Vivo, si è classificato al quarto posto con un punteggio di 70,74, classificandosi al primo posto tra i modelli di grandi dimensioni nazionali .

Dopo vivoLM ci sono Moonshot di Dark Side of the Moon, Wenxin Yiyan 4.0 di Baidu e SenseChat 3.0 di SenseTime.

SuperCLUE esamina principalmente le prestazioni di modelli di grandi dimensioni nelle capacità della lingua cinese, tra cui centinaia di attività in quattro dimensioni principali delle capacità: conoscenze e competenze professionali, comprensione e generazione della lingua, agenti di intelligenza artificiale e sicurezza .

Questa valutazione ha selezionato 20 dei modelli linguistici di grandi dimensioni di uso generale più rappresentativi, in patria e all'estero. Rispetto a settembre, sono stati aggiunti Moonshot di Dark Side of the Moon, Wenxin Yiyan 4.0 di Baidu, Spark V3.0 di iFlytek, vivoLM di vivo e Qwen-14B di Alibaba Cloud.

Il set di dati di valutazione per questo test è composto da 3.754 nuove domande, tra cui 606 domande a risposta breve a più round e 3.148 domande oggettive a scelta multipla. Infine, sono state selezionate cinque classifiche principali, tra cui la classifica generale.

I risultati della valutazione mostrano che la struttura del modello nazionale di primo livello di grandi dimensioni è stata sostanzialmente costituita. I principali modelli cinesi di grandi dimensioni sono già molto vicini a GPT3.5, ma sono ancora lontani da GPT4. Non c'è traccia di benchmarking o di rivalità con GPT4 .

SuperCLUE ritiene inoltre che un modello generale di grandi dimensioni che supererà GPT3.5 sotto tutti gli aspetti apparirà nel quarto trimestre di quest'anno , ma superare GPT4 diventerà una nuova sfida per tutte le istituzioni cinesi di ricerca e sviluppo di modelli.

Tecnologia Zikuai