今年5月9日，發布僅3天的訊飛星火大模型就在一個評測榜單上拿了個國服第一，力壓清華智譜、復旦MOSS以及百度文心一言等國產大模型，僅次于GPT-4和GPT-3.5。

　　本來外界對訊飛稱王并無異議，但這份榜單將文心一言列在最后一名，熱心網友就不樂意了。

　　隨后發布榜單的評測機構SuperCLUE被曝光，一個仿照GLUE的國內民間組織，權威度和影響力與GLUE相去甚遠，其微信賬號主體屬性為個人，被網友戲稱為AI版李逵和李鬼。

　　就連訊飛的稱王都被挖出來貓膩。

　　評測榜單發布當天，SuperCLUE官網顯示信息，其測評顧問中排名第一的是崔一鳴，身份為學術顧問委員會主任，哈工大訊飛聯合實驗室(HFL)資深級研究員，而第二天官網就刪除了此條顧問信息。

　　至于這個榜單本身，也被業內人士質疑其合理性，理由是沒有公布評估數據以及具體的評估方式。不過SuperCLUE在8月份進行了一次評測體系、方法及變動說明的解讀，算是變相回應，只不過3700道的測試題還是較SuperGLUE的2萬道相去甚遠。

　　但SuperCLUE卻搖身一變，成為各種大模型PR稿里的救世主，堪稱大模型界的安兔兔和魯大師，個中內涵懂得都懂。

　　手機廠商也順理成章成為了SuperCLUE的榜單�？�。比如OPPO和vivo，前者登上了9月的基礎能力排行榜，后者則拿下了10月的國服第一。

　　在搞機圈跑分作弊早已不算秘密，2013年三星Galaxy S4就曾被曝跑分作弊，事后三星不得不向每位Galaxy S4購買者賠償10美元。

　　到2018年，跑分作弊儼然已成一種行業亂象：各大手機廠商費盡心思優化跑分項目，有的甚至專門開設一個白名單，當檢測到是跑分軟件時，手機各方面的資源就全速運行，以此開啟芯片的極限性能模式。Anandtech就曾公開點名榮耀Play跑分作弊，跑分監測機制開啟和關閉的情況下，得分相差一倍。

　　跑分作弊映射出的一個道理是，這種人為極限性能下的分數，設備根本不可能長時間保持這樣的水平，因此顯得毫無意義。

　　而這種毫無意義的極限性能跑分，隱隱有傳到大模型的跡象。

　　比如OPPO這次拿出來的SuperCLUE成績，還不是總榜單，而是十大基礎能力排行榜的“知識與百科”能力。

　　在SuperCLUE的評測方案中，“知識與百科”屬于專業知識技能，包含歷史地理、科學技術、文化娛樂、社會人文等眾多任務。

　　相對來說，“知識與百科”傾向于是有標準答案的問答評測，不過即便如此后期有用戶在測試OPPO大模型時，還是出現了魯迅和周樹人不是同一人的錯誤。

　　拋開這種低級失誤，對于這種有針對性的評測，小米AI實驗室大模型團隊負責人欒劍此前在接受媒體采訪時就給過定論，目前這些榜單絕大部分都是學科問題，而且是選擇題為主，所以用它們對評估大模型的能力是有局限性的。

　　“如果把這些學科的知識、這些學科搜集到的試題，都拿來對大模型做增強學習，它的效果一定可以達到很好。”界面新聞就曾曝光過兩種C-Eval“刷榜”方式：

　　一種是找數據標注員把題目做一遍，第二種是用GPT-4把題做一遍，再把答案扣下來訓練大模型，這樣都能在相應學科測試中獲得滿分。

　　問題的關鍵還在于，做這樣的訓練對大模型其它方面的能力可能會帶來負面影響。

　　目前有一些開源的大模型迭代了版本之后，打榜的分數提高得很明顯，但如果測試它的生成能力，比如寫作水平，發現其實是有下降的。

　　還有一點存疑的是，大模型評測榜單的合理性。

　　比如今年5月SuperCLUE的榜單，文心一言在這個測評的評分是明顯偏低的，甚至連一些不知名的國產小型開源模型都比不過，測試結果與實際使用體驗不符。

　　根源在于當時SuperCLUE的測試手段是讓大模型做選擇題(據稱是100道)，而這是用來針對BERT時代的判別式AI模型，不適用于現在的這些生成式大模型。

　　這倒也不是SuperCLUE一家的問題。華泰證券前資深算法工程師邱震宇此前曾深入探究了市面上大模型的各類評測集，綜合比較了各家榜單結果，得出的結論是現在并不存在一個公認有效的評測方式。

　　大模型是一個新的范式，其實一個范式除了對底層邏輯的解釋，也需要有一整套的訓練方法及評估方法。對大模型來說，這一整套合理的評估方法，大家還在探索中，沒有公認的標準。

　　事實上，大模型很難去實現沒有偏頗的測試，所謂的AI模型排名沒有什么值得參考的實際價值，評價大模型的唯一標準就是能不能幫助用戶去解決實際的問題。

　　看待打榜，只是從一個側面驗證一個基座大模型是不是能在某個領域里做到極致，但不代表說它就一定能給用戶帶來最好的應用體驗。

　　在OPPO之前，已經有三家國內手機廠商公開了大模型進度，分別是華為、小米和vivo，均以語音助手的形式。而且各家像是打過商量一樣，幾乎是在同一時間對外吹風，再加上高通、谷歌、聯發科的頻頻官宣，上馬大模型儼然成為手機廠商的必選項。

　　在這種你追我趕的態勢下，就很容易發生“有條件要上，沒有條件也要硬上”的老套情節。

　　2019年OPPO推出小布助手，最初通過調用搜索引擎完成擴展問答，但整個體驗不暢，促使后來OPPO開始做知識圖譜和海量語料數據，相當于建了一個問答庫。

　　這種機械的“檢索式回答”常見于當時的語音助手，優點是成本低上馬快，缺點則是周期長成本高，而且要面對長尾問題語音助手無法回答的尷尬。舉個例子，長江長還是黃河長這類問題，如果數據庫中沒有答案，語音助手就無法回答。

　　為了解決問題，2021年OPPO找到了北京智源人工智能研究院，借悟道大模型推出了“生成式問答系統”，一定程度上彌補了自己的技術短板。

　　彼時的OPPO屬于兩條腿走路，一邊從外面引入大模型，一邊在背后埋頭自研。

　　2022年6月推出的預訓練模型OBERT，就是OPPO從發布前兩年開始探索的，共有一億、三億和十億參數三個版本。同年11月，OPPO語音語義研究部又推出參數量為30億的中文預訓練大模型CHAOS。

　　但這兩個模型在網上能查到的資料很少，除了官宣的新聞稿外幾乎沒有其它消息。倒是今年4月，在阿里云峰會上，阿里云官方發布的「企業專屬大模型」合作名單里，OPPO卻位列第一。

　　據阿里云CTO周靖人介紹，以上這一系列模型已經和阿里的行業模型形成了層次化、模塊化結構，行業模型可以在阿里預訓練模型之上進行定制，可以解決當下多達200個業務場景。

　　換言之，這些AI模型本質上都是基于阿里云通義大模型完成的能力構建。這似乎意味著，OPPO的自研大模型或是火候不到，不得不暫時放棄自研，再轉向外部合作。

　　坊間也有傳言稱vivo的大模型用的是開源的Llama2，雖不知真假，但也從側面反映出，手機廠商做大模型的一個被動：無論宣傳上多么高調，總令人懷疑沒這個技術實力。

　　至于是自研好還是外部合作好，就各有論調了。

　　自研的難點在于，從0開始基礎大模型的預訓練，資金投入需要非常大，除此以外，數據、算力、know-how、維護等也是一道道門檻，但優勢也十分巨大，企業能夠掌握自己定制模型結構的能力。

　　在各種設備終端上，使用的芯片不同，就會對模型提出各種各樣的要求，這些要求可能細節到一些算子不支持，或者某種結構運行起來效率不高。手機廠商必須根據硬件提出的要求，對模型結構做一些調整。

　　如果想修改模型結構的話，就一定需要具備從頭開始訓練的能力。因為開源模型的結構是固定的，沒有辦法調整，就不能滿足需求。

　　而外部合作的優勢正是自研的難點，百度、阿里等平臺型企業幾乎提供了一條龍服務，不僅省下了成本，還有性能/中文增強、數據集、應用范式等系列服務，幾乎一鍵開發大模型。

　　尾聲

　　今年2月，高通在一部沒有聯網的Android手機上使用了Stable Diffusion 來生成AI圖像，整個生成時間不超過15秒，過程全部在手機上進行。剛剛發布的驍龍8 Gen3，已經可以支持運行100億參數的生成式AI模型。

　　今年5月的谷歌I/O大會上，谷歌一口氣發布了四個新一代大語言模型 PaLM 2。其中最小的“壁虎”大模型，可以適配手機運行。

　　到今天，手機大模型已經是一個無可爭議的趨勢。但擺在手機廠商面前的問題似乎都被它們忽視了：大模型究竟能為用戶帶來什么?

　　至少在當前，無論是華為、小米還是vivo、OPPO，其內嵌大模型的語音助手還沒有“涌現”的跡象，提供的功能也沒有超出通用大模型的范疇。

　　而按照手機廠商的慣用套路，新技術是否驅動了新需求尚未可知，但驅動新價格幾乎是毫無疑問的。

　　參考資料

　　[1] 國內大模型爭霸賽，這是你心目中的大模型排名嗎?機器學習

　　[2] 跑的高能賣錢?手機廠商為啥要跑分作弊，威鋒網

　　[3] 小米的大模型“野心”，始于端側，騰訊科技

　　[4] 誰在評價大模型?AI大模型評測榜單亂象調查，界面新聞

　　[5] 手機跑分突破110萬!跑分到底是娛樂還是有可信度?中關村在線

　　[6] 登頂CLUE與MUGE，OPPO語音語義研究部推出中文預訓練大模型CHAOS, 新聞助手

　　[7] 登頂KgCLUE，OPPO小布推出預訓練大模型OBERT，OPPO小布團隊

　　[8] 全球最大智能模型“悟道”首次落地：數字人+終端AI助手，支持NVIDIA GTX單卡機運行百億大模型，雷鋒網