作者?|??程茜
編輯?|??心緣
大模型,陷入同質(zhì)化怪圈。
百模大戰(zhàn)背后,到底是重復(fù)造輪子還是百花齊放?大模型成為時下全民關(guān)注的杭州亞運(yùn)會中的高頻詞,阿里云AI繪畫創(chuàng)作大模型“通義萬相”、商湯科技“日日新”大模型體系SenseNova、百度地圖基于文心交通大模型和自研“北斗高精”技術(shù)能力全新升級車道級導(dǎo)航3.0等產(chǎn)品施展拳腳;與此同時,國內(nèi)大模型產(chǎn)品進(jìn)入面向更廣泛消費(fèi)者提供服務(wù)的新階段。上個月初,百度、字節(jié)跳動、商湯科技、紫東太初、百川智能、科大訊飛等十余家企業(yè)成為首批正式上線面向公眾提供服務(wù)的產(chǎn)品。大模型競賽進(jìn)入新階段之際,然而,上百個大模型競相迸發(fā)的背后,有限的賽道資源使得其逐漸同質(zhì)化的趨勢初現(xiàn)端倪。
從百度、阿里等互聯(lián)網(wǎng)大廠,以及訊飛、360等各賽道頭部玩家,大模型產(chǎn)品的界面、功能、使用方式都近乎一致。相似的對話框、測評中相差無幾的性能得分、以網(wǎng)頁端、APP端為主的使用方式,使得用戶有時只能靠“圖標(biāo)”來辨別不同的大模型。
當(dāng)下,大模型的熱潮尚未平息,其能力正在推動互聯(lián)網(wǎng)產(chǎn)業(yè)變革,智東西與業(yè)內(nèi)多位知名從業(yè)人士進(jìn)行了深入交流,業(yè)界對于大模型同質(zhì)化有以下三種看法,首先是認(rèn)為大模型同質(zhì)化是產(chǎn)業(yè)發(fā)展早期的正常階段,其次為大模型的同質(zhì)化表現(xiàn)的衡量標(biāo)準(zhǔn)很多,相關(guān)因素眾多,不能以“同質(zhì)化”一言以蔽之,第三種觀點(diǎn)則堅決認(rèn)為不會同質(zhì)化,因為各家落地的主要場景不同。
對于大模型同質(zhì)化現(xiàn)象背后的原因、未來探索的路徑,小冰公司CEO李笛在2023Inclusion·外灘大會上接受智東西采訪時談道,自己最大的憂慮是國內(nèi)大模型的多樣性,大家用同樣的數(shù)據(jù)集、同樣的訓(xùn)練方法、同樣的master,對比同樣的對象、類似的方法,多樣性確實有很大問題?!艾F(xiàn)在處于技術(shù)百花齊放的狀態(tài),應(yīng)該嘗試不同的東西,而不是馬上數(shù)理化外語卷起來了”。本文福利:人工智能大模型作為實現(xiàn)通用的重要途徑,正在對制造業(yè)的產(chǎn)業(yè)發(fā)展和應(yīng)用模式產(chǎn)生變革性影響。推薦精品報告《人工智能行業(yè)大模型在工業(yè)領(lǐng)域知識問答:穩(wěn)定性評測》,可在公眾號聊天欄回復(fù)關(guān)鍵詞【智東西388】獲取。
從面向消費(fèi)者的聊天機(jī)器人產(chǎn)品來看,其界面外觀、能力、使用方法、效果都有雷同之處,用戶往往無法通過其現(xiàn)有的Logo、布局等細(xì)小差別來快速進(jìn)行區(qū)分。
首先從界面外觀來看,相同的地方在于,聊天機(jī)器人的主頁面大體可以分為三個部分,左側(cè)為歷史對話記錄和新建對話,右側(cè)上方為對話的具體內(nèi)容,右側(cè)下方為用戶輸入窗口。不同的地方在于,大模型產(chǎn)品Logo,也就是聊天機(jī)器人頭像,以及實際頁面中功能按鈕的設(shè)計。
先來看Logo,單看下面幾個圖標(biāo),雖然其各有特色,但很難快速與產(chǎn)品實現(xiàn)一一對應(yīng)。一般而言,Logo的高辨識度與其和內(nèi)容的強(qiáng)相關(guān)性,以及用戶日常使用的高頻率相關(guān),但目前來看,前者屬性并不明顯,后者因為文心一言、智譜AI、訊飛星火等剛于9月初面向全民開放,因此其同樣尚未形成大多用戶的高頻使用工具。
此外,在界面設(shè)計上,聊天機(jī)器人產(chǎn)品除了輸入、輸出、重新生成、查看編輯歷史對話記錄、新建對話這些標(biāo)準(zhǔn)功能外,還有更加個性化的語音輸入、語音輸出、搜索增強(qiáng),但具備后續(xù)幾個功能入口的產(chǎn)品僅為少數(shù)。
值得一提的是,因為一些企業(yè)將文生圖、文生文的產(chǎn)品進(jìn)行了獨(dú)立區(qū)分,用戶還需要通過另一款產(chǎn)品來上傳圖片。
其次,從大模型的能力來看,根據(jù)輸入輸出形式可以分為文圖互生、文文互生、文生音視頻等,其中前兩類的應(yīng)用較為廣泛,基于此,大模型的實際能力包括內(nèi)容生成、理解、邏輯推理、代碼生成等,雖然不同大模型的能力表述不同,但基本都集中于此。
創(chuàng)新奇智CTO張發(fā)恩在和智東西交流時也談道,目前通用大模型在C端(消費(fèi)者端)的應(yīng)用場景偏向于知識問答、知識總結(jié)、內(nèi)容潤色、邏輯推理等。而不同廠家的通用大模型能力差異性不大:知識問答方面,實時性內(nèi)容欠缺;邏輯推理方面準(zhǔn)確度并不能被用戶完全信任,文本修飾能力沒有太大差距。
這也可以從通用中文大模型測評標(biāo)準(zhǔn)的判定基準(zhǔn)來看,都是從不同維度考驗大模型的文圖互生、文文互生能力。如新華社聯(lián)合北大發(fā)布的《人工智能大模型體驗報告2.0》中,按照基礎(chǔ)能力指數(shù)、智商指數(shù)、情商指數(shù)、工具提效指數(shù)四大測評維度進(jìn)行設(shè)計,中文通用大模型綜合性評測基準(zhǔn)SuperCLUE針對的是語言理解與生成、知識理解與應(yīng)用、專業(yè)能力、環(huán)境適應(yīng)與安全性。
再從評測效果來看,因為各家的評判標(biāo)準(zhǔn)、參考維度不同,因此實際排名效果不盡相同。如新華社報告中綜合能力排名第一的為星火大模型,SuperCLUE的8月榜單中排名第一的為百川大模型。這也側(cè)面印證了大模型能力在實際表現(xiàn)中,沒有某一個的能力可與其它產(chǎn)品拉開很大差距。
最后從使用方式來看,各家的大模型產(chǎn)品使用載體也多集中于網(wǎng)頁端和APP端兩種。
綜合來看,大模型從界面、能力,到實際效果的具體呈現(xiàn),都沒有一個與其它相比有較大差距。
透過表象看本質(zhì),大模型的同質(zhì)化現(xiàn)象可以歸結(jié)于以下幾大原因:
還是從直觀的界面設(shè)計說起,不論ChatGPT還是國內(nèi)聊天機(jī)器人,用戶點(diǎn)擊進(jìn)去就可以立馬上手使用,不需要花費(fèi)很大的學(xué)習(xí)成本,并且其和微信等人們?nèi)粘J褂玫纳缃卉浖?。潘森斯設(shè)計學(xué)院的助理教授Kyle Li認(rèn)為,簡單的對話界面更適合于幫助人們熟悉、了解新的、陌生的技術(shù),并且用戶可以通過一個界面完成各種工作。
但這背后的隱患就是,相似的界面設(shè)計無法使用戶對某一產(chǎn)品留下深刻印象,但這些產(chǎn)品之后想要調(diào)整設(shè)計,也會面臨不符合用戶使用習(xí)慣被拋棄的風(fēng)險。
其次從技術(shù)路線來看,目前大模型訓(xùn)練的方式都較為集中。2017年,Transformer架構(gòu)的出現(xiàn)奠定了大模型研究的基礎(chǔ)。
Transformer架構(gòu)包含Encoder和Decoder,又誕生了三大訓(xùn)練路徑,包括OpenAI主導(dǎo)的基于Decoder的GPT路線,谷歌AI研究院提出的基于Encoder的BERT路徑,以及兩者兼具的T5模型。
三種技術(shù)路線都有適配的場景,研究早期,參數(shù)規(guī)模較小時BERT模型的效果優(yōu)于GPT模型,隨著模型的參數(shù)規(guī)模增大,GPT-3模型的效果更好,并且BERT模型是基于雙向編碼的預(yù)訓(xùn)練模型,在理解上下文意思上表現(xiàn)更好,GPT是基于語言模型的生成效果,更適用于文本生成任務(wù),T5則更適用于參數(shù)規(guī)模較小的大型語言模型生成任務(wù)中。

▲從GPT-1到GPT-4的對比(圖源:《GPT-4核心技術(shù)分析報告》)
今年3月,新浪微博資深算法專家張俊林曾在中國人民大學(xué)高瓴人工智能學(xué)院主辦的AIGC論壇中分享道,到2019年后,BERT路線基本上就沒有什么標(biāo)志性的新模型出現(xiàn)了,而GPT技術(shù)路線趨于繁榮。從BERT往GPT走,模型越來越大,做的事越來越通用。
除此以外,也有企業(yè)在探索創(chuàng)新架構(gòu),如智譜AI在GPT、BERT、T5之外提出了自己的新模型訓(xùn)練架構(gòu),那就是GLM(通用語言模型)路徑。
但值得注意的是,大模型的底層技術(shù)路線已經(jīng)成型,如今創(chuàng)新架構(gòu)的研究仍處于初期,大多企業(yè)都集中于已有技術(shù)路徑,未來當(dāng)其同質(zhì)化屬性的弊端愈加凸顯,實現(xiàn)“大象轉(zhuǎn)身”則難上加難。
第三大原因是數(shù)據(jù)。大模型最重要的三大要素,數(shù)據(jù)、算力、算法,其中訓(xùn)練數(shù)據(jù)也是造成大模型同質(zhì)化的一大原因之一。未來智能CEO馬嘯告訴智東西,OpenAI的勝利本質(zhì)上還是數(shù)據(jù)清洗的勝利,因此企業(yè)比拼的是“誰清洗的數(shù)據(jù)精準(zhǔn)”。因此,大模型能力的區(qū)別很大程度在于“怎么投喂數(shù)據(jù)”。
大型語言模型的訓(xùn)練數(shù)據(jù)主要來自公開數(shù)據(jù)集、企業(yè)私有數(shù)據(jù)集、互聯(lián)網(wǎng)公開數(shù)據(jù)等。公開數(shù)據(jù)集對于各家大型語言模型研發(fā)者來說,起點(diǎn)一樣?;A(chǔ)大模型可選的數(shù)據(jù)集類型多以開源為主,手握更高質(zhì)量行業(yè)、私域數(shù)據(jù)的企業(yè)也并不會將其開放給大模型。
清華大學(xué)惠妍講席教授、清華大學(xué)電子工程系長聘教授、北京銜遠(yuǎn)科技創(chuàng)始人周伯文在2023世界人工智能大會期間接受媒體采訪時提到,目前通用大模型的訓(xùn)練數(shù)據(jù)集多來自互聯(lián)網(wǎng)文本數(shù)據(jù)。因此,企業(yè)拿到的公開數(shù)據(jù)在一定程度上有很大重復(fù)性。
再加上國內(nèi)中文開源數(shù)據(jù)集的數(shù)量遠(yuǎn)不及英文,也成為國內(nèi)大模型實現(xiàn)差異化競爭的一道門檻。不過,值得注意的是,中文開源數(shù)據(jù)集的構(gòu)建正在加快。
今年以來,《北京市促進(jìn)通用人工智能創(chuàng)新發(fā)展的若干措施(2023-2025年)(征求意見稿)》中提到,要整合現(xiàn)有開源中文預(yù)訓(xùn)練數(shù)據(jù)集和高質(zhì)量互聯(lián)網(wǎng)中文數(shù)據(jù)并進(jìn)行合規(guī)清洗。同時持續(xù)擴(kuò)展高質(zhì)量多模態(tài)數(shù)據(jù)來源,建設(shè)合規(guī)安全的中文、圖文對、音頻、視頻等大模型預(yù)訓(xùn)練語料庫,通過北京國際大數(shù)據(jù)交易所社會數(shù)據(jù)專區(qū)進(jìn)行定向有條件開放。
還有復(fù)旦大學(xué)團(tuán)隊開源中文醫(yī)療領(lǐng)域的47萬高質(zhì)量監(jiān)督微調(diào)(SFT)數(shù)據(jù)集DISC-Med-SFT、華為諾亞方舟實驗室開源了第一個億級中文多模態(tài)數(shù)據(jù)集悟空等。
即便開源數(shù)據(jù)集的數(shù)量和質(zhì)量都在提升,但對于研發(fā)大模型的企業(yè)而言,其仍處于同一起跑線,開源數(shù)據(jù)集無法快速幫助其構(gòu)建差異化大模型?;A(chǔ)大模型的這些客觀屬性一定程度上奠定了其現(xiàn)在呈現(xiàn)出同質(zhì)化的傾向,但下一階段隨著各家企業(yè)的技術(shù)積累越來越多,大模型的應(yīng)用場景逐漸清晰,在同質(zhì)化基礎(chǔ)上呈現(xiàn)出差異化的趨勢當(dāng)下仍是未知數(shù)。
不過,身處其中的大型語言模型研發(fā)者對于同質(zhì)化的看法也有差別。
一種觀點(diǎn)認(rèn)為大模型同質(zhì)化是產(chǎn)業(yè)發(fā)展早期的正常階段,一種觀點(diǎn)認(rèn)為大模型的同質(zhì)化表現(xiàn)的衡量標(biāo)準(zhǔn)很多,相關(guān)因素眾多,不能以“同質(zhì)化”一言以蔽之,第三種觀點(diǎn)則堅決認(rèn)為不會同質(zhì)化,因為各家落地的主要場景不同。
不同觀點(diǎn)的存在,是站在不同維度上看待大模型的發(fā)展。第一種是站在技術(shù)演進(jìn)的角度,第二種從用戶使用的需求,第三種從大模型提供者的角色定位來看。
目前,百川智能創(chuàng)始人、CEO王小川,復(fù)旦大學(xué)計算機(jī)學(xué)院、復(fù)旦大學(xué)MOSS系統(tǒng)負(fù)責(zé)人邱錫鵬,螞蟻集團(tuán)副總裁徐鵬,小冰公司CEO李笛都是第一種觀點(diǎn)的支持者。他們都認(rèn)為現(xiàn)在國內(nèi)大模型產(chǎn)業(yè)都處于追趕、“跟進(jìn)復(fù)刻”的階段。王小川在與智東西交流時談道,現(xiàn)階段企業(yè)對標(biāo)的東西就一個(ChatGPT),要么拉滿、要么同步,因此這個階段是不可避免的。邱錫鵬在8月上海市科協(xié)舉辦的青年科學(xué)家論壇中談道,現(xiàn)在大家做的東西總體上比較雷同,比如說像預(yù)訓(xùn)練,有創(chuàng)新性的東西總體不多。當(dāng)國內(nèi)玩家趕超ChatGPT后,或者說技術(shù)積累達(dá)到一定階段,企業(yè)自身的優(yōu)勢,才會在大模型產(chǎn)業(yè)中顯現(xiàn)出來,使得其呈現(xiàn)出差異化。李迪的觀點(diǎn)也印證了這一趨勢,他告訴智東西,大模型首先得追及格,再去嘗試多樣化、差異化,重復(fù)造輪子沒有必要,在應(yīng)用上才能實現(xiàn)大的發(fā)展。徐鵬解釋道,大模型技術(shù)上沒有本質(zhì)的差異,但側(cè)重點(diǎn)不一樣,開源、閉源等大模型,既有雷同的地方,又有各自特色。并且據(jù)他觀察,美國很多公司放棄走基礎(chǔ)模型這條路,直接在上面做能夠創(chuàng)造附加價值的應(yīng)用,而應(yīng)用多樣性才能給人類、給社會帶來價值??梢钥闯?,這種觀點(diǎn)普遍認(rèn)為現(xiàn)階段雷同的通用大模型發(fā)展背后隱藏的是垂直大模型在應(yīng)用端的創(chuàng)新突破。張發(fā)恩在與智東西交流時也提到,創(chuàng)新奇智布局的工業(yè)制造業(yè)領(lǐng)域,研發(fā)的面向工業(yè)制造業(yè)的工業(yè)大模型AInno-15B應(yīng)用場景相對聚焦且貼合行業(yè)痛點(diǎn),可以有效規(guī)避通用大模型的同質(zhì)化。第二種觀點(diǎn)是用戶對于大模型產(chǎn)品的需求十分復(fù)雜,因此用戶使用側(cè)重點(diǎn)等也一定會有不同。訊飛研究院院長劉聰告訴智東西,大模型是否同質(zhì)化與產(chǎn)品最終呈現(xiàn)的效果有關(guān),真正每天都在用大模型的用戶會根據(jù)自己最切實的需求選擇到適配的大模型。用戶對于ChatGPT的嘗試仍停留在較為初級的階段,更強(qiáng)大的數(shù)據(jù)分析、寫代碼等能力對于用戶自身能力的要求也更高,一些功能對于大部分用戶而言有一定的門檻。
因此,“同質(zhì)化”應(yīng)該辯證地看待,不能僅從大模型呈現(xiàn)出的能力下決斷,單從用戶層面來看,就有數(shù)量繁多的分類,如對大模型有較大需求的用戶,沒有很大需求的用戶,對單一功能有需求的用戶,對綜合功能有需求的用戶等。
第三種觀點(diǎn)是大模型同質(zhì)化不會出現(xiàn)。
360集團(tuán)創(chuàng)始人、董事長兼CEO周鴻祎此前在接受媒體采訪時提到,各大互聯(lián)網(wǎng)公司在C端都有各自的固定場景,例如騰訊在社交,百度在搜索,360在搜索、瀏覽器、桌面等。除此以外,大模型還會產(chǎn)生很多增量場景。
即便現(xiàn)在關(guān)于大模型同質(zhì)化的論調(diào)并不一致,但其所呈現(xiàn)的界面、設(shè)計等仍需參與者警醒,在技術(shù)探索的路途中想明白下一步該做什么更為關(guān)鍵。
歸根結(jié)底,大模型走向應(yīng)用落地時,其產(chǎn)品能力是否契合用戶的核心痛點(diǎn),并且做到好用、可用、易用,這些關(guān)鍵因素的共同作用是其實現(xiàn)差異化競爭的基礎(chǔ)。
目前來看,大模型同質(zhì)化趨勢仍然處于較為早期的階段,且并沒有對企業(yè)或者產(chǎn)業(yè)的發(fā)展產(chǎn)生實質(zhì)性的影響。但在有限的賽道資源內(nèi),一窩蜂涌入如此多的參與者,勢必會對產(chǎn)品如何打出差異化提出更高的要求。
再加上曾經(jīng)聲名大噪的ChatGPT傳出熱度漸熱,用戶瀏覽量減弱的同時,國內(nèi)大模型產(chǎn)品在眾多特性驅(qū)動的表面背后,如何找到核心優(yōu)勢抓住用戶十分關(guān)鍵。因此,大模型同質(zhì)化是眾多大模型參與玩家無法繞開的一道命題。
18030183032