李開復被大模型絆了一跤互聯網+
導讀
揭開了國產大模型的一條隱秘“捷徑”。
揭開了國產大模型的一條隱秘“捷徑”。
撰文 | 趙晉杰 編輯 | 王靖
立志研發通用大模型底座的李開復，正在陷入一場套殼Meta開源大模型LLaMA的質疑之中。
近期，今年3月份從阿里離職投身AI大模型創業的賈揚清爆料稱，在幫助海外客戶適配國內某一新模型中，被朋友告知該模型用的其實是LLaMA架構，僅在代碼中更改了幾個變量名。
盡管賈揚清并未點出開發上述新模型的具體公司名稱，但種種跡象都指向了李開復的零一萬物。11月6日，零一萬物剛剛發布了“Yi”系列開源大模型——Yi-34B和Yi-6B。
針對外界質疑，11月15日，零一萬物在回應盒飯財經中承認，在訓練模型過程中，沿用了 GPT/LLaMA的基本架構，但“就零一萬物的觀察和分析，大模型社區在技術架構方面現在是一個處于接近往通用化逐步收攏的階段，基本上國際主流大模型都是基于Transformer的架構……國內已發布的開源模型也絕大多數采用漸成行業標準的GPT/LLaMA的架構?！?/span>
如果把模型訓練過程比做一道菜，“架構只是決定了做菜的原材料和大致步驟……要訓練出好的模型，還需要更好的‘ 原材料’（數據）和對每一個步驟細節的把控（訓練方法和具體參數）?！绷阋蝗f物進一步解釋道。
在賈揚清站出來爆料之前，有關零一萬物模仿LLaMA架構的指控已經開始在開源社區內發酵。
9天前，convai高級人工智能應用專家埃里克·哈特福德在Huggingface上發帖稱，“Yi-34B 模型基本采用了LLaMA的架構，只是重命名了兩個張量。”
8天后的11月14日，Yi 團隊開源總監Richard Lin在該帖下回復稱，哈特福德對張量名稱的看法是正確的，零一萬物將把它們從Yi重命名為Llama。
在今天盒飯財經收到的最新回復中，零一萬物提到：“對于沿用LLaMA部分推理代碼經實驗更名后的疏忽，原始出發點是為了充分測試模型，并非刻意隱瞞來源。零一萬物對此提出說明，并表達誠摯的歉意，我們正在各開源平臺重新提交模型及代碼并補充LLaMA協議副本的流程中，承諾盡速完成各開源社區的版本更新?！?/span>
李開復個人在今天下午也發朋友圈對此事做了回應。
素有國內“AI教父”之稱的李開復，在大模型浪潮中收獲外界寄予的更大期望之余，也不可避免迎來外界更嚴苛的審視。
盡管零一萬物已經公開承認其借鑒了LLaMA架構，但并不能就此直接給李開復的大模型扣上“套殼”或者“抄襲”的帽子。
同樣開發大模型的國內創業者李振告訴盒飯財經，界定某一大模型是否存在套殼行為，取決于具體的實現細節和底層技術。“如果零一萬物大模型使用了與Meta LLaMA相同的模型架構、訓練方法和數據集，那么它可能在某種程度上是套殼的。但是，如果它使用了不同的技術或進行了額外的改進，那么就不能簡單地說是套殼。”
根據零一萬物的聲明，其投注了大部分精力調整訓練方法、數據配比、數據工程、細節參數、baby sitting（訓練過程監測）技巧等。
即便模型架構相似，但在不同的數據來源和數據訓練方法加持下，最終訓練出來的大模型性能依然會表現各異。“前大模型時代，AI的主流是以模型為中心的單任務系統，數據基本保持不變。進入大模型時代，算法基本保持恒定，而數據在不斷增強增大?！痹诋a業專家劉飛看來，相比算法和算力，數據可能是眼下阻礙國產大模型追趕OpenAI步伐的更大鴻溝，“魔鬼都藏在這些數據訓練的細節里?！?/span>
尤其值得一提的是，參數量的大小與最終模型呈現的效果之間，兩者“投入產出并不成正比，而是非線性的。”人工智能專家丁磊表示，“數據多只是一個定性，更重要的是考驗團隊數據清洗的能力，否則隨著數據增多，數據干擾也將隨之變大?！?/span>
這也為新晉大模型團隊以更小參數量，在性能上反超更大參數量的模型提供了某種理論可能性。
11月6日Yi-34B預訓練模型發布后，李開復將其形容為“全球最強開源模型”，以更小模型尺寸評測超越了LLaMA2-70B、Falcon-180B等大尺寸開源模型。
Yi-34B
但隨著越來越多國產大模型在各類測試榜單中登頂，逐一超越業內公認最強的GPT-4，有關這些大模型是靠實力拿下的高分，還是借助了刷榜手段，再次引發外界爭議。
知名大模型測試集C-Eval就在官網置頂聲明，稱評估永遠不可能是全面的，任何排行榜都可能以不健康的方式被黑客入侵，并給出了幾種常見的刷榜手法，如對強大的模型（例如GPT-4）的預測結果蒸餾、找人工標注然后蒸餾、在網上找到原題加入訓練集中微調模型等等。
造成國產大模型屢登測試榜單第一的一大客觀原因，在劉飛看來，是因為到目前為止，并沒有真正公認的客觀評判標準和方法。上一代AI的“單任務模型”有公認的數據集作為黃金標準，但在新興的大模型時代，“由于大模型多任務、開放式的新特性，變得難以預先定義，數據質量的測試既繁重，也難以全面。”劉飛說。
不過，哪怕不少國產大模型是借鑒LLaMA架構訓練而來，其對國內公司而言仍有不可替代的價值。
李振表示，外部公司在接入一個大模型平臺時，除了考慮模型的性能和效果外，模型的開放性和可定制性也是需要考慮的重要因素，具體到某些區域，還要特別重視數據隱私和安全合規問題。
盡管目前國內公司可以直接接入Meta LLaMA模型，但是由于Meta LLaMA是一個國際性的大模型平臺，它需要遵守更多的國際法規和限制。此外，如果涉及到敏感領域或數據，還需要獲得特定的授權或許可，甚至不排除海外開源技術隨時關停、切換高額收費或限制地區訪問的風險。因此在李振看來，相比冒險接入Meta LLaMA，國內公司直接調用國產大模型是更為經濟劃算的選擇。
通過借鑒LLaMA 基本架構，李開復的零一萬物在訓練模型速度上快速起步。
今年3月，李開復正式宣布將親自帶隊，成立一家AI2.0公司，研發通用大模型。經過三個月籌辦期，7月份，該公司正式定名“零一萬物”，并組建起數十人的大模型研發團隊。團隊成型四個月后，零一萬物便在11月份推出了“Yi”系列大模型產品，并借助Yi-34B霸榜多個大模型測試集。
據投資界報道，在亮相大模型產品之際，零一萬物已完成由阿里云領投的新一輪融資，投后估值超10億美元，躋身中國大模型創業公司獨角獸行列。
零一萬物快速崛起的背后，離不開李開復的個人IP加持，就連官網都公開感謝“李開復博士過往40年在人工智能領域的科研和產業經驗”。
零一萬物官網
出任過谷歌全球副總裁兼大中華區總裁，并在微軟全球副總裁期間開創了微軟亞洲研究院的李開復，通過在2009年創立創新工場，完成了從明星職業經理人到VC投資人的身份轉變。
過去十多年間，創新工場投資超過300多個項目，其中不乏曠視科技、美圖、知乎、第四范式、地平線等行業知名公司。
在2019年被晚點問及創新工場回報最好的基金是哪一期時，李開復回答：“投AI項目最多的回報最好……比如曠視回報400倍、VIPKID回報1200倍?！?/span>
靠著數十年如一日對AI的宣揚布道，李開復一度被稱為中國的“AI教父”。盡管其在AI方面的投資可圈可點，但李開復扮演的角色顯然不同于山姆·阿爾特曼這樣用劃時代的產品來引領 AI 行業的企業家。
在2018年9月推出的新書《AI·未來》中，李開復曾談及中美兩國競爭差距，大膽預言：“人工智能實干時代競爭力的天平將傾向商業化執行、產品質量、創新速度和大數據，而這些要素恰是中國優于美國之處?！痹跁校铋_復甚至寫到“15年前從‘學習’起步的中國互聯網初創公司從美國商業模式中獲得靈感，激地相互競爭……當這一代中國企業家學會利用人工智能時，將徹底顛覆游戲規則?！?/span>
在ChatGPT引發的新一輪AI顛覆性變革現實面前，越來越多人開始重新打量中美在AI方面的差距。
具體到大模型方面，丁磊甚至認為，相比算法、算力和數據，“真正有領導力的AI管理者，像山姆·阿爾特曼這樣有能力推動新技術落地應用的技術管理人才，才是國內更缺的一塊短板?！?/span>
除了需要向外界展現如阿爾特曼一般的高超技術管理能力之外，李開復的大模型夢還遭遇著諸多挑戰。
如何盡快追趕上OpenAI的步伐，是橫亙在李開復等一眾大模型創業跟隨者面前的最大拷問。
在國產大模型突飛猛進的大半年間，OpenAI同樣進步神速，相繼推出了GPT-4、GPT-4V、GPT-4 Turbo。
阿爾特曼還在帶領OpenAI繼續狂飆。今年10月份，阿爾特曼首次對外明確，OpenAI已經啟動GPT-5、GPT-6的訓練，并將繼續沿著多模態方向持續迭代。
在國產大模型還在努力追上ChatGPT步伐之時，其相比OpenAI更先進模型的差距，反而有了逐漸擴大的趨勢。
值得一提的是，2020年發布GPT-3時，OpenAI曾詳細公開了模型訓練的所有技術細節。中國人民大學高瓴人工智能學院執行院長文繼榮表示，國內很多大模型其實都有GPT-3的影子。
但隨著OpenAI在GPT-4上一改開源策略，逐漸走向封閉，一些國產大模型就此失去了可供復制的追趕路徑。
放眼國內，即便宣稱做到了一眾測試榜單第一，但留給零一萬物的挑戰仍難言樂觀。
在發布Yi-34B預訓練模型后，李開復宣稱內部已經啟動下一個千億參數模型的訓練。與之相比，國內不少大模型公司已經完成了千億模型的上市發布。
除了需要提速追趕先行者外，如何在商業落地上勝出，將是李開復需要解決的更大挑戰。
經歷過AI 1.0 時代的李開復，在投身大模型創業后，便對外提到自己“做的應用一定是朝著能夠快速有收入，而且能夠產生非常好的利潤、收入是高質量的、可持續的，而不是一次性在某一個公司上打下一個單子?！?/span>
實現上述商業化的突破口被李開復放在了C端應用上，李開復同樣相信AIGC時代將誕生比移動互聯網大十倍的平臺機會，將出現把既有的軟件、使用界面和應用重寫一次，改寫用戶交互和入口的新機遇?！叭缤琖indows帶動了PC普及，Android催生了移動互聯網的生態，AIGC也將誕生新一批AI-first的應用，并催生由AI主導的商業模式。”
想要實現上述宏偉愿景，除了需要將旗下通用大模型打造得足夠先進之外，還需要在一眾國產大模型競爭中脫穎而出。
恒業資本創始合伙人江一認為，這波AI大模型浪潮中，國內最終能夠存活下來的通用大模型玩家，“可能有個3家就已經不錯了。因為訓練大模型需要大量投入，要燒很多錢，而且還不一定能追得上GPT-4?！?/span>
無論Windows還是Android，每個時代也只拼殺出了一個，李開復該如何讓零一萬物成為AIGC時代的“唯一”呢？
撰文 | 趙晉杰 編輯 | 王靖
立志研發通用大模型底座的李開復，正在陷入一場套殼Meta開源大模型LLaMA的質疑之中。
近期，今年3月份從阿里離職投身AI大模型創業的賈揚清爆料稱，在幫助海外客戶適配國內某一新模型中，被朋友告知該模型用的其實是LLaMA架構，僅在代碼中更改了幾個變量名。
盡管賈揚清并未點出開發上述新模型的具體公司名稱，但種種跡象都指向了李開復的零一萬物。11月6日，零一萬物剛剛發布了“Yi”系列開源大模型——Yi-34B和Yi-6B。
針對外界質疑，11月15日，零一萬物在回應盒飯財經中承認，在訓練模型過程中，沿用了 GPT/LLaMA的基本架構，但“就零一萬物的觀察和分析，大模型社區在技術架構方面現在是一個處于接近往通用化逐步收攏的階段，基本上國際主流大模型都是基于Transformer的架構……國內已發布的開源模型也絕大多數采用漸成行業標準的GPT/LLaMA的架構?！?/span>
如果把模型訓練過程比做一道菜，“架構只是決定了做菜的原材料和大致步驟……要訓練出好的模型，還需要更好的‘ 原材料’（數據）和對每一個步驟細節的把控（訓練方法和具體參數）?！绷阋蝗f物進一步解釋道。
在賈揚清站出來爆料之前，有關零一萬物模仿LLaMA架構的指控已經開始在開源社區內發酵。
9天前，convai高級人工智能應用專家埃里克·哈特福德在Huggingface上發帖稱，“Yi-34B 模型基本采用了LLaMA的架構，只是重命名了兩個張量。”
8天后的11月14日，Yi 團隊開源總監Richard Lin在該帖下回復稱，哈特福德對張量名稱的看法是正確的，零一萬物將把它們從Yi重命名為Llama。
在今天盒飯財經收到的最新回復中，零一萬物提到：“對于沿用LLaMA部分推理代碼經實驗更名后的疏忽，原始出發點是為了充分測試模型，并非刻意隱瞞來源。零一萬物對此提出說明，并表達誠摯的歉意，我們正在各開源平臺重新提交模型及代碼并補充LLaMA協議副本的流程中，承諾盡速完成各開源社區的版本更新?！?/span>
李開復個人在今天下午也發朋友圈對此事做了回應。
素有國內“AI教父”之稱的李開復，在大模型浪潮中收獲外界寄予的更大期望之余，也不可避免迎來外界更嚴苛的審視。
盡管零一萬物已經公開承認其借鑒了LLaMA架構，但并不能就此直接給李開復的大模型扣上“套殼”或者“抄襲”的帽子。
同樣開發大模型的國內創業者李振告訴盒飯財經，界定某一大模型是否存在套殼行為，取決于具體的實現細節和底層技術。“如果零一萬物大模型使用了與Meta LLaMA相同的模型架構、訓練方法和數據集，那么它可能在某種程度上是套殼的。但是，如果它使用了不同的技術或進行了額外的改進，那么就不能簡單地說是套殼。”
根據零一萬物的聲明，其投注了大部分精力調整訓練方法、數據配比、數據工程、細節參數、baby sitting（訓練過程監測）技巧等。
即便模型架構相似，但在不同的數據來源和數據訓練方法加持下，最終訓練出來的大模型性能依然會表現各異。“前大模型時代，AI的主流是以模型為中心的單任務系統，數據基本保持不變。進入大模型時代，算法基本保持恒定，而數據在不斷增強增大?！痹诋a業專家劉飛看來，相比算法和算力，數據可能是眼下阻礙國產大模型追趕OpenAI步伐的更大鴻溝，“魔鬼都藏在這些數據訓練的細節里?！?/span>
尤其值得一提的是，參數量的大小與最終模型呈現的效果之間，兩者“投入產出并不成正比，而是非線性的。”人工智能專家丁磊表示，“數據多只是一個定性，更重要的是考驗團隊數據清洗的能力，否則隨著數據增多，數據干擾也將隨之變大?！?/span>
這也為新晉大模型團隊以更小參數量，在性能上反超更大參數量的模型提供了某種理論可能性。
11月6日Yi-34B預訓練模型發布后，李開復將其形容為“全球最強開源模型”，以更小模型尺寸評測超越了LLaMA2-70B、Falcon-180B等大尺寸開源模型。
Yi-34B
但隨著越來越多國產大模型在各類測試榜單中登頂，逐一超越業內公認最強的GPT-4，有關這些大模型是靠實力拿下的高分，還是借助了刷榜手段，再次引發外界爭議。
知名大模型測試集C-Eval就在官網置頂聲明，稱評估永遠不可能是全面的，任何排行榜都可能以不健康的方式被黑客入侵，并給出了幾種常見的刷榜手法，如對強大的模型（例如GPT-4）的預測結果蒸餾、找人工標注然后蒸餾、在網上找到原題加入訓練集中微調模型等等。
造成國產大模型屢登測試榜單第一的一大客觀原因，在劉飛看來，是因為到目前為止，并沒有真正公認的客觀評判標準和方法。上一代AI的“單任務模型”有公認的數據集作為黃金標準，但在新興的大模型時代，“由于大模型多任務、開放式的新特性，變得難以預先定義，數據質量的測試既繁重，也難以全面。”劉飛說。
不過，哪怕不少國產大模型是借鑒LLaMA架構訓練而來，其對國內公司而言仍有不可替代的價值。
李振表示，外部公司在接入一個大模型平臺時，除了考慮模型的性能和效果外，模型的開放性和可定制性也是需要考慮的重要因素，具體到某些區域，還要特別重視數據隱私和安全合規問題。
盡管目前國內公司可以直接接入Meta LLaMA模型，但是由于Meta LLaMA是一個國際性的大模型平臺，它需要遵守更多的國際法規和限制。此外，如果涉及到敏感領域或數據，還需要獲得特定的授權或許可，甚至不排除海外開源技術隨時關停、切換高額收費或限制地區訪問的風險。因此在李振看來，相比冒險接入Meta LLaMA，國內公司直接調用國產大模型是更為經濟劃算的選擇。
通過借鑒LLaMA 基本架構，李開復的零一萬物在訓練模型速度上快速起步。
今年3月，李開復正式宣布將親自帶隊，成立一家AI2.0公司，研發通用大模型。經過三個月籌辦期，7月份，該公司正式定名“零一萬物”，并組建起數十人的大模型研發團隊。團隊成型四個月后，零一萬物便在11月份推出了“Yi”系列大模型產品，并借助Yi-34B霸榜多個大模型測試集。
據投資界報道，在亮相大模型產品之際，零一萬物已完成由阿里云領投的新一輪融資，投后估值超10億美元，躋身中國大模型創業公司獨角獸行列。
零一萬物快速崛起的背后，離不開李開復的個人IP加持，就連官網都公開感謝“李開復博士過往40年在人工智能領域的科研和產業經驗”。
零一萬物官網
出任過谷歌全球副總裁兼大中華區總裁，并在微軟全球副總裁期間開創了微軟亞洲研究院的李開復，通過在2009年創立創新工場，完成了從明星職業經理人到VC投資人的身份轉變。
過去十多年間，創新工場投資超過300多個項目，其中不乏曠視科技、美圖、知乎、第四范式、地平線等行業知名公司。
在2019年被晚點問及創新工場回報最好的基金是哪一期時，李開復回答：“投AI項目最多的回報最好……比如曠視回報400倍、VIPKID回報1200倍?！?/span>
靠著數十年如一日對AI的宣揚布道，李開復一度被稱為中國的“AI教父”。盡管其在AI方面的投資可圈可點，但李開復扮演的角色顯然不同于山姆·阿爾特曼這樣用劃時代的產品來引領 AI 行業的企業家。
在2018年9月推出的新書《AI·未來》中，李開復曾談及中美兩國競爭差距，大膽預言：“人工智能實干時代競爭力的天平將傾向商業化執行、產品質量、創新速度和大數據，而這些要素恰是中國優于美國之處?！痹跁校铋_復甚至寫到“15年前從‘學習’起步的中國互聯網初創公司從美國商業模式中獲得靈感，激地相互競爭……當這一代中國企業家學會利用人工智能時，將徹底顛覆游戲規則?！?/span>
在ChatGPT引發的新一輪AI顛覆性變革現實面前，越來越多人開始重新打量中美在AI方面的差距。
具體到大模型方面，丁磊甚至認為，相比算法、算力和數據，“真正有領導力的AI管理者，像山姆·阿爾特曼這樣有能力推動新技術落地應用的技術管理人才，才是國內更缺的一塊短板?！?/span>
除了需要向外界展現如阿爾特曼一般的高超技術管理能力之外，李開復的大模型夢還遭遇著諸多挑戰。
如何盡快追趕上OpenAI的步伐，是橫亙在李開復等一眾大模型創業跟隨者面前的最大拷問。
在國產大模型突飛猛進的大半年間，OpenAI同樣進步神速，相繼推出了GPT-4、GPT-4V、GPT-4 Turbo。
阿爾特曼還在帶領OpenAI繼續狂飆。今年10月份，阿爾特曼首次對外明確，OpenAI已經啟動GPT-5、GPT-6的訓練，并將繼續沿著多模態方向持續迭代。
在國產大模型還在努力追上ChatGPT步伐之時，其相比OpenAI更先進模型的差距，反而有了逐漸擴大的趨勢。
值得一提的是，2020年發布GPT-3時，OpenAI曾詳細公開了模型訓練的所有技術細節。中國人民大學高瓴人工智能學院執行院長文繼榮表示，國內很多大模型其實都有GPT-3的影子。
但隨著OpenAI在GPT-4上一改開源策略，逐漸走向封閉，一些國產大模型就此失去了可供復制的追趕路徑。
放眼國內，即便宣稱做到了一眾測試榜單第一，但留給零一萬物的挑戰仍難言樂觀。
在發布Yi-34B預訓練模型后，李開復宣稱內部已經啟動下一個千億參數模型的訓練。與之相比，國內不少大模型公司已經完成了千億模型的上市發布。
除了需要提速追趕先行者外，如何在商業落地上勝出，將是李開復需要解決的更大挑戰。
經歷過AI 1.0 時代的李開復，在投身大模型創業后，便對外提到自己“做的應用一定是朝著能夠快速有收入，而且能夠產生非常好的利潤、收入是高質量的、可持續的，而不是一次性在某一個公司上打下一個單子?！?/span>
實現上述商業化的突破口被李開復放在了C端應用上，李開復同樣相信AIGC時代將誕生比移動互聯網大十倍的平臺機會，將出現把既有的軟件、使用界面和應用重寫一次，改寫用戶交互和入口的新機遇?！叭缤琖indows帶動了PC普及，Android催生了移動互聯網的生態，AIGC也將誕生新一批AI-first的應用，并催生由AI主導的商業模式。”
想要實現上述宏偉愿景，除了需要將旗下通用大模型打造得足夠先進之外，還需要在一眾國產大模型競爭中脫穎而出。
恒業資本創始合伙人江一認為，這波AI大模型浪潮中，國內最終能夠存活下來的通用大模型玩家，“可能有個3家就已經不錯了。因為訓練大模型需要大量投入，要燒很多錢，而且還不一定能追得上GPT-4?！?/span>
無論Windows還是Android，每個時代也只拼殺出了一個，李開復該如何讓零一萬物成為AIGC時代的“唯一”呢？
1.TMT觀察網遵循行業規范，任何轉載的稿件都會明確標注作者和來源；
2.TMT觀察網的原創文章，請轉載時務必注明文章作者和"來源：TMT觀察網"，不尊重原創的行為TMT觀察網或將追究責任；
3.作者投稿可能會經TMT觀察網編輯修改或補充。
