HuggingFace上的熱門開源模型,一半都來自中國了

0 評論 155 瀏覽 0 收藏 11 分鐘

中國開源模型因開放協(xié)議、算法優(yōu)化和生態(tài)支持,成為全球開發(fā)者首選

在最新的HuggingFace熱門模型榜單中,中國模型的含量超過了50%。包括剛剛上新的QwQ-32B不同型號的推理模型,HunyuanVideo-12V的全新版本、長期霸榜的DeepSeekR1,以及Qwen和R1的衍生模型。

DeepSeek開源R1給整個大模型行業(yè)扔下一顆炸彈,引發(fā)了模型社區(qū)和企業(yè)的激烈討論后,幾乎已經(jīng)確定了開源為主流技術(shù)路線,此前一直堅(jiān)持閉源路線的如OpenAI、百度、月之暗面也相繼表示將嘗試開源路線。

與以往不同的是,R1之后的沖榜不只體現(xiàn)在數(shù)量多上,更體現(xiàn)在質(zhì)量上?!霸缙谝恍┐髲S的開源模型只是掛上去,后續(xù)不會再運(yùn)營和維護(hù),現(xiàn)在在模型性能、實(shí)用性和穩(wěn)定性上都有突破,對部署算力的要求更低,算是逐漸走出了獨(dú)立曲線?!币晃婚_發(fā)者講道。

更值得注意的是,越來越多國際開發(fā)者選擇中國基礎(chǔ)模型作為微調(diào)起點(diǎn),相比于Llama和Phi,以DeepSeek和Qwen系列模型為基點(diǎn)的衍生模型越來越多。

我們與多位開發(fā)者和企業(yè)聊了聊,為什么中國開源模型如此受歡迎?

1.要做就做真開源

在選擇微調(diào)模型前,首先要關(guān)注的就是開放協(xié)議。

中國開源模型基本上采用的都是最為寬松Apache 2.0開放協(xié)議或MIT協(xié)議,這意味著開發(fā)者可以自由進(jìn)行二次開發(fā)、商用,且基于這些模型開發(fā)的專利歸開發(fā)者本人所有,有效規(guī)避了法律風(fēng)險(xiǎn),為企業(yè)提供了確定性。

一位活躍于HuggingFace社區(qū)的資深開發(fā)者分享道:“我們團(tuán)隊(duì)最初只是試用Qwen系列,但很快發(fā)現(xiàn)其API設(shè)計(jì)和開源資源之完善超出預(yù)期。更重要的是,我們不必?fù)?dān)心未來突然改變協(xié)議或限制使用,這種確定性對商業(yè)項(xiàng)目至關(guān)重要?!?/p>

不少海外初創(chuàng)公司也提到中國模型非常有利的許可模式讓他們能夠直接使用,無需繁瑣的法律審查。即便是離商業(yè)化最近的視頻模型,Wan和HunyuanVideo除了需要遵守相應(yīng)的法規(guī)和限制條款,也是可以免費(fèi)商用的。相比之下,Meta的Llama采用自主制定協(xié)議限制商用,且專利歸原公司所有,這無疑增加了開發(fā)者的法律顧慮。

當(dāng)我們隨手打開HuggingFace中Llama模型的評論區(qū)就會發(fā)現(xiàn),在開發(fā)者測試中,多次出現(xiàn)訪問模型的請求被拒絕的情況。這種不穩(wěn)定的訪問體驗(yàn),加上模棱兩可的使用條款,讓許多開發(fā)者望而卻步。一位企業(yè)AI技術(shù)負(fù)責(zé)人直言:“我們不能基于一個隨時可能被限制使用的模型來構(gòu)建產(chǎn)品?!?/p>

其次,中國模型在開源深度上更進(jìn)一步。不僅開放了從小到大等全系列不同參數(shù)規(guī)格的模型權(quán)重,還提供了各種量化版本和完整的訓(xùn)練數(shù)據(jù)集,甚至包括微調(diào)所需的數(shù)據(jù)模板。這種全面性讓開發(fā)者能夠根據(jù)實(shí)際需求和硬件條件選擇最適合的版本。

“比如說適用于Qwen的編碼數(shù)據(jù)集CodeAlpaca-20K,可在 Hugging Face 上可以直接找到。該數(shù)據(jù)集包含20000 條與編碼相關(guān)的指令、輸入和輸出,可以滿足基本的微調(diào)需求?!?/p>

這種完全的開放風(fēng)格也影響了最新的中國模型開源,當(dāng)HunyuanVideo-12v版本開源時,相較于2個月前的版本,開放權(quán)重更高。模型總參數(shù)量保持130億,適用于多種類型的角色和場景,包括寫實(shí)視頻制作、動漫角色甚至CGI角色制作的生成。開源內(nèi)容包含權(quán)重、推理代碼和LoRA訓(xùn)練代碼,支持開發(fā)者基于混元訓(xùn)練專屬LoRA等衍生模型。

另一方面,從模型本身出發(fā),Llama3目前僅提供8B、70B和405B三種規(guī)格,卻缺少被業(yè)內(nèi)公認(rèn)為算力與性能最佳平衡點(diǎn)的32B參數(shù)規(guī)模。對大多數(shù)開發(fā)者而言,7B模型性能已不足以支撐復(fù)雜應(yīng)用,而70B以上則需要強(qiáng)大的服務(wù)器支持,成本高昂。Qwen系列在這方面迭代更快,規(guī)格覆蓋更全面,從超輕量到重量級都有解決方案。

一位海外開發(fā)者評價(jià):“LLama3的迭代速度明顯慢于Qwen系列,尤其是模型參數(shù)量規(guī)格的覆蓋程度更是存在巨大的短板,至今仍然沒有補(bǔ)齊。”

當(dāng)然,在性能方面,中國模型已與頂級閉源模型相當(dāng)甚至在某些領(lǐng)域超越。DeepSeek-R1自上線以來,已經(jīng)成為開源社區(qū)最受歡迎的推理模型,最新評測數(shù)據(jù)顯示,Qwen-72B模型已經(jīng)超過GPT4水平,而在處理中文等特定任務(wù)時表現(xiàn)更佳。DeepSeek系列在代碼生成能力上也獲得了超過頂級模型的評分。

有開發(fā)者對比發(fā)現(xiàn),完全微調(diào)Qwen 1.5 0.5B模型比使用QLoRA對Phi 1.5進(jìn)行微調(diào)的效果要好得多,且Phi的微調(diào)時間要接近Qwen的5倍。

與其他打著“開源”旗號卻設(shè)置諸多限制的模型不同,中國模型在開放程度和性能表現(xiàn)上找到了平衡,這正吸引全球開發(fā)者加入這一生態(tài)。

2.讓咖啡店老板都能跑大模型

由于美國對高端GPU的出口管制,迫使中國開發(fā)者從依賴硬件堆砌的傳統(tǒng)路徑轉(zhuǎn)向“算法優(yōu)先”的創(chuàng)新模式。這種“算力短缺倒逼算法升級”的邏輯,推動中國開源模型形成獨(dú)特的競爭力:通過架構(gòu)創(chuàng)新與算法優(yōu)化,在有限算力下實(shí)現(xiàn)可用性最大化,降低部署門檻,讓咖啡店老板都能跑大模型。

比如最新的QwQ-32B推理模型,幾乎完全超越了OpenAI-o1-mini,遠(yuǎn)勝于o1-mini及相同尺寸的R1蒸餾模型,在保持性能的前提下把模型做小到32B的最佳部署參數(shù)區(qū)間,是呈現(xiàn)出來的一個趨勢。

“本質(zhì)上是用算法復(fù)雜度置換高算力需求,當(dāng)模型參數(shù)量降低兩個數(shù)量級時,訓(xùn)練所需的顯存從千兆字節(jié)級壓縮至消費(fèi)級顯卡可承載的96GB以內(nèi),大模型的部署不再依賴專業(yè)計(jì)算集群。”

參數(shù)變小后再通過特定的算法降低內(nèi)存和對顯存的需求,QwQ-32B在消費(fèi)級顯卡4090或一臺裝備M4芯片的MacBook上就能完成部署。

再比如視頻生成類模型HunyuanVideo-12V和Wan2.1版本,也可在T2V-1.3B 型號僅需 8.19 GB VRAM,可兼容幾乎所有消費(fèi)級 GPU??稍诩s 4 分鐘內(nèi)(未使用量化等優(yōu)化技術(shù))在 RTX 4090 上生成 5 秒的 480P 視頻。

另外一方面,是中國大模型已經(jīng)完全建立起了開放生態(tài),開源方法得到了第三方項(xiàng)目和工具的廣泛支持。

在訓(xùn)練和微調(diào)方面,多個開源框架為中國大模型提供了強(qiáng)大支持。例如,DeepSpeed Chat 提供了一鍵式RLHF(基于人類反饋的強(qiáng)化學(xué)習(xí))訓(xùn)練框架,支持從數(shù)據(jù)預(yù)處理到模型評估的完整訓(xùn)練流程,顯著降低了復(fù)雜任務(wù)的開發(fā)門檻。

此外,LLaMA Efficient Tuning 提供了基于PEFT(參數(shù)高效微調(diào)技術(shù))的微調(diào)框架,支持LoRA、Adapter等多種微調(diào)模式,使開發(fā)者能夠以更低的計(jì)算成本實(shí)現(xiàn)模型性能的優(yōu)化。這些開源工具不僅覆蓋了從預(yù)訓(xùn)練到微調(diào)的全流程,還通過模塊化設(shè)計(jì)提高了靈活性和易用性,為開發(fā)者提供了豐富的選擇。

在模型推理方面,同樣有多種高效框架支持中國大模型的部署。例如,vLLM 針對大批量Prompt輸入場景進(jìn)行了優(yōu)化,通過動態(tài)內(nèi)存管理和高效調(diào)度算法,顯著提升了推理速度和吞吐量。而 Xinference 則是一個功能全面的分布式推理框架,支持多節(jié)點(diǎn)并行計(jì)算,簡化了大語言模型的部署流程,尤其適合高并發(fā)、低延遲的應(yīng)用場景。

這些框架與中國大模型(如Qwen、DeepSeek等)完全適配,不僅提升了推理效率,還降低了硬件資源需求,使得模型的部署更加便捷和經(jīng)濟(jì)。

模型最開放、型號最全,與開放生態(tài)工具完全耦合,同時兼具著最低的部署門檻,使更多開發(fā)者能夠參與試用,來自中國廠商的這樣的開源模型還會越來越多,一個全新的生態(tài)結(jié)構(gòu)正在慢慢建立起來。

本文由人人都是產(chǎn)品經(jīng)理作者【硅星人】,微信公眾號:【硅星人Pro】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!