聯(lián)手微軟掀全球AI狂歡Meta推出免費(fèi)商用的Llama 2，最強(qiáng)“GPT-4平替”開源！
Llama7/520.jpg)
今天，F(xiàn)acebook母公司Meta發(fā)布其首個(gè)開源可商用大語(yǔ)言模型Llama 2！
智東西7月19日?qǐng)?bào)道，今天凌晨，Meta在其官網(wǎng)宣布大語(yǔ)言模型Llama 2正式發(fā)布，Llama 2是Meta大語(yǔ)言模型Llama模型的最新版本，也是Meta首個(gè)免費(fèi)商用的大語(yǔ)言模型。
該模型目前支持70億、130億、700億等多個(gè)參數(shù)規(guī)模版本。相較Llama 1，Llama 2經(jīng)過(guò)2萬(wàn)億個(gè)tokens訓(xùn)練，其對(duì)上下文訓(xùn)練的長(zhǎng)度是Llama 1的兩倍，達(dá)到4096。Llama-2-chat模型還接受了超過(guò)100萬(wàn)個(gè)人工標(biāo)注訓(xùn)練。由于其強(qiáng)大的參數(shù)規(guī)模以及性能表現(xiàn)，不少人稱之為“GPT-4最強(qiáng)平替”，也是大模型之戰(zhàn)中AI平權(quán)的又一例證。
此外，Meta和微軟高調(diào)宣布將在生成式AI領(lǐng)域聯(lián)手，微軟將成為L(zhǎng)lama 2的首選合作伙伴。微軟Azure客戶將能夠在Azure上輕松安全地微調(diào)和部署Llama 2模型，快速構(gòu)建適用于自身業(yè)務(wù)的專用大模型。
“大語(yǔ)言模型正被企業(yè)用作生成式AI的核心要素?！盡eta在官網(wǎng)中說(shuō)道。Llama 2模型的發(fā)布，是Meta在大語(yǔ)言模型領(lǐng)域的又一次有力發(fā)聲。此前，谷歌、微軟曾通過(guò)接入大語(yǔ)言模型，更新其旗下多個(gè)產(chǎn)品線。
OpenAI的GPT-4和Meta的Llama分別是大語(yǔ)言模型領(lǐng)域閉源和開源的代表。全球有眾多大模型基于Llama開發(fā)而來(lái)，但又受限于無(wú)法免費(fèi)商用。隨著Llama2免費(fèi)開源商用，并與微軟這樣的云服務(wù)商深度合作，開源力量可能重新劃分AI市場(chǎng)的格局，對(duì)眾多大模型應(yīng)用企業(yè)也是好消息。
現(xiàn)在，用戶需要通過(guò)提交表格的方式即可獲得Llama-2-chat模型。用戶下載每個(gè)模型后，將收到大模型的型號(hào)代碼、規(guī)模、用戶指南信息。
論文地址：
https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/
項(xiàng)目地址：
https://github.com/facebookresearch/llama
Llama-2-chat模型下載地址：
https://ai.meta.com/resources/models-and-libraries/llama-downloads/
一、Llama-2大模型，強(qiáng)在哪里？
Llama 2是一組經(jīng)過(guò)預(yù)先訓(xùn)練和精細(xì)調(diào)整的大型語(yǔ)言模型（LLMS），規(guī)模從70億到700億參數(shù)不等。
目前，Meta正式發(fā)布了Llama 2大模型的70億、130億、 700億三個(gè)參數(shù)規(guī)模版本。據(jù)悉，Meta還訓(xùn)練了340億版本，但沒有發(fā)布。在論文中，我們還發(fā)現(xiàn)了330億和650億版本的Llama 2訓(xùn)練數(shù)據(jù)信息。
此次發(fā)布過(guò)程中，Meta還隨著Llama-2大模型提供預(yù)訓(xùn)練模型和對(duì)話微調(diào)版本的模型權(quán)重和初始代碼。
在此次訓(xùn)練中，Meta還將預(yù)訓(xùn)練語(yǔ)料庫(kù)的規(guī)模增加了40%，將模型的上下文長(zhǎng)度增加了一倍，并采用了分組查詢注意力（grouped-query attention）方法。
根據(jù)Meta公布的測(cè)評(píng)數(shù)據(jù)，Llama 2在許多外部基準(zhǔn)測(cè)試上都優(yōu)于其他開源語(yǔ)言模型，包括推理、編碼、熟練程度和知識(shí)測(cè)試?；谌祟悓?duì)大模型的有用性以及安全的評(píng)估，Llama 2可能是封閉源模型如GPT等的適當(dāng)替代品。
其中，Llama 2-Chat是針對(duì)對(duì)話AI場(chǎng)景進(jìn)行優(yōu)化的，使用來(lái)自人類反饋的強(qiáng)化學(xué)習(xí)來(lái)確保安全性和有用性。
在訓(xùn)練過(guò)程中，Llama 2使用公開的在線數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練。然后通過(guò)使用監(jiān)督微調(diào)創(chuàng)建Llama-2-chat的初始版本。接下來(lái)，Llama-2-chat會(huì)通過(guò)人類反饋強(qiáng)化學(xué)習(xí)第一次出現(xiàn)標(biāo)注上（RLHF）進(jìn)行迭代細(xì)化，其中包括拒絕采樣和近端策略優(yōu)化（PPO）。
Llama-2大模型將免費(fèi)用于研究和商業(yè)用途。微軟是Llama 2的首選合作伙伴。據(jù)悉，Llama 2可在 Azure AI模型目錄中使用，使用Microsoft Azure的開發(fā)人員能夠使用它進(jìn)行構(gòu)建，并利用其云原生工具進(jìn)行內(nèi)容過(guò)濾和安全功能。
Llama 2還針對(duì)在Windows的本地運(yùn)行進(jìn)行了優(yōu)化，為開發(fā)人員提供了無(wú)縫工作流程，為跨不同平臺(tái)的客戶帶來(lái)生成式AI體驗(yàn)。目前，Llama2也可通過(guò)Amazon Web Services（AWS）、Hugging Face和其他提供商獲取。
二、經(jīng)過(guò)三方安全測(cè)試，Meta與微軟聯(lián)合推動(dòng)Llama-2落地
人工智能在給社會(huì)帶來(lái)巨大進(jìn)步的同時(shí)，也伴隨著風(fēng)險(xiǎn)。Meta希望提供開源，以促進(jìn)大模型的透明度。
據(jù)Meta介紹，Llama-2已經(jīng)通過(guò)安全測(cè)試。測(cè)試團(tuán)隊(duì)不但來(lái)自于Meta內(nèi)部，通過(guò)生成對(duì)抗性提示以促進(jìn)模型微調(diào)，還有第三方機(jī)構(gòu)對(duì)Llama-2進(jìn)行外部對(duì)抗性測(cè)試，以識(shí)別性能差距。
在Meta進(jìn)一步的研究論文里，Meta解釋了模型的微調(diào)和評(píng)估方法并指出了其缺點(diǎn)，并披露了此前經(jīng)歷過(guò)的已知挑戰(zhàn)和問(wèn)題。
Meta創(chuàng)建了大模型指南作為指引，以支持開發(fā)人員提供負(fù)責(zé)任的開發(fā)和安全評(píng)估的最佳實(shí)踐。該指南概述了一些實(shí)踐成果，反映了整個(gè)人工智能研究行業(yè)討論有關(guān)負(fù)責(zé)任的生成式AI最先進(jìn)的研究。
Meta還啟動(dòng)了一項(xiàng)新的合作伙伴計(jì)劃，研究人員可以申請(qǐng)加入從業(yè)者社區(qū)，分享有關(guān)Llama-2的經(jīng)驗(yàn)，社區(qū)將制定一個(gè)研究議程來(lái)推動(dòng)未來(lái)的發(fā)展。同時(shí)，Meta還在政策監(jiān)管下，明確禁止某些使用大語(yǔ)言模型的指導(dǎo)方向，以幫助確保這些模型得到公平和負(fù)責(zé)任的使用。
結(jié)語(yǔ)：開源大模型，Meta加速AI領(lǐng)域發(fā)展
隨著Meta大模型Llama 2發(fā)布，全球的大語(yǔ)言模型矩陣又新增一位重磅嘉賓。Meta和微軟的聯(lián)合，也迅速將Llama 2的應(yīng)用，直接和成千上萬(wàn)的開發(fā)者連接起來(lái)。
相較于上一代，Llama 2 在推理、編碼、熟練程度和知識(shí)測(cè)試，優(yōu)于其他開源語(yǔ)言模型。
隨著大模型研發(fā)和落地的加速狂飆，我們有望看到更多大模型為生活以及產(chǎn)業(yè)帶來(lái)巨大影響。
來(lái)源： 智東西