Meta 大模型Llama 3 發布
2024.04.20
當地時間4月18日，Meta在官網上宣布公布了旗下最新大模型Llama 3。目前，Llama 3已經開放了80億（8B）和700億（70B）兩個小參數版本，上下文窗口為8k。Meta表示，通過使用更高質量的訓練數據和指令微調，Llama 3比前代Llama 2有了“顯著提升”。
未來，Meta將推出Llama 3的更大參數版本，其將擁有超過4000億參數。Meta也將在后續為Llama 3推出多模態等新功能，包括更長的上下文窗口，以及Llama 3研究論文。
Meta在公告中寫道：“通過Llama 3，我們致力于構建能夠與當今最優秀的專有模型相媲美的開源模型。我們想處理開發者的反饋，提高Llama 3 的整體實用性，同時，繼續在負責地使用和部署LLM（大型語言模型）方面發揮領先作用?！?/p>
18日當天，Meta股價（Nasdaq：META）收于每股501.80美元，漲1.54%，總市值1.28萬億美元。
“目前市場上最好的開源大模型”
據Meta介紹，Llama 3已經在多種行業基準測試上展現了最先進的性能，提供了包括改進的推理能力在內的新功能，是目前市場上最好的開源大模型。
在架構層面，Llama3選擇了標準的僅解碼（decoder-only）式Transformer架構，采用包含128K token詞匯表的分詞器。Llama 3在Meta自制的兩個24K GPU集群上進行預訓練，使用了超過15T的公開數據，其中5%為非英文數據，涵蓋30多種語言，訓練數據量是前代Llama 2的七倍，包含的代碼數量是Llama 2的四倍。
根據Meta的測試結果，Llama 3 8B模型在MMLU、GPQA、HumanEval等多項性能基準上均超過了Gemma 7B和Mistral 7B Instruct，70B模型則超越了名聲在外的閉源模型Claude 3的中間版本Sonnet，和谷歌的Gemini Pro 1.5相比三勝兩負。
Llama 3在多項性能基準上表現出眾。來源：Meta官網
在常規數據集之外，Meta還致力于優化Llama 3在實際場景中的性能，為此專門研發了一套高質量的人工測試集。該測試集包含1800條數據，涵蓋了尋求建議、封閉式問題回答、頭腦風暴、編碼、寫作等12個關鍵用例，并對開發團隊保密。
在這套測試集中，從結果來看，Llama 3的成績大幅超越了Llama 2，也勝過了Claude 3 Sonnet、Mistral Medium和GPT-3.5這些知名模型。
Llama 3在人工測試集上取得優異成績。來源：Meta官網
而Llama 3的400B+模型雖然仍在訓練中，Meta也展現了其部分測試成果，似乎旨在對標Claude 3的最強版本Opus。不過，Meta沒有公布Llama 3更大參數模型和GPT-4等同規格選手的對比成果。
仍在訓練中的Llama 3的400B+模型。來源：Meta官網
Llama 3模型即將在亞馬遜AWS、Databricks、谷歌云、Hugging Face、Kaggle、IBM WatsonX、亞馬遜Azure、英偉達NIM和Snowflake上被提供給開發者，并獲得 AMD、AWS、戴爾、英特爾、英偉達和高通提供的硬件平臺支持。為了讓Llama 3被負責地開發，Meta還將提供新的信任和安全工具，包括Llama Guard 2、Code Shield和CyberSec Eval 2。
同時，Meta發布了基于Llama3的官方Web版本Meta AI。目前，該平臺仍處于初級階段，只有對話和繪畫兩大功能。用戶使用對話功能無需通過注冊，使用繪畫功能則需要用戶注冊登錄賬號。
為開源社區注入活力
Meta的AI道路向來與開源緊密相連，Llama 3一經推出，受到了開源社區的熱烈歡迎。
雖然也有一些對于Llama 3的8k上下文窗口過小的吐槽，但Meta方面表示，很快就會擴充Llama 3的上下文窗口。電子郵件初創企業Otherside AI的CEO兼聯合創始人馬特·舒默（Matt Shumer）對此也保持樂觀，并表示：“我們正在走入一個新世界，在這里，GPT-4級別的模型是開源并可以免費訪問的。”
英偉達高級研究科學家范麟熙（Jim Fan）表示，即將推出的更大參數Llama 3模型標志著開源社區的一個“分水嶺”，可以改變許多學術研究和初創企業的決策方式，“預計整個生態系統中的活力將會激增”。
不過，值得注意的是，Meta沒有公布Llama 3的訓練數據，只稱其全部來自公開數據。而從嚴格意義上來說，所謂的“開源”軟件應當在開發與分發的過程中，將包括軟件產品的源代碼、訓練數據等內容對公眾完全開放。此前，數據公司Databricks發布的“最強開源大模型”DBRX除了擁有遠超出普通計算機的標準配置外，也存在這一問題。
Llama 3的推出緊跟在Meta自研芯片取得進步之后。就在上周，Meta公布了自主研發芯片MTIA的最新版本。MTIA是Meta專門為AI訓練和推理工作設計的定制芯片系列。和去年五月官宣的Meta第一代AI推理加速器MTIA v1相比，最新版本芯片在性能上有顯著提升，專為Meta旗下社交軟件的排名和推薦系統而設計。分析指出，Meta的目標是降低對英偉達等芯片廠商的依賴。
