<thead id="n1l7p"><sub id="n1l7p"></sub></thead>

        <font id="n1l7p"></font>

          <var id="n1l7p"><dfn id="n1l7p"><strike id="n1l7p"></strike></dfn></var>

              每日經(jīng)濟新聞
              頭條

              每經(jīng)網(wǎng)首頁(yè) > 頭條 > 正文

              重磅!Meta推出開(kāi)源大模型Llama 3,性能直逼GPT-4

              每日經(jīng)濟新聞 2024-04-19 07:54:27

              每經(jīng)編輯 杜宇

              當地時(shí)間4月18日,AI 領(lǐng)域迎來(lái)重磅消息,Meta正式發(fā)布了人們等待已久的開(kāi)源大模型Llama 3。

              與此同時(shí),Meta首席執行官扎克伯格宣布:基于最新的Llama 3模型,Meta的AI助手現在已經(jīng)覆蓋Instagram、WhatsApp、Facebook等全系應用,并單獨開(kāi)啟了網(wǎng)站。另外還有一個(gè)圖像生成器,可根據自然語(yǔ)言提示詞生成圖片。

              Meta首席執行官馬克·扎克伯格在一段視頻中表示,該助理可以回答問(wèn)題、制作動(dòng)畫(huà)和生成圖像。

              扎克伯格在 Facebook 上發(fā)帖:Big AI news today

              Meta首席執行官馬克·扎克伯格在視頻中表示:我們相信,Meta AI現在是你可以自由使用的最智能的人工智能助手。Meta AI內置于WhatsApp、Instagram、Facebook和Messenger應用程序的搜索框中,因此用戶(hù)可以輕松地提出可以通過(guò)新工具回答的問(wèn)題。

              扎克伯格表示,Meta 提供的生成式 AI 能力在免費產(chǎn)品中性能是最強大的。

              在 Facebook、Instagram、WhatsApp 和 Messenger 上,用戶(hù)現在可以借助 Meta AI 進(jìn)行搜索,無(wú)需在應用程序之間切換:


              當你瀏覽信息流的時(shí)候,還可以直接從帖子中向 Meta AI 詢(xún)問(wèn)更多信息:

              圖像生成器帶來(lái)的玩法更加有趣,Imagine 功能帶來(lái)了從文本實(shí)時(shí)創(chuàng )建圖像。這一功能的測試版從今天開(kāi)始在美國的 WhatsApp 和 Meta AI 網(wǎng)絡(luò )體驗上推出。

              開(kāi)始打字時(shí),你會(huì )看到一個(gè)圖像出現,每多輸入幾個(gè)字母,圖像都會(huì )發(fā)生變化:

              Meta表示,Llama 3在多個(gè)關(guān)鍵的基準測試中性能優(yōu)于業(yè)界先進(jìn)同類(lèi)模型,其在代碼生成等任務(wù)上實(shí)現了全面領(lǐng)先,能夠進(jìn)行復雜的推理,可以更遵循指令,能夠可視化想法并解決很多微妙的問(wèn)題。

              Llama 3的主要亮點(diǎn)包括:

              基于超過(guò)15T token訓練,相當于Llama 2數據集的7倍還多;

              支持8K長(cháng)文本,改進(jìn)的tokenizer具有128K token的詞匯量,可實(shí)現更好的性能;

              在大量重要基準中均具有最先進(jìn)性能;

              新能力范疇,包括增強的推理和代碼能力;

              訓練效率比Llama 2高3倍;

              帶有Llama Guard 2、Code Shield和CyberSec Eval 2的新版信任和安全工具。

              剛剛發(fā)布的8B和70B版本Llama 3模型已用于Meta AI助手,同時(shí)也面向開(kāi)發(fā)者進(jìn)行了開(kāi)源,包括預訓練和微調版本。

              最新發(fā)布的8B和70B參數的Llama 3模型可以說(shuō)是Llama 2的重大飛躍,由于預訓練和后訓練(Post-training)的改進(jìn),本次發(fā)布的預訓練和指令微調模型是當今8B和70B參數規模中的最佳模型。與此同時(shí),后訓練過(guò)程的改進(jìn)大大降低了模型出錯率,進(jìn)一步改善了一致性,并增加了模型響應的多樣性。

              Llama 3將數據和規模提升到新的高度。Meta表示,Llama 3是在兩個(gè)定制的24K GPU集群上、基于超過(guò)15T token的數據上進(jìn)行了訓練——相當于Llama 2數據集的7倍還多,代碼數據相當于Llama 2的4倍。從而產(chǎn)生了迄今為止最強大的Llama模型,Llama 3支持8K上下文長(cháng)度,是Llama 2容量的兩倍。

              此外,Meta還開(kāi)發(fā)了一套新的高質(zhì)量人類(lèi)評估數據集。該評估集包含1800個(gè)提示,涵蓋12個(gè)關(guān)鍵用例:尋求建議、頭腦風(fēng)暴、分類(lèi)、封閉式問(wèn)答、編碼、創(chuàng )意寫(xiě)作、提取、塑造角色、開(kāi)放式問(wèn)答、推理、重寫(xiě)和總結。為了防止Llama 3在此評估集上出現過(guò)度擬合,Meta表示他們自己的團隊也無(wú)法訪(fǎng)問(wèn)該數據集。下圖顯示了針對Claude Sonnet、Mistral Medium和GPT-3.5對這些類(lèi)別和提示進(jìn)行人工評估的匯總結果。

              下圖是 Llama 3 預訓練模型和其他同等規模模型的比較,前者表現出 SOTA 水平。

              為了訓練最好的語(yǔ)言模型,管理大型、高質(zhì)量的訓練數據集至關(guān)重要。Meta在預訓練數據上投入了大量成本。Llama 3使用超過(guò)15T的token進(jìn)行了預訓練,這些token都是從公開(kāi)來(lái)源收集的??傮w上講,Llama 3的訓練數據集是Llama 2使用的數據集的七倍多,并且包含四倍多的代碼。為了為即將到來(lái)的多語(yǔ)言用例做好準備,超過(guò)5%的Llama 3預訓練數據集由涵蓋30多種語(yǔ)言的高質(zhì)量非英語(yǔ)數據組成。但是,Llama 3在這些語(yǔ)言上的性能水平預計不會(huì )與英語(yǔ)相同。

              為了確保Llama 3接受最高質(zhì)量數據的訓練,研究團隊開(kāi)發(fā)了一系列數據過(guò)濾pipeline,包括使用啟發(fā)式過(guò)濾器(filter)、NSFW過(guò)濾器、語(yǔ)義重復數據刪除方法和文本分類(lèi)器來(lái)預測數據質(zhì)量。

              研究團隊發(fā)現前幾代Llama非常擅長(cháng)識別高質(zhì)量數據,因此Meta使用Llama 2為給Llama 3提供支持的文本質(zhì)量分類(lèi)器生成訓練數據。

              研究團隊還進(jìn)行了廣泛的實(shí)驗,以評估出在最終預訓練數據集中不同來(lái)源數據的最佳混合方式,最終確保Llama 3在各種用例(包括日常問(wèn)題、STEM、編碼、歷史知識等)中表現良好。

              Meta表示,最大的Llama 3參數超過(guò)400B,雖然這些機型仍在訓練中,但在接下來(lái)的幾個(gè)月中也將陸續發(fā)布,新功能包括多模態(tài)、多語(yǔ)言對話(huà)能力、更長(cháng)的上下文窗口以及更強的整體能力。

              Meta希望Llama 3能趕上OpenAI的GPT-4。不過(guò)知情人士透露,因為研究人員尚未開(kāi)始對Llama 3進(jìn)行微調,所以尚未決定Llama 3是否將是多模態(tài)模型。微調是開(kāi)發(fā)人員為現有模型提供額外數據的過(guò)程,以便它可以學(xué)習新信息或任務(wù)。較大的模型通常會(huì )提供更高質(zhì)量的答復,而較小的模型往往會(huì )更快的提供答復。有消息稱(chēng),正式版的Llama 3將會(huì )在今年7月正式推出。

              Meta還宣布與Alphabet的谷歌建立新的合作伙伴關(guān)系,在助手的答復中包括實(shí)時(shí)搜索結果,作為與微軟必應現有合作的補充。隨著(zhù)此次更新,Meta AI助手正在擴展到美國以外的十多個(gè)市場(chǎng),包括澳大利亞、加拿大、新加坡、尼日利亞和巴基斯坦??伎怂拐f(shuō),Meta“仍在努力以正確的方式在歐洲做到這一點(diǎn)”。歐洲的隱私規定更加嚴格,即將出臺的人工智能法案也準備提出披露模型訓練數據等要求。

              每日經(jīng)濟新聞綜合公開(kāi)資料


              封面圖片來(lái)源::每日經(jīng)濟新聞 資料圖

              如需轉載請與《每日經(jīng)濟新聞》報社聯(lián)系。
              未經(jīng)《每日經(jīng)濟新聞》報社授權,嚴禁轉載或鏡像,違者必究。

              讀者熱線(xiàn):4008890008

              特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現在本站,可聯(lián)系我們要求撤下您的作品。

              META 數據 大模型

              歡迎關(guān)注每日經(jīng)濟新聞APP

              每經(jīng)經(jīng)濟新聞官方APP

              0

              0

              国产精品热久久毛片,久久老司机,亚洲av片在线观看,一级毛片特级毛片免费的

                  <thead id="n1l7p"><sub id="n1l7p"></sub></thead>

                    <font id="n1l7p"></font>

                      <var id="n1l7p"><dfn id="n1l7p"><strike id="n1l7p"></strike></dfn></var>