阿里云開源通義千問Qweb2 支持128K上下文 在測(cè)試中表現(xiàn)不俗 – 藍(lán)點(diǎn)網(wǎng)
阿里云今天推出了通義千問人工智能模型的藍(lán)點(diǎn)重大升級(jí)版本:Qwen2,該模型提供 5 個(gè)不同的阿里尺寸、上下文長(zhǎng)度最高支持 128K tokens,云開源通義千并且在各項(xiàng)測(cè)試中表現(xiàn)不俗。問Q文測(cè)網(wǎng)
Qwen2 的上下試中所有尺寸版本均已同步在 GitHub、HuggingFace 和 ModelScope 上開源,表現(xiàn)不俗有興趣的藍(lán)點(diǎn)開發(fā)者可以立即獲取模型進(jìn)行測(cè)試。

此次發(fā)布的阿里新版本亮點(diǎn)包括:
- 能力較此前版本有較大幅度提升,在開源模型測(cè)試中名列前茅
- 提供 5 個(gè)預(yù)訓(xùn)練和指令微調(diào)模型,云開源通義千包括 Qwen2-0.5B、問Q文測(cè)網(wǎng)廣州花都區(qū)外圍(外圍資源)(薇WhatsApp+365-*2895)提供全國(guó)外圍女上門、伴游,空姐,網(wǎng)紅,明星,學(xué)生上門預(yù)約服務(wù) 同城30分鐘內(nèi)到達(dá) 面到付款Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B
- 在編程領(lǐng)域和數(shù)學(xué)方面的能力顯著提高
- 增加上下文長(zhǎng)度,現(xiàn)在最高支持 128K tokens
- 在中文和英語的基礎(chǔ)上,增加 27 種語言相關(guān)的數(shù)據(jù)進(jìn)行訓(xùn)練

在 Qwen1.5 系列模型中只有 32B 和 110B 版使用 GQA,而在 Qwen2 中所有模型都使用 Qwen2,使用 GQA 后有助于提升推理能力和降低顯存的占用。
同時(shí)諸如 Qwen2-0.5B 和 1.5B 版可以在性能更低的設(shè)備上運(yùn)行,例如在智能手機(jī)本地運(yùn)行 Qwen2-0.5B 而不需要云端處理,這種也是未來的趨勢(shì),未來可能所有智能設(shè)備都會(huì)支持 AI,這就需要更小的模型為本地運(yùn)行提供支持。
模型評(píng)估顯示 Qwen2 能力超過 Llama3:
目前人工智能開源 / 開放社區(qū)中最重要的兩個(gè)貢獻(xiàn)者就是 Meta 和阿里云,Meta 主要就是 Llama 系列模型最新版本為 Llama3。
在開源 / 開放模型能力評(píng)測(cè)中,Qwen2-72B 版在各方面超過 Llama3-70B,也超過了 Mixtral-8x22B,所以現(xiàn)在壓力給到了 Meta,不知道 Meta 什么時(shí)候發(fā)布新版本。



阿里云 AI 團(tuán)隊(duì)表示:
大規(guī)模預(yù)訓(xùn)練后,我們對(duì)模型進(jìn)行精細(xì)的微調(diào),以提升其智能水平,讓其表現(xiàn)更接近人類。這個(gè)過程進(jìn)一步提升了代碼、數(shù)學(xué)、推理、指令遵循、多語言理解等能力。此外,模型學(xué)會(huì)對(duì)齊人類價(jià)值觀,它也隨之變得更加對(duì)人類有幫助、誠(chéng)實(shí)以及安全。我們的微調(diào)過程遵循的原則是使訓(xùn)練盡可能規(guī)模化的同時(shí)并且盡可能減少人工標(biāo)注。我們探索了如何采用多種自動(dòng)方法以獲取高質(zhì)量、可靠、有創(chuàng)造力的指令和偏好數(shù)據(jù),其中包括針對(duì)數(shù)學(xué)的拒絕采樣、針對(duì)代碼和指令遵循的代碼執(zhí)行反饋、針對(duì)創(chuàng)意寫作的回譯、針對(duì)角色扮演的 scalable oversight、等等。在訓(xùn)練方面,我們結(jié)合了有監(jiān)督微調(diào)、反饋模型訓(xùn)練以及在線 DPO 等方法。我們還采用了在線模型合并的方法減少對(duì)齊稅。這些做法都大幅提升了模型的基礎(chǔ)能力以及模型的智能水平。
限時(shí)活動(dòng)推薦:軟購(gòu)618多款正版軟件2折購(gòu)、QQ超會(huì)15月108元、B站大會(huì)員88元、騰訊視頻128元、愛奇藝138元。
(責(zé)任編輯:熱點(diǎn))
下一篇:《王國(guó)之心3》圣誕節(jié)期間上線 E3發(fā)布會(huì)展示更多細(xì)節(jié)
- ·鄭州外圍商務(wù)模特(外圍)【電話微信1662+044-1662】提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- ·武漢品茶預(yù)約【電話微信192=1819=1410提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- ·貴陽(yáng)小姐(小姐包夜【電話微信192=1819=1410提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- ·武漢外圍小姐 【電話微信192=1819=1410提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- ·武漢小姐(上門年輕小姐)【電話微信1662+044-1662】提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- ·大連小姐上門服務(wù)聯(lián)系方式【電話微信1662+044-1662】提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- ·濟(jì)南(探花資源)聯(lián)系方式【電話微信1662+044-1662】提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- ·桂林找外圍(外圍空姐)【電話微信192=1819=1410提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)
- ·網(wǎng)易龐大智:AI正在打破游戲行業(yè)的“不可能三角”
- ·世嘉2024開年大年夜得勝利!如龍8、P3R均創(chuàng)新記載
- ·2019大年夜理五家講區(qū)貶價(jià)劣惠
- ·幻塔×新世紀(jì)禍音兵士聯(lián)動(dòng)PV:嫡噴鼻足持朗基努斯槍
- ·新作《滿足》首支預(yù)告片放出 《模擬山羊》公司開發(fā)
- ·2020好玩的足機(jī)單機(jī)像素游戲保舉 悲迎去到像素的天下
- ·林豪杰貴陽(yáng)演唱會(huì)2024搶票時(shí)候+天面+門票
- ·12月18日——12月24日當(dāng)貝市場(chǎng)應(yīng)用下載排行榜
- ·《Fighting EX Layer》新DLC公布 兩個(gè)新角色曝光
- ·張藝謀贊董宇輝創(chuàng)做收明新直播帶貨體例 稱期間吸喊了他
- ·《上古卷軸5:天際VR》演示視頻預(yù)覽
- ·2024北通天鐵運(yùn)營(yíng)尾終班車幾面
- ·新減坡圣誕節(jié)挨開嗎 新減坡圣誕節(jié)挨開疑息渾算
- ·宇宙被發(fā)現(xiàn)抑制宇宙結(jié)構(gòu)增長(zhǎng)
- ·2024ChinaJoy,TCL華星誠(chéng)摯邀您加入「星次元登陸計(jì)劃」!
- ·2019上海四月賞花往那里+攻略
- ·萬代×《崩壞:星穹鐵講》開做!超多齊新周邊公開
- ·2017失意電視品牌大盤點(diǎn)!寒冬已去春天還會(huì)遠(yuǎn)嗎?
- ·《寶可夢(mèng)Sleep》新功能"睡飽飽獎(jiǎng)?wù)拢⒏拍钣捌?/a>
- ·《寶可夢(mèng):朱/紫》將于4月尾更新 建復(fù)太晶個(gè)人戰(zhàn)BUG














