摘要: 原標(biāo)題：天垓100完成百億級(jí)參數(shù)大模型訓(xùn)練 6月10日，在第五屆智源大會(huì)AI系統(tǒng)分論壇上，上海天數(shù)智芯半導(dǎo)體有限公司宣布，在天垓100加速卡的算力集群，
原標(biāo)題：天垓100完成百億級(jí)參數(shù)大模型訓(xùn)練
6月10日，在第五屆智源大會(huì)AI系統(tǒng)分論壇上，上海天數(shù)智芯半導(dǎo)體有限公司宣布，在天垓100加速卡的算力集群，基于北京智源人工智能研究院70億參數(shù)的Aquila語(yǔ)言基礎(chǔ)模型，使用代碼數(shù)據(jù)進(jìn)行繼續(xù)訓(xùn)練，穩(wěn)定運(yùn)行19天，模型收斂效果符合預(yù)期，證明天數(shù)智芯有支持百億級(jí)參數(shù)大模型訓(xùn)練的能力。
上海天數(shù)智芯半導(dǎo)體有限公司是通用GPU高端芯片及超級(jí)算力系統(tǒng)提供商。據(jù)介紹，在北京市海淀區(qū)的支持下，智源研究院、天數(shù)智芯與愛(ài)特云翔共同合作，聯(lián)手開(kāi)展基于自主通用GPU的大模型CodeGen（高效編碼）項(xiàng)目，通過(guò)中文描述來(lái)生成可用的C、Java、Python代碼以實(shí)現(xiàn)高效編碼。
智源研究院負(fù)責(zé)算法設(shè)計(jì)、訓(xùn)練框架開(kāi)發(fā)、大模型的訓(xùn)練與調(diào)優(yōu)，天數(shù)智芯負(fù)責(zé)提供天垓100加速卡、構(gòu)建算力集群及全程技術(shù)支持，愛(ài)特云翔負(fù)責(zé)提供算存網(wǎng)基礎(chǔ)硬件及智能化運(yùn)維服務(wù)。
據(jù)介紹，與國(guó)際主流的A100加速卡集群相比，天垓100加速卡集群的收斂效果、訓(xùn)練速度、線性加速比相當(dāng)，穩(wěn)定性更優(yōu)。天數(shù)智芯將與合作伙伴們共同建設(shè)更大規(guī)模的天垓100算力集群，完成更大參數(shù)規(guī)模的大模型訓(xùn)練，以自主通用GPU產(chǎn)品更好支持國(guó)內(nèi)大模型創(chuàng)新應(yīng)用。
原標(biāo)題：廣東一學(xué)生因白事凌晨請(qǐng)假，宿管未開(kāi)門放行，學(xué)校：正處理 11月24日
快資訊2024-11-25 19:00:34
原標(biāo)題：都11月了，秋招還有機(jī)會(huì)上岸嗎？ 菌崽答：有！ 許多應(yīng)屆生寶寶們可
快資訊2024-11-22 21:42:48
原標(biāo)題：這個(gè)神仙班級(jí)，100％保研！ 全班26人保研 100%保研率 這是什么神仙班級(jí)
快資訊2024-11-21 21:20:39
原標(biāo)題：北京5所民辦非學(xué)歷高等教育機(jī)構(gòu)年檢不通過(guò) 新京報(bào)訊 據(jù)首都教育微信
快資訊2024-11-20 22:57:35
原標(biāo)題：教育廳公示！兩所新大學(xué)，來(lái)了 11月18日，湖北省教育廳發(fā)布《關(guān)于擬
快資訊2024-11-20 22:23:13
原標(biāo)題：假學(xué)歷后續(xù)：20人潛逃！4名學(xué)生被捕，1人來(lái)自深圳 近期 香港高校假學(xué)
快資訊2024-11-19 21:43:18
原標(biāo)題：2歲男童下樓買糖時(shí)被人拐走 今天庭審！ 11月19日 河南 盧新航被拐案今
快資訊2024-11-19 21:35:25
原標(biāo)題：16歲中學(xué)生獲正高職稱后續(xù)：簡(jiǎn)歷網(wǎng)頁(yè)已撤，公號(hào)信息已刪除 近日，一
快資訊2024-11-15 20:54:40
原標(biāo)題：大連一考場(chǎng)外，父親站在房車頂上等待孩子！穿旗袍的家長(zhǎng)很多！ 近
快資訊2024-11-13 20:01:01
新教育 · 新觀察 · 新視點(diǎn)
浙公網(wǎng)安備 33052102000373號(hào)