2021年6月，北京智源研究院（BAAI）推出了悟道1.0的后續(xù)版本悟道2.0，作為中國第一個(gè)超大規(guī)模智能模型系統(tǒng)。悟道是一個(gè)語言模型，旨在在人類層面的思維上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。經(jīng)過4.9TB的圖像和文本訓(xùn)練，并在9個(gè)基準(zhǔn)上超過了最先進(jìn)（SOTA）水平，悟道比任何同行都更接近于實(shí)現(xiàn)通用人工智能（AGI）和人類水平的思維。悟道接受了4.9 TB高質(zhì)量英文和中文圖像和文本的訓(xùn)練：1.2TB中文文本數(shù)據(jù)2.5TB中文圖形數(shù)據(jù)1.2TB英文文本數(shù)據(jù)悟道是基于開源的 MoE 系統(tǒng) FastMoE 進(jìn)行訓(xùn)練的。MoE是一種機(jī)器學(xué)習(xí)技術(shù)，其工作原理如下：將預(yù)測(cè)建模任務(wù)劃分為子任務(wù)，針對(duì)每個(gè)子任務(wù)訓(xùn)練專家（學(xué)習(xí)者）模型，開發(fā)門控模型，該門控模型基于要預(yù)測(cè)的輸入來學(xué)習(xí)咨詢哪個(gè)專家，并組合預(yù)測(cè)。FastMoE使悟道能夠并行咨詢不同的專家模型，并切換到預(yù)測(cè)結(jié)果最好的模型。例如，如果輸入是英文文本，悟道將使用預(yù)測(cè)模型，該模型可以在英文文本中生成回應(yīng)。
網(wǎng)址預(yù)覽
數(shù)據(jù)評(píng)估
本站 稀飯網(wǎng)址提供的 悟道都來源于網(wǎng)絡(luò)，不保證外部鏈接的準(zhǔn)確性和完整性，同時(shí)，對(duì)于該外部鏈接的指向，不由 稀飯網(wǎng)址實(shí)際控制，在 2023年4月20日 下午8:20收錄時(shí)，該網(wǎng)頁上的內(nèi)容，都屬于合規(guī)合法，后期網(wǎng)頁的內(nèi)容如出現(xiàn)違規(guī)，可以直接聯(lián)系網(wǎng)站管理員進(jìn)行刪除， 稀飯網(wǎng)址不承擔(dān)任何責(zé)任。
