正文

gpt訓(xùn)練成本（gpt3 訓(xùn)練成本）

發(fā)布時(shí)間：2023-03-12 18:40:29 稿源：創(chuàng)意嶺閱讀： 129 問大家

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于gpt訓(xùn)練成本的問題，以下是小編對此問題的歸納整理，讓我們一起來看看吧。

ChatGPT國內(nèi)免費(fèi)在線使用，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com

本文目錄:

1、gp7試用版區(qū)別
2、毫末布局大模型、智算中心自動(dòng)駕駛新基建如何筑成？
3、GPT的auto-regressive語言模型架構(gòu)在信息表示方面有什么架構(gòu)上的缺陷？具體如何改進(jìn)？
4、gpt2和cpm2哪個(gè)好

gpt訓(xùn)練成本（gpt3 訓(xùn)練成本）

一、gp7試用版區(qū)別

您好，GPT-7試用版與正式版的主要區(qū)別在于GPT-7試用版的訓(xùn)練數(shù)據(jù)量較少，而正式版的訓(xùn)練數(shù)據(jù)量則較多。GPT-7試用版的訓(xùn)練數(shù)據(jù)量約為2.7TB，而正式版的訓(xùn)練數(shù)據(jù)量則高達(dá)175TB。此外，GPT-7試用版的訓(xùn)練時(shí)間也較短，只需要幾個(gè)小時(shí)，而正式版的訓(xùn)練時(shí)間則需要幾天甚至幾周。此外，GPT-7試用版的準(zhǔn)確率也較低，而正式版的準(zhǔn)確率則較高?？傊?，GPT-7試用版與正式版的主要區(qū)別在于訓(xùn)練數(shù)據(jù)量、訓(xùn)練時(shí)間以及準(zhǔn)確率方面。

二、毫末布局大模型、智算中心自動(dòng)駕駛新基建如何筑成？

2023伊始，先是開年毫末智行舉辦HAOMOAIDAY，放出自動(dòng)駕駛行業(yè)最大智算中心，再有

智算中心即智能計(jì)算中心，是基于人工智能理論，采用領(lǐng)先的AI計(jì)算架構(gòu)，提供人工智能應(yīng)用所需算力服務(wù)、數(shù)據(jù)服務(wù)和算法服務(wù)的公共算力新型基礎(chǔ)設(shè)施，換句話說，智算中心其實(shí)是一個(gè)算力的供應(yīng)和生產(chǎn)平臺(tái)。那為什么有了它“自動(dòng)輔助駕駛”就可以變?yōu)椤白詣?dòng)駕駛”了？

“降服”自動(dòng)駕駛邊際成本自動(dòng)駕駛智算中心“專云專用”

有人說，智算中心是自動(dòng)駕駛發(fā)展的助推器，因?yàn)樽詣?dòng)駕駛算法模型訓(xùn)練是機(jī)器學(xué)習(xí)的典型場景之一，其視覺檢測、軌跡預(yù)測與行車規(guī)劃等算法模型需要同時(shí)完成高并發(fā)的并行計(jì)算，對算力有著極高的需求，而智算為提高算法模型的成熟度提供了巨大的算力。

在自動(dòng)駕駛領(lǐng)域，說起智算中心，還得先提

國內(nèi)方面，2022年8月，小鵬汽車和阿里云合建了當(dāng)時(shí)國內(nèi)最大的自動(dòng)駕駛智算中心“扶搖”，專門用于自動(dòng)駕駛模型訓(xùn)練，算力規(guī)模達(dá)600PFLOPS，相當(dāng)于每秒可以完成60億億次浮點(diǎn)運(yùn)算。不過這個(gè)記錄僅僅維持了4個(gè)多月。

今年1月，毫末智行聯(lián)合火山引擎，共同推出自動(dòng)駕駛行業(yè)最大的智算中心MANA OASIS（雪湖·綠洲），每秒浮點(diǎn)運(yùn)算達(dá)67億億次，存儲(chǔ)帶寬每秒2T，通信帶寬每秒800G。吉利也在1月28日上線了吉利星睿智算中心，目前已接入智能駕駛和車聯(lián)網(wǎng)實(shí)驗(yàn)數(shù)據(jù)近百PB，在線車輛的并發(fā)計(jì)算支持達(dá)百萬輛。

從現(xiàn)有情形來看，成本和需求兩重因素，是智算中心的誘人之處。

成本層面，算力作為自動(dòng)駕駛的基本要素，需要更高性能的智算中心來完成訓(xùn)練、標(biāo)注等工作。以毫末的MANA OASIS為例，通過部署Lego高性能算子庫、ByteCCL通信優(yōu)化能力，以及大模型訓(xùn)練框架，軟硬一體，毫末把算力優(yōu)化到極致。在訓(xùn)練效率方面，基于Sparse MoE，通過跨機(jī)共享，輕松完成千億參數(shù)大模型訓(xùn)練，且百萬個(gè)clips（毫末視頻最小標(biāo)注單位）訓(xùn)練成本只需百卡周級別，訓(xùn)練成本降低100倍。

搭建高效、低成本的數(shù)據(jù)智能體系是自動(dòng)駕駛技術(shù)健康發(fā)展的基礎(chǔ)，也是自動(dòng)駕駛系統(tǒng)能夠不斷迭代前行的重要環(huán)節(jié)，更是自動(dòng)駕駛商業(yè)化閉環(huán)的關(guān)鍵所在。

小鵬汽車董事長何小鵬曾表態(tài)，“如果現(xiàn)在不以這樣的方式（智算中心）提前儲(chǔ)備算力，那么今后5年內(nèi)，企業(yè)算力成本會(huì)從億級，加到數(shù)十億級?！?/p>

如果持續(xù)使用公有云服務(wù)，邊際成本不斷上漲只是一方面，更重要的是，智算中心可以讓自動(dòng)駕駛企業(yè)實(shí)現(xiàn)“專云專用”。自動(dòng)駕駛的開發(fā)包括從數(shù)據(jù)采集到數(shù)據(jù)篩選、打標(biāo)、模型訓(xùn)練、回放性驗(yàn)證、仿真測試等等環(huán)節(jié)。而云計(jì)算的本質(zhì)是租賃計(jì)算設(shè)備，云服務(wù)商的設(shè)備都是統(tǒng)一采購，為了獲得更多客戶，這些設(shè)備都具備很大的通用性，設(shè)備內(nèi)部使用的CPU、GPU/AI加速器、內(nèi)存的型號與規(guī)格都相對固定，很難與車企和自動(dòng)駕駛公司的算法形成最佳匹配。并且，云服務(wù)廠商對自動(dòng)駕駛算法的了解程度不高，不可避免的會(huì)在調(diào)度算力時(shí)出現(xiàn)損耗和效率不高的問題。所以，從需求的角度來看，智算中心似乎可以成為自動(dòng)駕駛和車企的托底神器。

同樣以毫末為例，有了MANA OASIS的加持，毫末MANA五大模型全新亮相升級，車端感知架構(gòu)實(shí)現(xiàn)跨代升級，毫末的技術(shù)棧布局繼續(xù)保持完整領(lǐng)先的態(tài)勢，尤其在感知、認(rèn)知等層面領(lǐng)跑行業(yè)，引領(lǐng)大模型、大算力、大數(shù)據(jù)發(fā)展方向，沖刺進(jìn)入自動(dòng)駕駛3.0時(shí)代。

拿數(shù)據(jù)采集、篩選和標(biāo)注來說，自動(dòng)駕駛系統(tǒng)在前期開發(fā)階段，需要采集大量的道路環(huán)境數(shù)據(jù)，以此讓車輛像人類駕駛員一樣快速準(zhǔn)確地識別車道、行人、障礙物等駕駛環(huán)境中的關(guān)鍵信息。唯一的辦法是，通過在海量數(shù)據(jù)基礎(chǔ)上不斷的重復(fù)訓(xùn)練與驗(yàn)證，車輛對道路環(huán)境的認(rèn)知水平逐漸趨近于真實(shí)情景，判斷的準(zhǔn)確性在這一過程中不斷提升。

不僅如此，車企收集到的數(shù)據(jù)還需要進(jìn)行模型訓(xùn)練，算法通過在數(shù)據(jù)上進(jìn)行運(yùn)算產(chǎn)生模型，而智算中心將是驅(qū)動(dòng)大模型和海量數(shù)據(jù)訓(xùn)練的加速器。基于Sparse MoE，毫末根據(jù)計(jì)算特點(diǎn)，進(jìn)行稀疏激活，提高計(jì)算效率，實(shí)現(xiàn)單機(jī)8卡就能訓(xùn)練百億參數(shù)大模型的效果，實(shí)現(xiàn)跨機(jī)共享exper的方法，完成千億參數(shù)規(guī)模大模型的訓(xùn)練，訓(xùn)練成本降低到百卡周級別；毫末設(shè)計(jì)并實(shí)現(xiàn)了業(yè)界領(lǐng)先的多任務(wù)并行訓(xùn)練系統(tǒng)，能同時(shí)處理圖片、點(diǎn)云、結(jié)構(gòu)化文本等多種模態(tài)的信息，既保證了模型的稀疏性、又提升了計(jì)算效率；MANA OASIS訓(xùn)練效率提升了100倍。

毫末智行CEO顧維灝也在詳細(xì)闡釋了建設(shè)智算中心的底層邏輯：“自動(dòng)駕駛對智算中心的第一要求肯定是算力。智算中心的超大算力代表了有多少的AI工程師在這個(gè)練武場中能夠做出什么大模型，能訓(xùn)練多少大模型?！?/p>

智能輔助駕駛“進(jìn)城” MANA OASIS幫助毫末解決了哪些難題？

現(xiàn)在很多車企和自動(dòng)駕駛技術(shù)企業(yè)已經(jīng)開始把打造智算中心當(dāng)成下一階段競爭重點(diǎn)。今年1月的HAOMO AI DAY上，毫末智行董事長張凱給出了2023年自動(dòng)駕駛行業(yè)趨勢的十大新預(yù)測，超算中心赫然位列其中，“超算中心會(huì)成為自動(dòng)駕駛企業(yè)的入門配置。”

事實(shí)上，當(dāng)下，隨著新能源汽車品牌普遍已經(jīng)把高速公路場景下的輔助駕駛列為標(biāo)配，賽場已經(jīng)悄然從高速路轉(zhuǎn)向城市。與高速導(dǎo)航輔助駕駛相比，城市行車涉及了紅綠燈、十字路口、行人電動(dòng)車、遮擋、固定障礙物、頻繁剎停起步等一系列難題，復(fù)雜度又提升了好幾個(gè)數(shù)量級。

如果僅用實(shí)測車輛去挑戰(zhàn)這些城市場景無法窮盡的Corner Case，成本、安全性、時(shí)間都將成為企業(yè)發(fā)展的壁壘。由此，虛擬仿真就成為了解決部分成本及場景多樣性的關(guān)鍵，其中，大規(guī)模的長尾場景需要數(shù)據(jù)中心提供充足的算力支持。同時(shí)，仿真場景對現(xiàn)實(shí)的回歸過程，同樣需要巨大的算力提供支持。

在MANA OASIS的加持下，毫末的數(shù)據(jù)智能體系MANA五大模型全新亮相升級。而在五大模型助力下，MANA最新的車端感知架構(gòu)，從過去分散的多個(gè)下游任務(wù)集成到了一起，形成一個(gè)更加端到端的架構(gòu)，包括通用障礙物識別、局部路網(wǎng)、行為預(yù)測等任務(wù)，毫末車端感知架構(gòu)實(shí)現(xiàn)了跨代升級。這也意味著毫末的感知能力更強(qiáng)，產(chǎn)品力更強(qiáng)，向全無人駕駛加速邁進(jìn)。

首先是視覺自監(jiān)督大模型，讓毫末在中國首個(gè)實(shí)現(xiàn)4D Clip的自動(dòng)標(biāo)注。毫末利用海量videoclip，通過視頻自監(jiān)督方式，預(yù)訓(xùn)練出一個(gè)大模型，用少量人工標(biāo)注好的clip數(shù)據(jù)進(jìn)行Finetune（微調(diào)），訓(xùn)練檢測跟蹤模型，使得模型具備自動(dòng)標(biāo)注的能力；然后，將已經(jīng)標(biāo)注好的千萬級單幀數(shù)據(jù)所對應(yīng)的原始視頻提取出來組織成clip，其中10%是標(biāo)注幀，90%是未標(biāo)注幀，再將這些clip輸入到模型，完成對90%未標(biāo)注幀的自動(dòng)標(biāo)注，進(jìn)而實(shí)現(xiàn)所有單幀標(biāo)注向clip標(biāo)注的100%的自動(dòng)轉(zhuǎn)化，同時(shí)降低98%的clip標(biāo)注成本。毫末視頻自監(jiān)督大模型的泛化性效果極佳，即使是在一些非常困難的場景，例如嚴(yán)重遮擋的騎行者，遠(yuǎn)處的小目標(biāo)，惡劣的天氣和光照，都能準(zhǔn)確地完成自動(dòng)標(biāo)注。

其次是3D重建大模型，助力毫末做數(shù)據(jù)生成，用更低成本解決數(shù)據(jù)分布問題，提升感知效果。面對“完全從真實(shí)數(shù)據(jù)中積累corner case困難且昂貴”的行業(yè)難題，毫末將NeRF技術(shù)應(yīng)用在自動(dòng)駕駛場景重建和數(shù)據(jù)生成中，它通過改變視角、光照、紋理材質(zhì)的方法，生成高真實(shí)感數(shù)據(jù)，實(shí)現(xiàn)以低成本獲取normal case，生成各種高成本corner case。3D重建大模型生成的數(shù)據(jù)，不僅比傳統(tǒng)的人工顯式建模再渲染紋理的方法效果更好、成本更低。增加NeRF生成的數(shù)據(jù)后，還可將感知的錯(cuò)誤率降低30%以上，且數(shù)據(jù)生成可實(shí)現(xiàn)全程自動(dòng)化，無需任何人工參與。

多模態(tài)互監(jiān)督大模型則可以完成通用障礙物的識別。毫末在成功實(shí)現(xiàn)車道線和常見障礙物的精準(zhǔn)檢測后，針對城市多種異形障礙物的穩(wěn)定檢測問題，毫末正在思考和探索更加通用的解決方案。目前，毫末的多模態(tài)互監(jiān)督大模型，引入了激光雷達(dá)作為視覺監(jiān)督信號，直接使用視頻數(shù)據(jù)來推理場景的通用結(jié)構(gòu)表達(dá)。該通用結(jié)構(gòu)的檢測，可以很好地補(bǔ)充已有的語義障礙物檢測，有效提升自動(dòng)駕駛系統(tǒng)在城市復(fù)雜工況下的通過率。

動(dòng)態(tài)環(huán)境大模型，可以精準(zhǔn)預(yù)測道路的拓?fù)潢P(guān)系，讓車輛始終行駛在正確的車道中。在重感知技術(shù)路線下，毫末為了將對高精地圖的依賴度降到最低，面臨著“道路拓?fù)浣Y(jié)構(gòu)實(shí)時(shí)推斷”的挑戰(zhàn)。為此，毫末在BEV的feature map（特征圖）基礎(chǔ)上，以標(biāo)精地圖作為引導(dǎo)信息，使用自回歸編解碼網(wǎng)絡(luò)，將BEV特征，解碼為結(jié)構(gòu)化的拓?fù)潼c(diǎn)序列，實(shí)現(xiàn)車道拓?fù)漕A(yù)測。讓毫末的感知能力，能像人類一樣在標(biāo)準(zhǔn)地圖的導(dǎo)航提示下，就可以實(shí)現(xiàn)對道路拓?fù)浣Y(jié)構(gòu)的實(shí)時(shí)推斷。

毫末認(rèn)為，解決了路口問題實(shí)際就解決了大部分城市NOH問題。目前在保定、

仿真測試能有效縮短技術(shù)和產(chǎn)品開發(fā)周期，降低研發(fā)成本。業(yè)內(nèi)典型的長尾場景問題不夠豐富，現(xiàn)實(shí)中可遇而不可求的極端場景，利用仿真平臺(tái)可以便捷生成。由于仿真測試中的模擬環(huán)境需要實(shí)現(xiàn)多模態(tài)融合，以支持傳感器模組的復(fù)雜性，因而也需要大算力的支持。

除了毫末，特斯拉超算中心擁有近2萬張GPU，對自動(dòng)駕駛訓(xùn)練效率產(chǎn)生立竿見影的效果，最大限度地提升了自動(dòng)駕駛系統(tǒng)的開發(fā)效率；大陸集團(tuán)的高算力集群，將開發(fā)周期從幾周縮短至幾個(gè)小時(shí)，使自動(dòng)駕駛得以在中短期商業(yè)計(jì)劃中落實(shí)；機(jī)器學(xué)習(xí)時(shí)間的縮短加快了新科技進(jìn)入市場的速度；“扶搖”支持小鵬自動(dòng)駕駛核心模型的訓(xùn)練時(shí)長從7天縮短至1小時(shí)內(nèi)，大幅提速近170倍……

當(dāng)前，一個(gè)不爭的事實(shí)就是，在自動(dòng)駕駛領(lǐng)域具有長期規(guī)劃的車企，無論是造車新勢力還是傳統(tǒng)品牌，或者技術(shù)供應(yīng)商，都在搭建自己的超算中心，以掌握穩(wěn)定的算力資源，縮短開發(fā)周期，加快自動(dòng)駕駛產(chǎn)品的上市。相反，如果沒有超算中心，那么自動(dòng)駕駛訓(xùn)練速度將明顯放緩，自動(dòng)駕駛企業(yè)間的差距也將愈發(fā)明顯。

用智算中心打造數(shù)據(jù)護(hù)城河數(shù)字新基建逐步成為發(fā)展“標(biāo)配”

自動(dòng)駕駛發(fā)展至今，業(yè)界發(fā)現(xiàn)乘用車智能輔助駕駛是最有可能大規(guī)模鋪開的商業(yè)場景。據(jù)高工智能汽車研究院數(shù)據(jù)顯示，2022年中國市場（不含進(jìn)出口）乘用車前裝標(biāo)配搭載L2級輔助駕駛的搭載率，已經(jīng)連續(xù)第二個(gè)月超過30%。智研咨詢數(shù)據(jù)顯示，預(yù)計(jì)到2025年，全球新車L2自動(dòng)駕駛的滲透率可達(dá)53.99％。

今年，城市導(dǎo)航輔助駕駛也開啟了量產(chǎn)的征程。西部證券預(yù)測，2023～2025年，國內(nèi)市場上搭載城市導(dǎo)航輔助駕駛的車型將分別達(dá)到70萬、169萬和348萬輛，占比將分別達(dá)到17％、40％和70％。

在城市導(dǎo)航輔助駕駛落地加速的背景下，更容易復(fù)制、拓展的重感知的方案，受到了更多關(guān)注。在重感知技術(shù)路線下，面對“道路拓?fù)浣Y(jié)構(gòu)實(shí)時(shí)推斷”的挑戰(zhàn)，毫末的選擇是在特征圖基礎(chǔ)上，以標(biāo)精地圖作為引導(dǎo)信息，使用自回歸編解碼網(wǎng)絡(luò)，通過結(jié)構(gòu)化的拓?fù)潼c(diǎn)序列解碼，實(shí)現(xiàn)車道拓?fù)漕A(yù)測。由此不難看出，業(yè)界逐漸達(dá)成共識的重感知路線，相比高精地圖方案，更依賴算力加持。

人工智能是創(chuàng)新的加速器，智算中心則可以為各類技術(shù)創(chuàng)新提供支撐。一方面，智算中心可以為構(gòu)建安全可信、可復(fù)用的技術(shù)研發(fā)環(huán)境提供算力設(shè)施支撐，為各領(lǐng)域科技研發(fā)提供智能計(jì)算服務(wù)，加速科技研發(fā)的進(jìn)程；另一方面，智算中心是新一代信息技術(shù)的集成應(yīng)用載體，智算中心的快速建設(shè)推廣與規(guī)?；瘧?yīng)用將推動(dòng)通信服務(wù)網(wǎng)絡(luò)、大數(shù)據(jù)、人工智能等技術(shù)的快速迭代，從而促進(jìn)技術(shù)創(chuàng)新。自動(dòng)駕駛數(shù)據(jù)是片段式的，特點(diǎn)是小文件多，達(dá)到百億個(gè)，而且訓(xùn)練需要交換的數(shù)據(jù)多，智算中心可以提供充足的帶寬，并且可以讓自動(dòng)駕駛模型擁有更好的并行計(jì)算框架，在訓(xùn)練的時(shí)候把硬件資源都利用起來。

2020年4月20日，國家發(fā)展改革委首次明確新型基礎(chǔ)設(shè)施的范圍，其中就包括以智能計(jì)算中心為代表的算力基礎(chǔ)設(shè)施。2023年1月10日，國家工業(yè)信息安全發(fā)展研究中心推出《智能計(jì)算中心2.0時(shí)代展望報(bào)告》，指出經(jīng)過5年多發(fā)展，智算中心正由1.0粗放擴(kuò)張階段走向2.0精細(xì)規(guī)劃階段。

根據(jù)相關(guān)統(tǒng)計(jì)和測算，目前全國超過30個(gè)城市在建或籌建智算中心，未來5年我國智能算力規(guī)模年復(fù)合增長率將達(dá)52.3%。智算中心的創(chuàng)新發(fā)展，將進(jìn)一步為人工智能夯實(shí)“算力底座”，成為帶動(dòng)人工智能及相關(guān)產(chǎn)業(yè)快速發(fā)展的新引擎。

“我們測算，智算中心帶來的成本優(yōu)化是驚人的，將達(dá)到億元級別?！边@是今年1月，張凱提出的預(yù)測。從目前及未來的規(guī)劃量產(chǎn)規(guī)模來看，毫末自建智算中心可節(jié)約巨額成本；同時(shí)，其帶來的效率提升也非常明顯。

人工智能發(fā)展很快，新的算法層出不窮，需盡快引入新的技術(shù)和模型，與此同時(shí)，數(shù)據(jù)是智能化發(fā)展最大的驅(qū)動(dòng)力，也占據(jù)了大量成本構(gòu)成。用自建智算中心來打造數(shù)據(jù)護(hù)城河，不僅能夠完善產(chǎn)業(yè)智能生態(tài)，更能讓企業(yè)在智能化方面占據(jù)先發(fā)優(yōu)勢，智算中心作為數(shù)字新基建，未來勢必將引領(lǐng)自動(dòng)駕駛技術(shù)持續(xù)迭代升級。

【本文來自易車號作者車業(yè)視界，版權(quán)歸作者所有,任何形式轉(zhuǎn)載請聯(lián)系作者。內(nèi)容僅代表作者觀點(diǎn)，與易車無關(guān)】

三、GPT的auto-regressive語言模型架構(gòu)在信息表示方面有什么架構(gòu)上的缺陷？具體如何改進(jìn)？

1） GPT

在Bert 之后，OpenAI 的 GPT-2 就是其中之一。它在文本生成上有著驚艷的表現(xiàn)，其生成的文本在上下文連貫性和情感表達(dá)上都超過了人們對目前階段語言模型的預(yù)期。僅從模型架構(gòu)而言，GPT-2 并沒有特別新穎的架構(gòu)，它和 transformer 的 Decoder 類似。相比較于GPT-1，GPT -2 使用了更大的預(yù)料，更大和更深的模型。

從transformer的decoder里移除了decoder對encoder的attention部分。也就是消除掉了seq2seq的過程。

GPT是一個(gè)語言模型，每一個(gè)時(shí)刻只能看見當(dāng)前時(shí)刻前面時(shí)刻的信息，是一個(gè)auto regressive的過程。

GPT2，hidden state的大小有變化，根據(jù)層數(shù)的多少有small，medum，large，extra large的劃分。

GPT的訓(xùn)練過程是交叉式的預(yù)測下一個(gè)單詞，測試的時(shí)候是輸入一個(gè)句子生成另外一個(gè)句子。

GPT的預(yù)訓(xùn)練就是訓(xùn)練一個(gè)語言模型。而bert的預(yù)訓(xùn)練是masked language model和nsp的任務(wù)。

GPT由多個(gè)decocer block組成，每一個(gè)decoder block由masked self-attention和feed forward neural network組成。

一個(gè)timestamp的hidden state經(jīng)過線性層轉(zhuǎn)換為vocab size大小的embedding，然后經(jīng)過softmax，算出每個(gè)詞匯的概率，找出其中概率最大的詞作為預(yù)測輸出，然后下一個(gè)時(shí)刻的詞作為真實(shí)輸出，計(jì)算兩者的cross entropy來訓(xùn)練模型。

每一個(gè)timestamp后面的位置都mask掉，設(shè)置一個(gè)負(fù)無群大的值，做softmax的時(shí)候，該位置的值就為0。

2）總結(jié)

transformer decoder的構(gòu)造
預(yù)訓(xùn)練的時(shí)候做語言模型的訓(xùn)練
GPT2用更多更深的block
BERT是做NLU，generation做不了
GPT天生就是語言模型，非常適合做generation的任務(wù)，在bert里能做的在gpt里也可以做

除了GPT-2 ，GPT-3依舊延續(xù)自己的單向語言模型訓(xùn)練方式，只不過把模型尺寸增大到了1750億，并且使用45TB數(shù)據(jù)進(jìn)行訓(xùn)練

四、gpt2和cpm2哪個(gè)好

gpm2好。CPM2即大規(guī)模高效預(yù)訓(xùn)練語言模型,CPM-2的高效預(yù)訓(xùn)練框架圍繞三個(gè)部分進(jìn)行,模型預(yù)訓(xùn)練,模型微調(diào)和模型推理。CPM2是一個(gè)擁有110億參數(shù)的通用中英文雙語預(yù)訓(xùn)練語言模型，基于encoder至decoder架構(gòu)。CPM2具有7種通用語言能力。

以上就是關(guān)于gpt訓(xùn)練成本相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識和內(nèi)容。