正文

GPT-3是什么

發(fā)布時(shí)間：2023-03-12 11:41:40 稿源：創(chuàng)意嶺閱讀： 146 問(wèn)大家

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于GPT-3是什么的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

ChatGPT國(guó)內(nèi)免費(fèi)在線使用，能給你生成想要的原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

你只需要給出你的關(guān)鍵詞，它就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端，官網(wǎng)：https://ai.de1919.com

本文目錄:

1、GPT的auto-regressive語(yǔ)言模型架構(gòu)在信息表示方面有什么架構(gòu)上的缺陷？具體如何改進(jìn)？
2、艾耕科技CEO韋嘯：可信AI助力內(nèi)容創(chuàng)作實(shí)現(xiàn)智能化
3、chatgpt的gpt全文是怎樣的。
4、跑gpt3的條件

GPT-3是什么

一、GPT的auto-regressive語(yǔ)言模型架構(gòu)在信息表示方面有什么架構(gòu)上的缺陷？具體如何改進(jìn)？

1） GPT

在Bert 之后，OpenAI 的 GPT-2 就是其中之一。它在文本生成上有著驚艷的表現(xiàn)，其生成的文本在上下文連貫性和情感表達(dá)上都超過(guò)了人們對(duì)目前階段語(yǔ)言模型的預(yù)期。僅從模型架構(gòu)而言，GPT-2 并沒(méi)有特別新穎的架構(gòu)，它和 transformer 的 Decoder 類似。相比較于GPT-1，GPT -2 使用了更大的預(yù)料，更大和更深的模型。

從transformer的decoder里移除了decoder對(duì)encoder的attention部分。也就是消除掉了seq2seq的過(guò)程。

GPT是一個(gè)語(yǔ)言模型，每一個(gè)時(shí)刻只能看見(jiàn)當(dāng)前時(shí)刻前面時(shí)刻的信息，是一個(gè)auto regressive的過(guò)程。

GPT2，hidden state的大小有變化，根據(jù)層數(shù)的多少有small，medum，large，extra large的劃分。

GPT的訓(xùn)練過(guò)程是交叉式的預(yù)測(cè)下一個(gè)單詞，測(cè)試的時(shí)候是輸入一個(gè)句子生成另外一個(gè)句子。

GPT的預(yù)訓(xùn)練就是訓(xùn)練一個(gè)語(yǔ)言模型。而bert的預(yù)訓(xùn)練是masked language model和nsp的任務(wù)。

GPT由多個(gè)decocer block組成，每一個(gè)decoder block由masked self-attention和feed forward neural network組成。

一個(gè)timestamp的hidden state經(jīng)過(guò)線性層轉(zhuǎn)換為vocab size大小的embedding，然后經(jīng)過(guò)softmax，算出每個(gè)詞匯的概率，找出其中概率最大的詞作為預(yù)測(cè)輸出，然后下一個(gè)時(shí)刻的詞作為真實(shí)輸出，計(jì)算兩者的cross entropy來(lái)訓(xùn)練模型。

每一個(gè)timestamp后面的位置都mask掉，設(shè)置一個(gè)負(fù)無(wú)群大的值，做softmax的時(shí)候，該位置的值就為0。

2）總結(jié)

transformer decoder的構(gòu)造
預(yù)訓(xùn)練的時(shí)候做語(yǔ)言模型的訓(xùn)練
GPT2用更多更深的block
BERT是做NLU，generation做不了
GPT天生就是語(yǔ)言模型，非常適合做generation的任務(wù)，在bert里能做的在gpt里也可以做

除了GPT-2 ，GPT-3依舊延續(xù)自己的單向語(yǔ)言模型訓(xùn)練方式，只不過(guò)把模型尺寸增大到了1750億，并且使用45TB數(shù)據(jù)進(jìn)行訓(xùn)練

二、艾耕科技CEO韋嘯：可信AI助力內(nèi)容創(chuàng)作實(shí)現(xiàn)智能化

作者 | 維克多

編輯 | 琰琰

7月9日，在2021年世界人工智能大會(huì)的可信AI論壇上，艾耕科技 CEO韋嘯進(jìn)行了題為 《可信AI助力內(nèi)容創(chuàng)作實(shí)現(xiàn)智能化》 的報(bào)告。他在報(bào)告中指出了AI內(nèi)容生產(chǎn)在“可信”方面遇到的挑戰(zhàn)，并給出了三條提高AI內(nèi)容生產(chǎn)可信性的技術(shù)建議：

1.知識(shí)圖譜沉淀行業(yè)專家經(jīng)驗(yàn)提升可控性；

2.專家系統(tǒng)與局部模型提升可解釋性和可調(diào)性；

3.強(qiáng)調(diào)人+機(jī)器協(xié)同的工作模式。

此外，在報(bào)告結(jié)束，AI 科技評(píng)論和韋嘯進(jìn)行了一場(chǎng)關(guān)于“AI發(fā)展路徑”的交流，他認(rèn)為當(dāng)前人工智能想要取得突破性進(jìn)展，必須等待其他領(lǐng)域，例如生物學(xué)領(lǐng)域，有突破性的發(fā)現(xiàn)。

今天的演講題目是《可信AI助力內(nèi)容創(chuàng)作實(shí)現(xiàn)智能化》，分享一下AI在內(nèi)容生產(chǎn)方面遇到的可信挑戰(zhàn)。回顧互聯(lián)網(wǎng)的前世今生，從門戶網(wǎng)站到搜索引擎、到社交網(wǎng)絡(luò)、再到超級(jí)APP，互聯(lián)網(wǎng)發(fā)揮的核心作用是：分發(fā)內(nèi)容。而內(nèi)容生產(chǎn)屬于互聯(lián)網(wǎng)的上游，每年制作物聯(lián)網(wǎng)流通的內(nèi)容成本超過(guò)千億。

人工智能（AI）作為技術(shù)發(fā)展的橋頭堡，未來(lái)十年的技術(shù)熱點(diǎn)，其一定會(huì)在行業(yè)里發(fā)揮巨大的作用。

目前，AI已經(jīng)能夠生產(chǎn)各種各樣的內(nèi)容，例如強(qiáng)大的GPT-3模型，其內(nèi)容生成能力一度讓人類驚呼。但實(shí)際上，GPT-3生成的大量?jī)?nèi)容都是胡說(shuō)八道的，沒(méi)有辦法直接使用。這對(duì)應(yīng)的是AI穩(wěn)定性問(wèn)題，即生成算法不可控。

可解釋性，可調(diào)性，是AI生產(chǎn)內(nèi)容過(guò)程中碰到的另一個(gè)問(wèn)題。舉個(gè)例子，當(dāng)我們用AI進(jìn)行視頻生產(chǎn)時(shí)，無(wú)論是半自動(dòng)還是全自動(dòng)的方式，采用同一模板生成的視頻，在社交平臺(tái)上獲得的點(diǎn)贊數(shù)和流量卻不一樣。至于為什么？用戶希望能夠有一個(gè)解釋，即是算法出了問(wèn)題還是其他方面的問(wèn)題？這就是內(nèi)容生產(chǎn)遇到的AI可解釋性挑戰(zhàn)。

其實(shí)，內(nèi)容生產(chǎn)和內(nèi)容生成不同，今天AI技術(shù)大多僅支持內(nèi)容生成，內(nèi)容生產(chǎn)意味著要為產(chǎn)業(yè)賦能。內(nèi)容生成里的專家主要有主編、編輯和運(yùn)營(yíng)。而內(nèi)容生產(chǎn)需要將AI技術(shù)有機(jī)整合成一個(gè)專家系統(tǒng)，包含上述一系列的角色，對(duì)于不同角色進(jìn)行不同程度的賦能，從而提高內(nèi)容生產(chǎn)的能力。這也是我們一直打造的品牌“AIZAO, AI造”。

它的邏輯是先依靠電商或者品牌的營(yíng)銷專家，然后基于他們對(duì)行業(yè)的理解，用知識(shí)圖譜支撐智能素材庫(kù)，生產(chǎn)出合適的圖、文內(nèi)容，最后加上運(yùn)營(yíng)數(shù)據(jù)的回流，就可以構(gòu)成生產(chǎn)力的大幅度提升。

為了讓這一AI系統(tǒng)生成的內(nèi)容更為可信，我們做了如下的嘗試：1.知識(shí)圖譜承載專家經(jīng)驗(yàn)提升可控性；2.專家系統(tǒng)與局部模型提升可解釋性和可調(diào)性；3.強(qiáng)調(diào)人+機(jī)器協(xié)同的工作模式。AI一定會(huì)犯錯(cuò)，人機(jī)協(xié)同是提高AI可信性的舉措之一。

總結(jié)一下，如果想搭建一個(gè)更為可信的內(nèi)容生產(chǎn)平臺(tái)，需要遵守三條原則，第一，堅(jiān)守向善價(jià)值觀，不做惡；第二，建立評(píng)估體系，保證系統(tǒng)生產(chǎn)的內(nèi)容可信；第三，明確算法系統(tǒng)的責(zé)任。我們可以感受到，互聯(lián)網(wǎng)充滿了不可信的內(nèi)容，已經(jīng)對(duì) 社會(huì) 產(chǎn)生極大負(fù)面的價(jià)值，我們希望算法設(shè)計(jì)出之后，其所承擔(dān)的責(zé)任能有清晰的界定和邊界。

AI 科技評(píng)論：請(qǐng)問(wèn)您如何看待可信AI？

韋嘯：可信AI 包括幾個(gè)方面：穩(wěn)定性、可解釋性、可調(diào)性、公平性等等。這意味著可信AI不是一個(gè)概念，更多的衡量如何把一個(gè)技術(shù)更好的賦能各個(gè)場(chǎng)景。

關(guān)于構(gòu)建可信AI需要四方面的發(fā)力：

1.技術(shù)和學(xué)術(shù)上的突破。機(jī)器學(xué)習(xí)模型中的黑盒性是AI可信問(wèn)題的源頭之一，很多AI技術(shù)如自動(dòng)駕駛，AI醫(yī)療影像的應(yīng)用，背后其實(shí)有可解釋性，可控制性的缺陷，邢波老師的Petuum，就考慮了如何提升黑盒模型的debuggability。楊強(qiáng)老師主推的聯(lián)邦學(xué)習(xí)，又在一定程度上能解決數(shù)據(jù)隱私問(wèn)題，所以技術(shù)的發(fā)展，肯定能夠帶來(lái)更多可信的解決方案。

2.政策、法律衡量責(zé)任。一個(gè)算法存在開發(fā)者和使用者，但算法出錯(cuò)，如何衡量雙方的責(zé)任，是需要政策制定者考慮的事情。

3.遵守商業(yè)道德準(zhǔn)則。算法即技術(shù)，技術(shù)中立，向善的人使用，會(huì)產(chǎn)生好的結(jié)果，心懷不軌的人使用，會(huì)產(chǎn)生惡果。

4.明確可信的目標(biāo)。所有的算法都針對(duì)一個(gè)目標(biāo)進(jìn)行優(yōu)化，我們?cè)谠O(shè)立這個(gè)目標(biāo)的時(shí)候，能否將可信作為一個(gè)目標(biāo)衡量？

AI 科技評(píng)論：相比深度學(xué)習(xí)，傳統(tǒng)AI模型的可解釋性比較好，您如何看待兩者的關(guān)系？

韋嘯：我舉個(gè)例子，美國(guó)人工特別昂貴，很多車主自己動(dòng)手修車。衡量一個(gè)修車匠是否能“打”的一個(gè)標(biāo)準(zhǔn)是：修車工具箱里工具種類是否豐富。這個(gè)工具箱可能有一些17世紀(jì)就有的改錐，也可能有新開發(fā)的智能電鉆。其實(shí)，老改錐還是新電鉆都存在于工具箱里，使用哪種鋸子修車取決于具體的場(chǎng)景。

類比到AI內(nèi)容生產(chǎn)領(lǐng)域，GPT-3這一模型確定能夠提高基底模型表現(xiàn)，在從語(yǔ)料庫(kù)提取特征方面，非常高效。但是，有些場(chǎng)景要求生成的內(nèi)容絲毫不能出錯(cuò)，例如寶馬X5的排量是2.4，如果AI生成的是2.5，顯然就不符合要求。因此，這時(shí)候如果采用經(jīng)典的PCFG，效果反而會(huì)更好。

因此，深度學(xué)習(xí)也好，傳統(tǒng)模型也好，它們都在工具箱里，如何使用，關(guān)鍵要看具體的場(chǎng)景。所以，我們創(chuàng)業(yè)者也要摒棄一個(gè)觀點(diǎn)：新工具不一定比傳統(tǒng)工具產(chǎn)生更大的商業(yè)價(jià)值，畢竟一些比較老的模型研發(fā)成本比較低，新模型（深度學(xué)習(xí)）研發(fā)成本比較高。

AI 科技評(píng)論：AI內(nèi)容生成領(lǐng)域，遇到哪些可信方面的挑戰(zhàn)？

韋嘯：正如我演講中提到的，第一是穩(wěn)定性，我們?cè)谟霉ぞ邉?chuàng)造標(biāo)題的時(shí)候，有些生成的內(nèi)容質(zhì)量高，有些卻不通順；第二是可解釋性，同一組算法生成的視頻，卻獲得了不同的流量反饋，人工干預(yù)也無(wú)法總結(jié)優(yōu)化的路徑；第三是AI系統(tǒng)一定會(huì)犯錯(cuò)，不管什么模型，只要場(chǎng)景足夠復(fù)雜系統(tǒng)就一定會(huì)犯錯(cuò)。這時(shí)候需要人機(jī)配合，往往可以大幅提高工具使用的可信度。

AI 科技評(píng)論：在實(shí)際操作過(guò)程中，AI還無(wú)法取代人類？

韋嘯：在某些特定領(lǐng)域，AI可以取代人工，但也不能取代人。工具取代人工一直在發(fā)生，例如超市售貨，很多時(shí)候顧客選品掃碼支付不需要和售貨員互動(dòng)，即便如此，無(wú)人超市也沒(méi)有普及，這就側(cè)面說(shuō)明了售貨員還有他存在的價(jià)值。但也不得不承認(rèn)，超市管理中，現(xiàn)在所用到的人力成本比原來(lái)要少很多。

AI內(nèi)容生產(chǎn)也是如此，某些情況下，AI剪輯視頻的質(zhì)量和操作精度已經(jīng)超過(guò)人類了，但是仍然需要人類進(jìn)行審核、把關(guān)。

AI 科技評(píng)論：目前人工智能的發(fā)展，呈現(xiàn)出“大”的特點(diǎn)，例如大數(shù)據(jù)集、大模型，您如何看待？

韋嘯：技術(shù)發(fā)展的路徑非常復(fù)雜，存在很多不同的道路，大模型只是一條探索路徑，但肯定不是唯一的路徑。之前在和學(xué)者進(jìn)行交流的時(shí)候，他們表達(dá)的一個(gè)觀點(diǎn)是：其實(shí)人工智能領(lǐng)域也在期待其他學(xué)科，例如腦科學(xué)的突破，例如直到今天，我們清楚的知道人腦對(duì)于一些觀察和決策的工作機(jī)理，例如顏色是如何被探測(cè)和判斷的，但是高級(jí)的認(rèn)知例如紅色這個(gè)概念，大腦如何存儲(chǔ)和計(jì)算，卻沒(méi)有很好解釋。而這些解釋上的突破，很有可能為算法的設(shè)計(jì)提供全新的思路，在大模型之外，為AI的應(yīng)用打開新的場(chǎng)景。

由于微信公眾號(hào)試行亂序推送，您可能不再能準(zhǔn)時(shí)收到AI 科技評(píng)論的推送。為了第一時(shí)間收到AI 科技評(píng)論的報(bào)道，請(qǐng)將“AI 科技評(píng)論”設(shè)為星標(biāo)賬號(hào)在看”。

三、chatgpt的gpt全文是怎樣的。

ChatGPT是一款大型預(yù)訓(xùn)練語(yǔ)言模型，它基于GPT（Generative Pre-trained Transformer）算法進(jìn)行訓(xùn)練。GPT是一種基于自注意力機(jī)制（Self-Attention）的序列生成模型，它可以學(xué)習(xí)輸入序列中不同位置之間的依賴關(guān)系，進(jìn)而生成具有語(yǔ)言邏輯性的連續(xù)文本。

ChatGPT模型的訓(xùn)練數(shù)據(jù)來(lái)源于大量的公共語(yǔ)料庫(kù)，如維基百科、新聞報(bào)道、社交媒體等，并通過(guò)多層的Transformer模型進(jìn)行預(yù)訓(xùn)練。在預(yù)訓(xùn)練階段，模型通過(guò)學(xué)習(xí)上下文之間的關(guān)系，學(xué)會(huì)了語(yǔ)言的基本語(yǔ)法、語(yǔ)義和知識(shí)，從而可以生成連貫、合理、自然的文本。

ChatGPT模型是一種無(wú)監(jiān)督學(xué)習(xí)的模型，不需要對(duì)輸入數(shù)據(jù)進(jìn)行人工標(biāo)注和指導(dǎo)，也不需要針對(duì)特定任務(wù)進(jìn)行有監(jiān)督學(xué)習(xí)。這種無(wú)監(jiān)督學(xué)習(xí)的特點(diǎn)，使得ChatGPT模型可以應(yīng)用于各種自然語(yǔ)言處理任務(wù)，如對(duì)話系統(tǒng)、文本生成、語(yǔ)言翻譯等，并且具有很高的靈活性和擴(kuò)展性。

總之，ChatGPT的GPT全文是一種基于自注意力機(jī)制的預(yù)訓(xùn)練語(yǔ)言模型，它通過(guò)學(xué)習(xí)大量的公共語(yǔ)料庫(kù)，可以生成具有語(yǔ)言邏輯性和語(yǔ)義的自然文本。

四、跑gpt3的條件

1、必須禁止定制自己的開放式聊天機(jī)器人功能。

2、需設(shè)置內(nèi)容過(guò)濾器以避免用戶與Samantha談?wù)撁舾性掝}。

3、必須部署自動(dòng)化監(jiān)控工具監(jiān)視用戶的對(duì)話，檢測(cè)是否濫用GPT3生成的有害或敏感語(yǔ)句。

以上就是關(guān)于GPT-3是什么相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。