正文

gpt算法原理（gpit技術(shù)）

發(fā)布時(shí)間：2023-03-12 19:25:26 稿源：創(chuàng)意嶺閱讀： 79 問大家

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于gpt算法原理的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

ChatGPT國(guó)內(nèi)免費(fèi)在線使用，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com

本文目錄:

1、基于UEFI-GPT的引導(dǎo)過程有沒有可能感染病毒，說明原因和可能的病毒原理
2、什么時(shí)候用gpt和mbr
3、論文筆記之GPT-GNN: Generative Pre-Training of Graph Neural Networks
4、什么是chatgpt

gpt算法原理（gpit技術(shù)）

一、基于UEFI-GPT的引導(dǎo)過程有沒有可能感染病毒，說明原因和可能的病毒原理

MBR不是使用UEFI，而是使用BIOS吧分區(qū)數(shù)量上，gpt好像可以支持無限個(gè)分區(qū)，不過window上只認(rèn)128個(gè)，而且gpt分區(qū)不分主分區(qū)，邏輯分區(qū)，可以理解為全部都是主分區(qū)，就相當(dāng)于可以允許你一個(gè)分區(qū)一個(gè)系統(tǒng)，128個(gè)系統(tǒng)了。而這是mbr做不到的，mbr最多只能有四個(gè)系統(tǒng)，如果你想要多于四個(gè)的分區(qū)，那還得犧牲掉可以裝一個(gè)系統(tǒng)的主分區(qū)，即把它裝換為邏輯分區(qū)。安全性上，gpt會(huì)更安全，因?yàn)榉謪^(qū)表會(huì)備份，且加入校驗(yàn)算法，一旦被病毒感染或誤操作可以及時(shí)發(fā)現(xiàn)，使用安全的備份的分區(qū)表補(bǔ)救。分區(qū)容量上，gpt可以識(shí)別出大于2T的硬盤，而mbr最大就2t容量這是我所記得的大概區(qū)別。對(duì)于uefi和BIOS來說，uefi支持模塊化開發(fā)，這方便了廠商對(duì)固件的開發(fā)。安全性上，由于多了個(gè)專門的efi分區(qū)，且在系統(tǒng)中不會(huì)顯示該分區(qū)，一定程度上提高安全性。速度上，由于BIOS在啟動(dòng)的時(shí)候有硬件自檢，而這個(gè)功能交到了efi分區(qū)中實(shí)現(xiàn)，所以相對(duì)來說，uefi的啟動(dòng)速度更快。

二、什么時(shí)候用gpt和mbr

gpt主要用于mac（蘋果），

MBR分區(qū)表與GPT分區(qū)表的關(guān)系

與支持最大卷為2 TB（Terabytes）并且每個(gè)磁盤最多有4個(gè)主分區(qū)（或3個(gè)主分區(qū)，1個(gè)擴(kuò)展分區(qū)和無限制的邏輯驅(qū)動(dòng)器）的MBR磁盤分區(qū)的樣式相比，GPT磁盤分區(qū)樣式支持最大卷為18 EB（Exabytes）并且每磁盤的分區(qū)數(shù)沒有上限

三、論文筆記之GPT-GNN: Generative Pre-Training of Graph Neural Networks

文中指出訓(xùn)練GNN需要大量和任務(wù)對(duì)應(yīng)的標(biāo)注數(shù)據(jù)，這在很多時(shí)候是難以獲取的。一種有效的方式是，在無標(biāo)簽數(shù)據(jù)上通過自監(jiān)督的方式預(yù)訓(xùn)練一個(gè)GNN，然后在下游任務(wù)上只需要少量的標(biāo)注數(shù)據(jù)進(jìn)行fine-tuning。

本文提出了GPT-GNN通過生成式預(yù)訓(xùn)練的方式來初始化GNN。GPT-GNN引入了一個(gè)自監(jiān)督的屬性圖生成任務(wù)，來pre-training一個(gè)GNN，使其能夠捕捉圖上的結(jié)構(gòu)信息和節(jié)點(diǎn)屬性信息。

圖生成任務(wù)被分成了兩部分：①屬性生成。②邊生成。

pre-training的GNN要能夠捕捉input graph的結(jié)構(gòu)信息和節(jié)點(diǎn)屬性信息，使其能夠在相似領(lǐng)域的下游任務(wù)上通過少量label的fine-tuning就能達(dá)到很好的泛化效果。本文采用的方式是重構(gòu)輸入的屬性圖來對(duì)圖分布建模。

第一步，如上左圖所示，通過自監(jiān)督學(xué)習(xí)任務(wù)（節(jié)點(diǎn)屬性生成和邊生成）來預(yù)訓(xùn)練GNN。第二步，如上右圖所示，pre-training好的模型以及參數(shù)用于對(duì)下游任務(wù)的初始化，只需要在少部分標(biāo)注數(shù)據(jù)上做fine-tuning。

輸入G=(V,E,X)，其中V表示頂點(diǎn)集，E表示邊集，X表示頂點(diǎn)屬性矩陣。

目標(biāo)：pre-training一個(gè)GNN模型，使其能夠：1)捕捉圖中的結(jié)構(gòu)特征和屬性特征。2)能夠?qū)D的下游任務(wù)有幫助。

也就是對(duì)圖G=(V,E,X)不使用label學(xué)習(xí)一個(gè)可以泛化的GNN模型fθ。

GPT-GNN通過重構(gòu)/生成輸入圖的結(jié)構(gòu)信息和節(jié)點(diǎn)屬性信息來pre-training GNN。given 輸入圖G=(V,E,X)和GNN模型fθ，圖和GNN的likelihood定義為p(G,θ)，通過最大化likelihood來預(yù)訓(xùn)練GNN，也就是

如何對(duì)p(G,θ)建模？

通過自回歸的方法分解目標(biāo)概率分布。

首先說明什么是自回歸

如上式所示，c為常數(shù)項(xiàng)，є為隨機(jī)誤差，概括來說就是X的當(dāng)期值等于一個(gè)或數(shù)個(gè)前期值的線性組合加常數(shù)項(xiàng)加隨機(jī)誤差。

對(duì)于graph來說，自回歸方法概括為：nodes in the graph come in an order, and the edges are generated by connecting each new arriving node to existing nodes.

對(duì)于一個(gè)給定的order，通過自回歸的方式分解log likelihood，每次生成一個(gè)節(jié)點(diǎn)。

在step i，given 所有在前面步驟生成的節(jié)點(diǎn)，包括節(jié)點(diǎn)屬性X<i和節(jié)點(diǎn)之間的邊E<i來生成新的節(jié)點(diǎn)i，包括節(jié)點(diǎn)屬性Xi和與現(xiàn)有節(jié)點(diǎn)的連接邊Ei.

如何對(duì)pθ(Xi,Ei|X<i,E<i)建模？

一種簡(jiǎn)單的方式是假設(shè)Xi和Ei是獨(dú)立的，也就是

然而，這種分解方式完全忽略了節(jié)點(diǎn)屬性和節(jié)點(diǎn)之間聯(lián)系（邊）之間的依賴關(guān)系。然而這種依賴關(guān)系是屬性圖和基于聚合鄰居節(jié)點(diǎn)信息的GNN的核心屬性。

因此，文中提出了一種分解方式，當(dāng)生成一個(gè)新的節(jié)點(diǎn)屬性時(shí)，給出結(jié)構(gòu)信息，反之亦然。

從而整個(gè)生成過程可以分為兩部分：

1)given 觀測(cè)邊，生成節(jié)點(diǎn)屬性。

2)given 觀測(cè)邊和1)中生成的節(jié)點(diǎn)屬性，生成剩下的邊。

通過這種方式，模型能夠捕捉每個(gè)節(jié)點(diǎn)屬性和結(jié)構(gòu)之間的依賴關(guān)系。

定義變量o來表示Ei中觀測(cè)邊的index vector，即Ei,o表示已經(jīng)觀測(cè)到的邊。¬o表示masked邊（要生成邊）的index。

通過引入o，可以把前面的分布重寫為所有可能觀測(cè)邊的期望likelihood.

這里的理解非常重要，第一個(gè)等式中，把Ei拆成了Ei,¬o和Ei,o，也就是說指定了哪些邊是觀測(cè)邊，哪些邊是masked邊。需要注意的是，當(dāng)o確定下來以后，¬o也是確定的。因此等式外面加上了對(duì)o的累加，這里可以理解為類似于全概率公式去對(duì)所有可能的o求和。

此外，這里需要注意Ei，E<i，Ei,o，Ei,¬o四個(gè)符號(hào)分別表示的是什么?，F(xiàn)在位于step i，E<i是指在step i之前已經(jīng)生成的邊，Ei是指在step i將會(huì)生成的邊（與節(jié)點(diǎn)i相連，有好多條），之后再將Ei中的邊生成過程拆分成已經(jīng)生成和將要生成兩部分，即Ei,o和Ei,¬o。

下一個(gè)等式中，把第二個(gè)p看作概率分布，寫作對(duì)于o期望的形式。最后把Xi和Ei,¬o看作獨(dú)立的過程，拆成兩個(gè)概率分布。

這種分解的優(yōu)勢(shì)在于，沒有忽略Xi和Ei,o的聯(lián)系。第一項(xiàng)表示given觀測(cè)邊，聚合目標(biāo)節(jié)點(diǎn)i的鄰居信息來生成其屬性Xi.第二項(xiàng)表示given觀測(cè)邊和剛生成的屬性Xi，預(yù)測(cè)Ei,¬o中的邊是否存在。

如上圖所示，給出了一個(gè)例子。對(duì)于一個(gè)academic graph，我們要去生成一個(gè)paper node，它的屬性為title，并且其和author，publish venue，reference相連。上圖中的實(shí)線部分為已經(jīng)觀測(cè)到的邊，首先生成節(jié)點(diǎn)的屬性，即title。然后基于author1，author2，author3和剛生成的節(jié)點(diǎn)屬性title，預(yù)測(cè)剩下的邊，即虛線部分。

出于效率的考慮，希望：

1)對(duì)于輸入圖只跑一次GNN就能計(jì)算節(jié)點(diǎn)屬性生成和邊生成過程的loss。

2)希望節(jié)點(diǎn)屬性生成和邊生成能同時(shí)進(jìn)行。

然而，邊生成需要用到節(jié)點(diǎn)屬性信息，如果兩個(gè)生成過程同時(shí)進(jìn)行，會(huì)導(dǎo)致信息泄漏。

為了避免這個(gè)問題，將節(jié)點(diǎn)分為兩種類型：

•屬性生成節(jié)點(diǎn)。mask住這些節(jié)點(diǎn)的屬性，用一個(gè)共用的dummy token Xinit來代替，Xinit和Xi的維度是相同的，并且在pre-training的過程中學(xué)習(xí)到。

•邊生成節(jié)點(diǎn)。保持它們?cè)械膶傩浴?/p>

需要注意的是，同一個(gè)節(jié)點(diǎn)在不同階段扮演不同的角色，可能是屬性生成節(jié)點(diǎn)也可能是邊生成節(jié)點(diǎn)。只是在某一階段，一個(gè)節(jié)點(diǎn)有一個(gè)確定的角色。

在graph上訓(xùn)練GNN來生成各節(jié)點(diǎn)的embedding，用hAttr和hEdge來分別表示屬性生成節(jié)點(diǎn)和邊生成節(jié)點(diǎn)的embedding。由于屬性生成節(jié)點(diǎn)的屬性被mask住了，因此hAttr中包含的信息通常會(huì)少于hEdge。因此，在GNN的message passing過程中，只使用hEdge作為向其他節(jié)點(diǎn)發(fā)送的信息。也就是說，對(duì)于每個(gè)節(jié)點(diǎn)，其聚合鄰居hEdge的信息和自身的信息來生成新的embedding。之后，對(duì)于節(jié)點(diǎn)的embedding，使用不同的decoder來生成節(jié)點(diǎn)屬性和邊。（注意，節(jié)點(diǎn)的embedding和節(jié)點(diǎn)屬性不是一回事。通俗理解，在GNN中節(jié)點(diǎn)的屬性是input，節(jié)點(diǎn)的embedding是hidden layer。）

對(duì)于屬性生成，用DecAttr來表示decoder，輸入hAttr來生成節(jié)點(diǎn)屬性。decoder的選擇依賴于節(jié)點(diǎn)屬性的類型，如果是text類型的節(jié)點(diǎn)屬性，可以使用LSTM等；如果節(jié)點(diǎn)屬性是vector，可以使用MLP。定義一個(gè)距離函數(shù)來度量生成屬性和真實(shí)屬性之間的差異，對(duì)于text類型屬性，可以使用perplexity，對(duì)于vector屬性，可以使用L2距離。由此，可以計(jì)算屬性生成過程中的loss

最小化生成屬性和真實(shí)屬性之間的差異，等價(jià)于對(duì)generate attributes做MLE，也就是最大化下式

從而捕捉了圖中的節(jié)點(diǎn)屬性信息。

對(duì)于邊生成過程，假設(shè)每條邊的生成過程和其他邊是獨(dú)立的，由此對(duì)likelihood進(jìn)行分解

得到hEdge后，如果節(jié)點(diǎn)i和節(jié)點(diǎn)j相連，則使用

進(jìn)行建模，DecEdge是一個(gè)pairwise score function。

loss定義為

Si-指的是沒有和節(jié)點(diǎn)i相連的節(jié)點(diǎn)。

最小化loss等價(jià)于對(duì)generate edges做MLE，從而捕捉了圖中的結(jié)構(gòu)信息。

上圖給出了屬性圖生成過程的一個(gè)具體例子。

a)對(duì)于input graph確定permutation order π。

b)隨機(jī)挑選一部分與節(jié)點(diǎn)i相連的邊作為observed edges Ei,o，剩下的邊作為masked edges Ei,¬o，并且刪除masked edges。

c)把節(jié)點(diǎn)分為屬性生成節(jié)點(diǎn)和邊生成節(jié)點(diǎn)。

d)計(jì)算節(jié)點(diǎn)3,4,5的embedding，包括它們的屬性生成節(jié)點(diǎn)和邊生成節(jié)點(diǎn)。

(d)-(e)通過對(duì)于每個(gè)節(jié)點(diǎn)并行進(jìn)行節(jié)點(diǎn)屬性預(yù)測(cè)和masked邊預(yù)測(cè)來訓(xùn)練一個(gè)GNN模型。

完整的算法流程如下所示。

對(duì)于上圖的算法流程進(jìn)行詳細(xì)的說明。

輸入一個(gè)屬性圖，每次采樣一個(gè)子圖G~作為訓(xùn)練的實(shí)例進(jìn)行訓(xùn)練。首先決定permutation order π。同時(shí)，我們希望能夠并行化訓(xùn)練，只做一次前向傳播，就能得到整個(gè)圖的embedding，由此可以同時(shí)計(jì)算所有節(jié)點(diǎn)的loss。因此，根據(jù)permutation order π來移除邊，也就是使每個(gè)節(jié)點(diǎn)只能從跟低order的節(jié)點(diǎn)處獲得信息。

之后，需要決定哪些邊被mask。對(duì)于每個(gè)節(jié)點(diǎn)，獲得其所有的出邊，隨機(jī)挑選一部分邊被mask住，這一過程對(duì)應(yīng)上述line4。

之后，對(duì)節(jié)點(diǎn)進(jìn)行劃分，得到整個(gè)圖中節(jié)點(diǎn)的embedding，用于之后loss的計(jì)算，對(duì)應(yīng)line5。

lone 7-9進(jìn)行l(wèi)oss的計(jì)算。

line 8中，通過整合采樣圖中未連接的節(jié)點(diǎn)和Q中以前計(jì)算的節(jié)點(diǎn)embedding來選擇負(fù)樣本，這種方式能夠減輕對(duì)于采樣圖優(yōu)化和對(duì)于整個(gè)圖優(yōu)化的差距。

在line11-12中，優(yōu)化模型并更新Q。

對(duì)于異構(gòu)圖，即包含不同類型的點(diǎn)和邊的圖，唯一的不同在于不同類型的點(diǎn)和邊采用不同的decoder。

對(duì)于大規(guī)模的圖，可以采樣子圖來進(jìn)行訓(xùn)練，即上述算法流程中Sampler的作用。為了計(jì)算Ledge這一loss，需要遍歷輸入圖的所有節(jié)點(diǎn)。然而，我們只能在采樣的子圖上計(jì)算這個(gè)loss。為了緩解這一差異，提出了adaptive queue，其中存儲(chǔ)了之前采樣的子圖的節(jié)點(diǎn)embedding作為負(fù)樣本。每次采樣一個(gè)新的子圖時(shí)，逐步更新這個(gè)隊(duì)列，增加新的節(jié)點(diǎn)embedding，移除舊的節(jié)點(diǎn)embedding。通過引入adaptive queue，不同采樣子圖中的節(jié)點(diǎn)也能為全局的結(jié)構(gòu)提供信息。

四、什么是chatgpt

ChatGPT是OpenAI開發(fā)的大型預(yù)訓(xùn)練語言模型。這是GPT-3模型的一個(gè)變體，經(jīng)過訓(xùn)練可以在對(duì)話中生成類似人類的文本響應(yīng)。

gpt算法原理（gpit技術(shù)）