正文

資源｜OpenAI 文本生成器-gpt-2

發(fā)布時(shí)間：2023-03-06 13:46:05 稿源：互聯(lián)網(wǎng) 閱讀： 989 問(wèn)大家

Github項(xiàng)目地址：

https://github.com/openai/gpt-2

視頻：《OpenAI Text Generator - YouTube》by Siraj Raval

地址： https://www.youtube.com/watch?v=0n95f-eqZdw

（或者打開：https://weibo.com/tv/v/Hiyyk0mKE ）

本項(xiàng)目是《 Language Models are Unsupervised Multitask Learners（語(yǔ)言模型是無(wú)人監(jiān)督的多任務(wù)學(xué)習(xí)者）》一文的代碼實(shí)現(xiàn)

目前，我們只發(fā)布了一個(gè)較小的（117M參數(shù)）版本的GPT-2。

若想查看更多詳情，請(qǐng)?jiān)L問(wèn)我們的博客。

安裝

用Git克隆此項(xiàng)目倉(cāng)庫(kù)，然后用 cd 進(jìn)入目錄以獲取其余命令

git clone https://github.com/openai/gpt-2.git && cd gpt-2

本機(jī)安裝

下載模型數(shù)據(jù)：

sh download_model.sh 117M

其余步驟可以選擇使用virtualenv或conda之類的工具在虛擬環(huán)境中完成。

安裝tensorflow 1.12（支持gpu，如果你有GPU并希望它們運(yùn)行得更快的話）

pip3 install tensorflow==1.12.0

或者

pip3 install tensorflow-gpu==1.12.0

安裝其他的python包：

pip3 install -r requirements.txt

Docker容器內(nèi)安裝

構(gòu)建Dockerfile并將創(chuàng)建的圖像標(biāo)記為gpt-2：

docker build --tag gpt-2 -f Dockerfile.gpu . # or Dockerfile.cpu

從gpt-2 docker鏡像啟動(dòng)交互式bash會(huì)話。

如果你可以訪問(wèn)nvidia GPU并且能成功安裝 nvidia-docker 2.0，則可以選擇使用 --runtime=nvidia 標(biāo)志。

docker run --runtime=nvidia -it gpt-2 bash

用法

警告：樣品未經(jīng)過(guò)濾，可能含有令人反感的內(nèi)容。

下面的一些示例可能包括Unicode文本字符。請(qǐng)?jiān)O(shè)置環(huán)境變量：

export PYTHONIOENCODING=UTF-8

以UTF-8模式覆蓋標(biāo)準(zhǔn)流設(shè)置。

無(wú)條件樣本生成

要從小模型生成無(wú)條件樣本：

python3 src/generate_unconditional_samples.py | tee /tmp/samples

控制樣本有不同的標(biāo)志：

python3 src/generate_unconditional_samples.py --top_k 40 --temperature 0.7 | tee /tmp/samples

要查看標(biāo)志的說(shuō)明，請(qǐng)使用：

python3 src/generate_unconditional_samples.py -- --help

條件樣本生成

要提供模型自定義提示，你可以使用以下命令：

python3 src/interactive_conditional_samples.py --top_k 40

要查看標(biāo)志的說(shuō)明，請(qǐng)使用：

python3 src/interactive_conditional_samples.py -- --help

GPT-2 樣本

警告：樣品未經(jīng)過(guò)濾，可能含有令人反感的內(nèi)容。

雖然我們還沒(méi)有正式發(fā)布GPT-2，但你可以在 gpt-2-samples 文件夾中看到它的一些樣本。我們使用默認(rèn)設(shè)置（溫度1和無(wú)截?cái)啵╋@示無(wú)條件樣本，溫度為0.7，并使用top_k 40進(jìn)行截?cái)?。我們又使用默認(rèn)設(shè)置（溫度1和無(wú)截?cái)啵╋@示帶有從WebText測(cè)試集中提取的上下文的條件樣本，溫度為0.7，截?cái)鄷r(shí)為top_k 40。

未來(lái)的工作

我們可能會(huì)發(fā)布用于在各種基準(zhǔn)測(cè)試中評(píng)估模型的代碼。

我們?nèi)栽诳紤]發(fā)布規(guī)模更大的模型。

點(diǎn)擊閱讀原文，查看一個(gè)續(xù)寫故事達(dá)到人類水平的AI，OpenAI大規(guī)模無(wú)監(jiān)督語(yǔ)言模型GPT-2