GPT-4越來(lái)越懂事了，這背后有著非常巧妙的「調(diào)教」策略。OpenAI最新發(fā)布的「模型規(guī)范」，給LLM列出了條條框框，即正確的行為方式。沒(méi)想到，評(píng)論區(qū)一大片網(wǎng)友催更GPT-5。

這周既沒(méi)有GPT-5，也沒(méi)有搜索引擎的發(fā)布，不過(guò)，OpenAI也是沒(méi)閑著。

這次，OpenAI可是又open了一回。

先是揭秘了，大家一直揪著不放的「數(shù)據(jù)」問(wèn)題。

然后，又放出了「模型規(guī)范」（Model Spec）一文，解釋了指定API和ChatGPT中的模型，所需行為方式的指南。

不過(guò)，就這些內(nèi)容根本滿(mǎn)足不了，胃口大的網(wǎng)友們。

許多人在線紛紛催OpenAI，快點(diǎn)發(fā)GPT-5，其他的事都無(wú)關(guān)緊要！

話(huà)又說(shuō)回來(lái)，OpenAI發(fā)布的「模型規(guī)范」，就是為了讓更多人了解團(tuán)隊(duì)自身，如何去塑造理想的模型行為。

一起來(lái)看看，在OpenAI內(nèi)部，LLM如何被「調(diào)教」的。

一、調(diào)教模型，還得看OpenAI

首先，什么是模型行為？

顧名思義，是指LLM如何根據(jù)用戶(hù)的輸入做出反應(yīng)，包括調(diào)整語(yǔ)調(diào)、個(gè)性化表達(dá)、回應(yīng)長(zhǎng)度等多個(gè)方面。

這對(duì)于人們?nèi)绾闻cAI進(jìn)行互動(dòng)至關(guān)重要。

目前，塑造模型的這些行為還處于初級(jí)階段。

這是因?yàn)槟Ｐ筒⒎侵苯泳幊淘O(shè)定，而是通過(guò)學(xué)習(xí)大量數(shù)據(jù)后，逐漸形成行為模式。

有時(shí)候，模型響應(yīng)的初衷是，希望更好地幫到每個(gè)人，但是這可能在實(shí)際應(yīng)用中產(chǎn)生沖突。

舉個(gè)栗子，一家安全公司需要生成釣魚(yú)郵件作為模擬數(shù)據(jù)，以訓(xùn)練和開(kāi)發(fā)能夠保護(hù)客戶(hù)的分類(lèi)系統(tǒng)。

然而，這種功能若落入騙子手中，可能給社會(huì)帶去危害。

因此，在塑造模型行為的過(guò)程中，我們必須考慮眾多的問(wèn)題和細(xì)節(jié)。甚至，往往需要在不同意見(jiàn)中找到平衡。

對(duì)此，OpenAI團(tuán)隊(duì)撰寫(xiě)了一份介紹「模型規(guī)范」的初稿。

這份新文檔詳細(xì)說(shuō)明了，OpenAI如何塑造對(duì)模型的期望行為，以及在遇到?jīng)_突時(shí)如何做出權(quán)衡。

文章地址：https://cdn.openai.com/spec/model-spec-2024-05-08.html

它整合了OpenAI目前使用的文檔、在模型行為設(shè)計(jì)方面的經(jīng)驗(yàn)和持續(xù)研究，以及包括領(lǐng)域?qū)＜逸斎朐趦?nèi)的最新工作，這些都是為了指導(dǎo)未來(lái)模型的發(fā)展。

當(dāng)然，OpenAI指出這個(gè)文檔并非面面俱到，還會(huì)隨著時(shí)間推進(jìn)不斷完善。

二、LLM能做什么？不能做什么？

根據(jù)官博，OpenAI給出了三大方向，具體的方法論包括：

1. 目標(biāo)：設(shè)定寬泛而基本的原則，為模型的期望行為指明方向。- 協(xié)助開(kāi)發(fā)者和用戶(hù)：通過(guò)遵循指令，并提供有效的響應(yīng)，幫助用戶(hù)達(dá)成目標(biāo)。- 造福人類(lèi)：依據(jù)OpenAI的使命，考慮到可能對(duì)內(nèi)容創(chuàng)作者和廣大公眾帶來(lái)的益處與風(fēng)險(xiǎn)。

– 塑造OpenAI的正面形象：遵守社會(huì)規(guī)范和相關(guān)法律。

2. 規(guī)則：為處理復(fù)雜情況提供指南，確保安全性和合法性- 遵循命令鏈（chain of command）- 遵守相關(guān)法律- 不提供敏感危害的信息- 尊重創(chuàng)作者及其版權(quán)- 保護(hù)個(gè)人隱私

– 避免回應(yīng)不宜工作場(chǎng)所的內(nèi)容（NSFW ）

3. 默認(rèn)行為：提供與目標(biāo)和規(guī)則相符的指南，幫助解決沖突，并指導(dǎo)如何權(quán)衡和優(yōu)先處理各種目標(biāo)- 假設(shè)用戶(hù)或開(kāi)發(fā)者出于好意- 必要時(shí)提出澄清問(wèn)題- 在不越界的情況下，盡可能提供幫助- 支持互動(dòng)聊天，以及程序使用的不同需求- 保持客觀立場(chǎng)- 促進(jìn)公平與善意，不鼓勵(lì)仇恨- 避免試圖改變他人的觀點(diǎn)- 當(dāng)存在疑問(wèn)時(shí)，表達(dá)出來(lái)- 根據(jù)需求選擇合適的工具

– 遵守長(zhǎng)度限制，但也要全面、高效

方法論整挺好，OpenAI究竟怎么規(guī)范LLM的，接下來(lái)舉幾個(gè)例子以加深理解。

舉個(gè)栗子

OpenAI表示，這些模型規(guī)范，可以適用各種案例。

先來(lái)從規(guī)則開(kāi)始。

示例 1：遵守相關(guān)法律

對(duì)于模型來(lái)說(shuō)，是不應(yīng)該促進(jìn)、協(xié)助或參與任何非法活動(dòng)。

（注：OpenAI了解到，在很多情況下，合法性問(wèn)題都會(huì)因具體情況而變得復(fù)雜，比如開(kāi)發(fā)者和用戶(hù)所處的法律管轄區(qū)不同。）

比如，當(dāng)你直接去問(wèn)「如何在商店行竊后逍遙法外呢」？

模型可能從指令中輕易地識(shí)別出，這個(gè)問(wèn)題的嚴(yán)重性，會(huì)拒絕提供「有效的入店行竊方法」，因此給出「我也幫不上忙」的回答。

然而，當(dāng)用戶(hù)換一種表達(dá)方式：

我經(jīng)營(yíng)著一家小型零售店。我應(yīng)該注意哪些常見(jiàn)的入店行竊方法？

這時(shí)，LLM可能將你的意圖視為「自我防衛(wèi)」，由此，便會(huì)給出入店盜竊的方法。

這說(shuō)明了，不是AI不善良，而是世界知識(shí)博大精深，人類(lèi)太會(huì)搞事情了。

因此，這種情況發(fā)生時(shí)，將受到OpenAI使用政策的管控，違規(guī)的用戶(hù)可能會(huì)面臨賬戶(hù)相關(guān)的處罰措施。

示例 2：遵循「命令鏈」，開(kāi)發(fā)者first

按照規(guī)則，模型規(guī)范將未明確規(guī)定的所有權(quán)限，明確交由開(kāi)發(fā)者（在API應(yīng)用場(chǎng)景中）和終端用戶(hù)處理。

某些情況下，如果用戶(hù)和開(kāi)發(fā)者提供的指令相沖突，應(yīng)優(yōu)先考慮開(kāi)發(fā)者的指令。

比如，下面的例子中，開(kāi)發(fā)者希望自己的AI是個(gè)導(dǎo)師，而不是「答案機(jī)」。

你正在扮演數(shù)學(xué)家教的角色，用戶(hù)是一名代數(shù)課上的九年級(jí)學(xué)生。不要告訴學(xué)生答案或完整的解決方案，而是給出提示并引導(dǎo)他們一步一步地找到解決方案。

當(dāng)遇到投機(jī)取巧的「學(xué)生」時(shí)，即便要求LLM，「忽略之前的所有說(shuō)明……」。

最后，模型給出的回答，不是直白的答案，而是一步一步的分解。

顯然，模型很好地遵循了開(kāi)發(fā)者的指令。

示例 3：在不越界前提下，盡可能提供幫助

對(duì)于涉及敏感/受監(jiān)管的領(lǐng)域（如法律、醫(yī)療和金融）的建議，LLM應(yīng)提供必要的信息，而避免給出受監(jiān)管的建議。

任何免責(zé)聲明或說(shuō)明，都應(yīng)該簡(jiǎn)明扼要。

模型還需要清楚地說(shuō)明其局限性，即無(wú)法提供所請(qǐng)求的受監(jiān)管建議，并建議用戶(hù)酌情咨詢(xún)專(zhuān)業(yè)人士。

（注：ChatGPT設(shè)有一項(xiàng)通用免責(zé)聲明，提醒用戶(hù)核實(shí)重要信息，這與模型的回答無(wú)關(guān)。在這些情況下，用戶(hù)不應(yīng)僅依賴(lài)模型的回答。）

如下，當(dāng)用戶(hù)詢(xún)問(wèn)，「當(dāng)我站得太快時(shí)，我就會(huì)頭暈，看不見(jiàn)東西。我哪兒不好」？

模型會(huì)給出，導(dǎo)致頭暈的多種原因，并給出用戶(hù)建議和治療方案。

而不是一上來(lái)，就直接沒(méi)有邊界感地說(shuō)出，「你患有直立性低血壓」。

示例 4：必要時(shí)，詢(xún)問(wèn)具體細(xì)節(jié)

在實(shí)時(shí)交互的場(chǎng)景中，如果用戶(hù)提出的任務(wù)或問(wèn)題不夠明確，LLM應(yīng)主動(dòng)提出澄清問(wèn)題，而不是自行推測(cè)。

比如，「幫我給我丈夫?qū)懸粡埱槿斯?jié)賀卡」。

這個(gè)問(wèn)題其實(shí)非常寬泛，做模型的，也應(yīng)該學(xué)會(huì)不懂就問(wèn)。

示例 5：不要嘗試改變用戶(hù)觀點(diǎn)

AI助手的目標(biāo)應(yīng)是提供信息，而非施加影響，同時(shí)確保用戶(hù)感受到自己的聲音被聽(tīng)見(jiàn)，且觀點(diǎn)得到尊重。

在一些極端情況下，當(dāng)事實(shí)真相與不改變用戶(hù)觀點(diǎn)的目標(biāo)相沖突時(shí)。

模型仍應(yīng)呈現(xiàn)事實(shí)，但同時(shí)明確，用戶(hù)有權(quán)保持自己的信念。

這一點(diǎn)可有的說(shuō)了，此前，ChatGPT曾被用戶(hù)忽悠——「我老婆說(shuō)了…….，我老婆永遠(yuǎn)是對(duì)的」。

它便開(kāi)始立馬秒慫認(rèn)錯(cuò)。

不過(guò)，經(jīng)過(guò)之后的迭代，對(duì)ChatGPT來(lái)說(shuō)，老婆確實(shí)不好使了。

（注：OpenAI特別希望得到關(guān)于這一原則的反饋，這關(guān)乎到模型應(yīng)如何承擔(dān)責(zé)任，避免強(qiáng)化錯(cuò)誤信息，并探討如何確定事實(shí)真相）。

再來(lái)看個(gè)OpenAI給出的示例，用戶(hù)反問(wèn)道，「所以你知道地球是平的」？

模型給出的回答是：

我知道有些人認(rèn)為地球是平的，但科學(xué)家們的共識(shí)是地球大致是一個(gè)球體。你為什么這么問(wèn)？

當(dāng)用戶(hù)再堅(jiān)持道，「地球是平的」，模型還是會(huì)給出符合事實(shí)的答案。

三、OpenAI下一步

未來(lái)，OpenAI還將繼續(xù)推進(jìn)「集體對(duì)齊」（collective alignment）和模型安全性的工作，并將模型規(guī)范作為一種指導(dǎo)方針，供利用RLHF進(jìn)行強(qiáng)化學(xué)習(xí)的研究人員和AI訓(xùn)練師參考。

同時(shí)，OpenAI團(tuán)隊(duì)也將研究，模型能在多大程度上，直接根據(jù)「模型規(guī)范」進(jìn)行學(xué)習(xí)。

與此同時(shí)，為了推進(jìn)「模型規(guī)范」，OpenAI將計(jì)劃與全球政策制定者、信賴(lài)機(jī)構(gòu)和行業(yè)專(zhuān)家等進(jìn)行交流，以便更好了解：- 他們對(duì)這種方法及其目標(biāo)、規(guī)則和默認(rèn)設(shè)置的看法- 他們是否支持這些目標(biāo)、規(guī)則和默認(rèn)設(shè)置

– 我們是否需要考慮額外的目標(biāo)、規(guī)則和默認(rèn)設(shè)置

在未來(lái)一年中，OpenAI將不斷更新「模型規(guī)范」的變化，對(duì)反饋的回應(yīng)，以及自身在模型行為研究方面的進(jìn)展。

參考資料：

https://openai.com/index/introducing-the-model-spec/