沒有功德圓滿,沒有一步登天,一些提示詞撰寫的個人體會

0 評論 598 瀏覽 2 收藏 11 分鐘

在大語言模型(LLM)的應用中,提示詞的撰寫是實現(xiàn)高效人機交互的關鍵環(huán)節(jié)。本文作者通過豐富的實踐經(jīng)驗和案例分享了關于提示詞撰寫的深刻體會,強調提示詞并非萬能,其效果受限于模型能力和業(yè)務需求的匹配度。

最近很多項目中都需要用到提示詞工程,經(jīng)過一段時間的實踐和驗證,總結了一些個人體會比較深刻的感悟。

一、提示詞不是萬能的,大模型不是萬能的

自從deepseek火出圈后,各行各業(yè),不論大公司、小公司似乎都加快了大模型在企業(yè)內部的應用。

但是大多數(shù)公司由于缺乏專業(yè)的數(shù)據(jù)、算法團隊,缺乏前期的技術積累和數(shù)據(jù)積累,能快速入手滿足嘗鮮需求的,就只有提示詞+通用大模型。

但是不是所有場景都能只通過提示詞來實現(xiàn)。面對業(yè)務部門提出的需求時,最好仔細判斷和驗證。

用提示詞是事半功倍,還是事倍功半。如果要說服業(yè)務不要通過大模型來實現(xiàn)他們的需求,也最好能通俗易懂的告訴他們?yōu)槭裁础?/p>

如何通俗易懂的告訴業(yè)務,他們的需求模型和提示詞不能做,或者僅靠模型和提示詞不能做?

可以嘗試簡單回答下面的這幾個問題,基本上能讓業(yè)務對自己的需求能不能做、以及做出來的最終效果有一些預期。

  • 上下文限制:為什么不能上傳多個文件,為什么不能上傳超過一定字數(shù)的文件
  • 生成速度:為什么回答速度這么慢
  • 模型幻覺:為什么生成的內容和事實不符?能不能保證百分百的精確和準確?
  • 文件解析:為什么不支持pdf\ppt\png\jpg格式的文件識別
  • 多模態(tài):為什么不能處理視頻、音頻

二、提示詞需要不斷迭代

提示詞的撰寫沒有功德圓滿,沒有一步登天。

需要不斷的迭代和修改,無限接近,但可能永遠無法達到最完美的境地,當然也不需要完美,只需要最適合當前的情景。

在個人的實際應用中,發(fā)現(xiàn)提示詞的迭代往往遵循這樣的規(guī)律:

  • 第一版提示詞通常是基于對需求的初步理解,能解決80%的簡單場景;
  • 第二版提示詞會針對測試中發(fā)現(xiàn)的問題進行修正,覆蓋到90%的場景;
  • 第三版及以后的迭代則是在邊緣案例和特殊情況上不斷打磨,期望能盡可能多的覆蓋更多場景。

有時候,一個看似微小的詞語調整,就能讓模型的輸出從混亂變得井然有序,當然也有可能導致模型輸出效果變得更差。

這種迭代不是無休止的,而是要找到一個平衡點——當提示詞能夠滿足業(yè)務核心需求,且邊際收益開始遞減時,就可以暫時告一段落。

記得隨時記錄每次迭代的變化和效果,這些積累下來的經(jīng)驗,會成為提示詞工程能力提升的寶貴資源。

三、提示詞撰寫是一項科學工程

有效的提示工程需要將其視為科學過程,這需要嚴格記錄實驗(提示、設置、結果),以便進行學習、比較和復現(xiàn) ,從而幫助我們更加系統(tǒng)、理性地應對復雜的業(yè)務需求,提高撰寫成功率和效率。

提示詞撰寫雖然看起來只是寫幾行文字,但實際上它涉及到需求分析、方案設計、實現(xiàn)、測試和優(yōu)化的完整流程,就像軟件開發(fā)一樣需要遵循工程化的方法。

首先,需求分析階段要明確業(yè)務目標和約束條件。這包括理解用戶真正需要解決的問題,以及可能面臨的各種邊界情況。一個好的提示詞工程師會問”為什么需要這個功能”而不僅僅是”需要什么功能”。

其次,方案設計階段需要考慮提示詞的整體結構。這包括角色設定、任務描述、約束條件、輸出格式等要素的組織方式。好的提示詞結構應該清晰、模塊化,便于后續(xù)維護和調整。

實現(xiàn)階段則是根據(jù)設計編寫具體的提示詞內容。需要對自然語言有敏銳的感覺,知道哪些表達方式更容易被模型準確理解,哪些可能導致歧義。(這是我個人比較擅長的領域)

測試階段尤為重要,需要設計各種測試用例,覆蓋正常場景和邊緣場景。通過系統(tǒng)性測試,發(fā)現(xiàn)提示詞的弱點和盲區(qū)。

最后是優(yōu)化階段,根據(jù)測試結果有針對性地調整提示詞。這是一個反復試錯的過程,需要耐心和細心。

四、提示詞撰寫門檻低,上限高

門檻低

任何一個普通員工,即使沒有技術背景,也可以通過一些簡單的培訓,快速學會提示詞的撰寫。

如果能夠再投入一定的精力,學會top-k\ top-p等參數(shù)的應用、了解COT\TOT\少樣本學習等撰寫技巧后,就能針對許多業(yè)務場景進行探索和實驗。

上限高

合適的場景+合適的提示詞,能夠實現(xiàn)令人眼前一亮的效果,精心設計的提示詞可以讓模型的輸出質量接近專業(yè)人士的水平。

提示詞的上限取決于對業(yè)務領域的理解深度、對模型特性的把握程度以及提示詞設計的巧妙程度,當然也受限于當前所使用模型能力的上限。當這些因素結合得當時,即使是通用模型也能表現(xiàn)出接近專家的能力。

正是這種”門檻低、上限高”的特性,使得提示詞工程成為當前AI應用落地最具性價比的方式之一。

五、簡潔、簡潔還是簡潔

提示詞的撰寫要珍惜寶貴的上下文額度。在一些復雜的業(yè)務需求中,需要說明的任務較多時,必須在能簡潔的地方用最簡潔的文字描述,這樣才能為核心的說明留下更充足的字數(shù)。

當你想要給當前的提示詞增加一些內容時,最好同時看看哪里能刪減一些內容, 且不影響最終效果。

簡潔并不意味著模糊或不完整,而是要用最精準的語言表達最核心的意圖。這需要不斷練習和打磨,找到每個詞存在的價值。

在實踐中,我發(fā)現(xiàn)一個有效的方法是先寫出完整的提示詞,然后進行”減法”——刪除那些不直接影響輸出質量的描述性文字,合并表達相似意思的句子,用更簡潔的表達替換冗長的說明。

模型理解能力很強,不需要像對人類那樣反復強調或解釋。直接、明確、簡潔的指令通常比長篇大論更有效。

六、模型能力很重要,提示詞能力也有限;但如果選擇不多,就需要最大化利用自己手頭上已有的。

模型能力的高低,會直接表現(xiàn)在對提示詞的回應上。同樣的提示詞,一個更先進的模型,就是能更好的發(fā)揮作用。

如果現(xiàn)在你感覺提示詞的效果并不好,可以等一段時間,更強大的模型推出后再試試,許多問題會迎刃而解。

當然,并不是所有公司都有資源支持先進模型的落地,雖然前面說了很多提示詞應用的局限。

但是當你所在的公司處于硬件設備、數(shù)據(jù)、技術、模型、團隊資源有限的情況下,提示詞確實是最快捷、最低成本落地AI的途徑。有時候,限制反而能激發(fā)創(chuàng)造力。

在資源有限的情況下,可以采取一些策略來最大化現(xiàn)有模型的效果。例如,將復雜任務拆分成多個簡單任務,讓模型逐步完成;利用少樣本學習,提供幾個高質量的示例來引導模型;或者設計巧妙的提示詞結構,讓模型按照特定的思考路徑來解決問題,或者開發(fā)一些工具,供模型使用,再下一步就是開發(fā)agent應用。

七、總結一下

總的來說,提示詞工程是一門融合了語言藝術與科學的實踐,它既需要對語言的敏銳感知,也需要系統(tǒng)化的工程思維。在企業(yè)應用中,應當既看到它的潛力,也需要認清它的局限。不斷通過實踐積累經(jīng)驗,在迭代中尋找最佳平衡點。

提示詞工程不是終點,而是通向AI應用落地的一條重要路徑。隨著技術的發(fā)展,我們的工具會更強大,但提示詞背后的思考方式和方法論,將繼續(xù)指引我們更好地駕馭AI的力量,為業(yè)務創(chuàng)造真正的價值。

本文由 @Mrs.Data 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉載

題圖來自Unsplash,基于CC0協(xié)議

該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務

更多精彩內容,請關注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!