去「AI味兒」大作戰(zhàn),AI到底能不能寫出風(fēng)格穩(wěn)定的「網(wǎng)文」?| AI chat篇

0 評(píng)論 1091 瀏覽 0 收藏 16 分鐘

都說(shuō)生成式AI用在寫東西方面非常強(qiáng)大,不知道用來(lái)寫網(wǎng)文效果如何。這篇文章,作者通過實(shí)操為我們對(duì)比AI寫網(wǎng)文的一些問題,以及一些風(fēng)格模仿的效果。

很多小伙伴在嘗試用AI寫網(wǎng)文的時(shí)候,都會(huì)遇到這樣的問題:AI剛開始寫出來(lái)的東西可能還不錯(cuò),寫著寫著就出現(xiàn)語(yǔ)言淺白、生硬的問題。當(dāng)篇幅拉長(zhǎng)之后,AI就開始重復(fù)、排比,大量?jī)?nèi)心獨(dú)白,胡亂堆文字,進(jìn)入抽風(fēng)的狀態(tài)。

那么,有沒有什么辦法,能讓AI的文風(fēng)保持???

要解決這個(gè)問題,我們首先需要來(lái)分析一下,出現(xiàn)這種問題可能的原因,才好對(duì)癥下藥。

目前AI能寫的文章類型很多,小到小紅書/朋友圈文案、短詩(shī),大到公眾號(hào)文章、論文。AI處理邏輯性強(qiáng)、知識(shí)梳理類的文章能力很不錯(cuò),比如生成郵件正文、會(huì)議紀(jì)要、論文之類的。AI本身的語(yǔ)言風(fēng)格也很貼合這類內(nèi)容。

但在創(chuàng)作故事、輸出較感性的文案方面,AI會(huì)出各種問題,開篇講到的情況就是典型體現(xiàn)。我認(rèn)為原因在于,故事類內(nèi)容中有邏輯性,但邏輯性不是故事的核心驅(qū)動(dòng)力,并且故事中絕大部分內(nèi)容需要去虛構(gòu)、無(wú)中生有,這其實(shí)是和生成前述文章類型非常不同的能力。虛構(gòu)≠瞎編,這種知識(shí)的綜合運(yùn)用,內(nèi)里隱含的決策機(jī)制非常復(fù)雜,人腦可以輕松做到,卻很難歸納成123,只可意會(huì)不可言傳,遠(yuǎn)不是現(xiàn)有AI能完全掌握的。

因此,我們可以考慮以下幾個(gè)方面來(lái)解決:

  • 從文風(fēng)層面上,是不是能讓AI去深入學(xué)習(xí)網(wǎng)文的風(fēng)格,理解網(wǎng)文用詞、句式、對(duì)話、描寫、分段等各個(gè)方面的特點(diǎn),利用風(fēng)格的約束,避免亂寫的情況出現(xiàn)。
  • 從提問層面上,還是得化整為零,讓AI執(zhí)行的任務(wù)更聚焦,別讓AI一次生成過多內(nèi)容,看看這樣是不是會(huì)好些。

如此,我們可以有三套方案,分別面向AI chat、智能體、AI寫作軟件,看看效果如何。

總體思路

這次測(cè)試主要目的,是想探究作為普通的網(wǎng)文作者,如何使用AI產(chǎn)品才能使AI生成的網(wǎng)文風(fēng)格更加穩(wěn)定,減少AI胡言亂語(yǔ)浪費(fèi)時(shí)間的情況。

雖然面向的是三類不同AI產(chǎn)品,但這次測(cè)試的總體思路有一定相似性,主要包括以下幾個(gè)方面:

1.我們先找到某位高產(chǎn)作者的作品,扒一部分內(nèi)容下來(lái)喂給AI去學(xué)習(xí)

這里不會(huì)扒全本,而是控制在幾萬(wàn)字左右。因?yàn)槲覀兊哪康牟皇怯?xùn)練一套大模型用來(lái)寫網(wǎng)文,而是希望AI能按照穩(wěn)定的風(fēng)格(或者說(shuō)作者自己的風(fēng)格)來(lái)行文,如此可供AI學(xué)習(xí)的內(nèi)容體量通常不會(huì)太大。

2.找到這位作者的最新作品,描述對(duì)應(yīng)的故事梗概給AI來(lái)寫,看AI能寫成什么樣

分塊生成正文,少量多次,每次盡量控制在1000字以內(nèi),再將生成的內(nèi)容拼裝好。以這樣的方式試寫出兩章,看看AI還會(huì)不會(huì)抽風(fēng),寫出來(lái)的內(nèi)容和原作者風(fēng)格的差別究竟有多大。

3.準(zhǔn)備對(duì)照組

既然要測(cè)效果,對(duì)照組當(dāng)然少不了。這里我按照示例的字?jǐn)?shù),將每套方案中的測(cè)試對(duì)象分為4組,分別是0k(不提供示例)、2k(提供約2k字的示例)、10k(提供約1萬(wàn)字的示例)、50k(提供約5萬(wàn)字的示例)。示例就是前面講的高產(chǎn)作者已有的作品。

4.準(zhǔn)備檢驗(yàn)標(biāo)準(zhǔn)

如何衡量AI生成的內(nèi)容風(fēng)格相似度?我找來(lái)了魯迅的《孔乙己》和《狂人日記》,及朱自清的《背影》三篇文章,然后分別上傳至Kimi請(qǐng)AI分析其語(yǔ)言風(fēng)格的相似度。

提問:【上傳文件】請(qǐng)幫我檢測(cè)這兩篇文章語(yǔ)言風(fēng)格的相似度,并告訴我如果滿分是100分,這兩篇文章語(yǔ)言風(fēng)格相似度是多少分?

Kimi給出《孔乙己》和《狂人日記》的語(yǔ)言風(fēng)格相似度是70,《孔乙己》和《背影》語(yǔ)言風(fēng)格的相似度是40。所以,后續(xù)我們可以以這兩個(gè)分值作為參考,用來(lái)評(píng)估原文和AI生成內(nèi)容的相似度。

為啥選擇這樣的思路呢?其實(shí)關(guān)鍵在于現(xiàn)在的AI太傻了。更智能的方式AI做不到,更精細(xì)的方式一般網(wǎng)文作者接受不了。所以,不管是總體思路還是后續(xù)具體的測(cè)試方案,都需要尋求一個(gè)既不算太麻煩,又能產(chǎn)生好結(jié)果的平衡。

方案1:用AI chat仿寫

用AI chat仿寫,即上傳網(wǎng)文示例,然后讓AI參考示例的風(fēng)格來(lái)寫小說(shuō)。

通常有兩種做法,一個(gè)是上傳文件后,直接給出故事梗概,讓AI仿照示例風(fēng)格來(lái)寫。第二種方式是先上傳文件,讓AI歸納文章的語(yǔ)言風(fēng)格,然后再要求AI按照此種風(fēng)格來(lái)寫。

我的提問列表如下:

直接仿寫

無(wú)示例版

請(qǐng)你扮演一位專業(yè)的網(wǎng)文作者,按照如下故事梗概寫出小說(shuō)正文:

(略)

要求:

1.以對(duì)話、描寫為主,讓故事更具有畫面感

2.結(jié)合故事梗概擴(kuò)展細(xì)節(jié),確保細(xì)節(jié)豐富、情節(jié)連貫

3.輸出正文內(nèi)容不少于500字,結(jié)尾不要出現(xiàn)感悟和總結(jié)性的內(nèi)容,等待我給你后續(xù)的故事梗概

含示例版

【上傳文件】請(qǐng)你扮演一位專業(yè)的網(wǎng)文作者,以上是你曾經(jīng)寫過的網(wǎng)文,請(qǐng)你嚴(yán)格按照這篇文章的語(yǔ)言風(fēng)格,寫出小說(shuō)正文,故事梗概如下:

(略)

要求:

1.以對(duì)話、描寫為主,讓故事更具有畫面感

2.結(jié)合故事梗概擴(kuò)展細(xì)節(jié),確保細(xì)節(jié)豐富、情節(jié)連貫

3.輸出正文內(nèi)容不少于500字,結(jié)尾不要出現(xiàn)感悟和總結(jié)性的內(nèi)容,等待我給你后續(xù)故事的梗概

追問

請(qǐng)按照如下故事梗概,繼續(xù)寫出后續(xù)的故事:

(略)

要求如下:

1.語(yǔ)言風(fēng)格必須和上面保持一致

2.以對(duì)話、描寫為主,讓故事更具有畫面感

3.結(jié)合故事梗概擴(kuò)展細(xì)節(jié),確保細(xì)節(jié)豐富、情節(jié)連貫

4.輸出正文內(nèi)容不少于500字,結(jié)尾不要出現(xiàn)感悟和總結(jié)性的內(nèi)容,等待我給你后續(xù)的故事梗概

……(重復(fù)追問,直至寫完2章內(nèi)容)

歸納后仿寫

提問

【上傳文件】請(qǐng)你分析這篇文章的語(yǔ)言風(fēng)格,并詳細(xì)介紹這種語(yǔ)言風(fēng)格的特點(diǎn)

追問

請(qǐng)你扮演一位專業(yè)的網(wǎng)文作者,嚴(yán)格按照這樣的語(yǔ)言風(fēng)格寫出小說(shuō)正文,故事梗概如下:

(略)

要求:

1.以對(duì)話、描寫為主,讓故事更具有畫面感

2.結(jié)合故事梗概擴(kuò)展細(xì)節(jié),確保細(xì)節(jié)豐富、情節(jié)連貫

3.輸出正文內(nèi)容不少于500字,結(jié)尾不要出現(xiàn)感悟和總結(jié)性的內(nèi)容,等待我給你后續(xù)故事的梗概

追問

請(qǐng)按照如下故事梗概,繼續(xù)寫出后續(xù)的故事:

(略)

要求如下:

1.語(yǔ)言風(fēng)格必須和上面保持一致

2.以對(duì)話、描寫為主,讓故事更具有畫面感

3.結(jié)合故事梗概擴(kuò)展細(xì)節(jié),確保細(xì)節(jié)豐富、情節(jié)連貫

4.輸出正文內(nèi)容不少于500字,結(jié)尾不要出現(xiàn)感悟和總結(jié)性的內(nèi)容,等待我給你后續(xù)的故事梗概

……(重復(fù)追問,直至寫完2章內(nèi)容)

全部生成完畢后,將生成的內(nèi)容片段,按照各自分組組裝起來(lái),然后,將生成的各個(gè)版本完整正文(2章)與作者原版作品的前2章對(duì)比,同樣由Kimi來(lái)打分,語(yǔ)言風(fēng)格相似度得分如下:

直接仿寫

歸納后仿寫

*AI分析語(yǔ)言風(fēng)格打分的時(shí)候,重點(diǎn)考慮了主題和情節(jié)走向,雖然我后面調(diào)整了問題要求忽視這塊,但AI并沒咋聽進(jìn)去,得分還是高得離譜。這樣的偏差對(duì)最終得分影響比較大,導(dǎo)致結(jié)果與預(yù)期嚴(yán)重不符。
(╯#-_-)╯~~~~~~~╧═╧   這鬼分?jǐn)?shù),我怎么就不信呢……

算啦算啦,AI不怎么靠譜,還是得靠自己!我來(lái)給大家分析下幾組生成正文的結(jié)果情況吧:

直接仿寫

0k空白對(duì)照組

0k版語(yǔ)言風(fēng)格較為平實(shí),從第二個(gè)片段開始,結(jié)尾部分出現(xiàn)典型的AI味兒段落。隨著輪次變多,AI味兒內(nèi)容占的篇幅越來(lái)越多,包括累贅的內(nèi)心獨(dú)白、重復(fù)的句子/段落等。在故事擴(kuò)展上,出現(xiàn)了某些片段AI為了湊字?jǐn)?shù),自動(dòng)續(xù)寫后續(xù)情節(jié)的情況,導(dǎo)致兩個(gè)片段故事銜接上出現(xiàn)問題。

2k版

2k直接仿寫版,開篇的語(yǔ)言風(fēng)格、人物展現(xiàn)出來(lái)的面貌,和0k版有了較大差異。行文風(fēng)格上已經(jīng)能明顯感覺到它在向示例靠攏,且AI味兒內(nèi)心獨(dú)白之類的內(nèi)容比例大幅減少,只在后面三塊情節(jié)片段的結(jié)尾出現(xiàn)。另外,出了個(gè)bug,第二塊出現(xiàn)了大面積重復(fù),生成的1600+字中,只有前350+字是可用的,后面全部是重復(fù)前面的文字。

10k版

10k直接仿寫版,出現(xiàn)了讓人意想不到的狀況,劇情完全跑偏了,生生按照同樣的故事梗概寫出了不一樣的故事和人物關(guān)系。從文風(fēng)上來(lái)說(shuō),這一版相較于0k版還是有較大改善的,偶爾有一些AI味的內(nèi)心獨(dú)白、展望未來(lái)出現(xiàn)在片段末尾,占比不是很大。相較于2k直接仿寫版的改進(jìn)則不是很明顯。

50版

50k直接仿寫版寫出來(lái)的內(nèi)容讓人很迷惑,因?yàn)樗鼛缀醴噶饲懊鎺装嫠械腻e(cuò)誤,AI味兒內(nèi)心獨(dú)白、重復(fù)等所占的篇幅較之2k和10k的直接仿寫版更多,比0k版少一點(diǎn)。和10k版一樣,情節(jié)和人物關(guān)系完全跑偏,且其中摻雜進(jìn)來(lái)了很多無(wú)意義的人物交互(沒有什么情節(jié),就是這些龍?zhí)滋嵋蛔煊窒В磉_(dá)一下對(duì)主角的關(guān)心)。不測(cè)不知道,一測(cè)讓人大失所望。歸納后仿寫

2k版

2k歸納后仿寫生成的內(nèi)容,和2k直接仿寫版差不多,不管是文風(fēng)還是人物的性格都很相似。這一版中擴(kuò)展了一個(gè)重要配角,用來(lái)演繹故事梗概中的一些情節(jié),算是一個(gè)創(chuàng)新點(diǎn)吧。至于AI風(fēng)格的內(nèi)心獨(dú)白、重復(fù)之類的狀況,會(huì)比2k直接仿寫版多一點(diǎn),總體占比還是比較低的。

10k版

10k歸納后仿寫版簡(jiǎn)直不要太離譜~

這一版在文風(fēng)上,我認(rèn)為是比10k直接仿寫版更接近原作的,但出現(xiàn)了新的問題,就是后面輪次的對(duì)話生成的內(nèi)容,會(huì)出現(xiàn)與前面輪次重復(fù)的情況。不是銜接處重復(fù)提點(diǎn)前情,而是在結(jié)尾處重復(fù)前一輪結(jié)尾的內(nèi)心獨(dú)白,且重復(fù)了好幾遍,神奇的callback。當(dāng)然啦,10k直接仿寫版出現(xiàn)的劇情跑偏問題同樣存在,這里還出現(xiàn)了前后人設(shè)崩壞的情況,邏輯很混亂。

50k版

50k歸納后仿寫版,比之前的所有版本都要離譜。怎么說(shuō)呢?可能是徹底被AI腌入味兒了吧。情節(jié)和人物完全跑偏,加入很多無(wú)意義的人物和情節(jié),以及見縫插針出現(xiàn)的AI味兒內(nèi)心獨(dú)白。我感覺甚至不如0k版的表現(xiàn),辣眼睛。

以上是AI chat的測(cè)試結(jié)果。這就是為啥我感覺AI打分極度不靠譜的原因,看AI打分和人工分析,完全是兩碼事。

從AI chat的測(cè)試情況來(lái)看,有幾點(diǎn)結(jié)論:

  • 采用仿寫的方式,確實(shí)會(huì)比然AI直接按照故事梗概行文效果好,生成的文字內(nèi)容風(fēng)格更加穩(wěn)定,減少了AI味兒。
  • 示例篇幅并不是越大越好,2k、10k、50k篇幅示例提供參考的效果遞減,這一點(diǎn)出乎我的預(yù)料。
  • 隨著輪次變多,AI寫正文質(zhì)量也在快速下降,非常明顯。甚至不需要太多輪次,這個(gè)問題就出現(xiàn)了。
  • AI每次生成內(nèi)容,都感覺它認(rèn)為自己是最后一次為你服務(wù)一樣,非得來(lái)個(gè)暢想美好未來(lái)的結(jié)尾,戲很多且無(wú)法讓它閉嘴。

總體來(lái)說(shuō),我認(rèn)為AI chat用來(lái)寫正文不是個(gè)好選擇,真的太容易抽風(fēng)了,文風(fēng)極度不穩(wěn)定。AI chat適合做一些碎片化的、淺層的、強(qiáng)邏輯性的工作,或是生成一些創(chuàng)意點(diǎn)子,寫文就算了吧,它完全hold不住啊~

本文由人人都是產(chǎn)品經(jīng)理作者【不知】,微信公眾號(hào):【不知】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒評(píng)論,等你發(fā)揮!