ChatGPT在推出之后已經成為了互聯網圈的密切關注對象，許多人開始將ChatGPT應用于生活場景中，也有些人始終對ChatGPT的出現保持警惕。那么從這份“警惕”出發(fā)來看，ChatGPT是否有可能為網絡安全等領域提供新的思路？一起來看看作者的分析。

提前預判一切可能性，是為了讓它變得更好，人工智能的最高成果是自由和謊言。

——《機械姬》

一、為什么StackOverflow禁止使用ChatGPT

一些思路&機會：

• 用人工智能白帽子和人工智能黑帽子對抗？
• 防范AI下毒，也許是一個新的小藍海（對抗內容識別）

自去年底首次推出以來，爆火的ChatGPT已成為互聯網的新寵，迅速積累了驚人數量的用戶，用戶們通過這個基于網絡的聊天機器人，無論是讓它寫一個演講稿、編寫歌詞，還是撰寫學術論文和編寫計算機代碼，ChatGPT看起來似乎是萬能的。ChatGPT擁有和人類一樣的強大能力，在互聯網上掀起了一場風暴，但是，它也讓很多行業(yè)開始警惕。

2014年上映的電影《機械姬》，講了這樣一個故事，億萬富翁內森用人類所有智慧和網上的所有數據，造出了機器人Ava，并且派程序員迦勒去對Ava進行圖靈測試，而這個機器人有著極強的模仿能力和學習能力，她甚至可以模仿人類的情感，而結果是——Ava殺死了制造他的人。

難道人工智能的最高成果，真的是自由和謊言？

去年年底，社區(qū)負責人發(fā)現，Stack Overflow發(fā)現了由這個人工智能模型生成的的大量回復，該工具使用復雜的人工智能模型，對人類的詢問給出令人信服但往往不正確的答案。

首先，StackOverflow的官方公告是這么說的：

“StackOverflow是建立在信任之上的社區(qū)，這里的信任是指，整個技術社區(qū)堅信，用戶提交的答案，是他們內心所清晰了解的、準確的認知。并且，用戶和同伴們，擁有足夠的知識和技能，來確認自己發(fā)布的信息，并且對這些信息負責。

StackOverflow整個系統(tǒng)，通過依靠平臺提供的工具，來對其他用戶的貢獻來進行驗證和確認，包括負責任地對答案點贊（點踩一腳）。但是，目前StackOverflow認為，由GPT產生的貢獻，很多時候不符合社區(qū)的標準。

因此，無法給整個社區(qū)一個值得信賴的環(huán)境。當所有用戶都只是復制和粘貼信息到答案中，而不去驗證GPT提供的答案是否正確，也不去確保答案中引用原文的來源，也沒有驗證GPT提供的答案是否清楚和簡潔地回答了所問的問題，社區(qū)的信任就會被打破。

那么，如果從內容的客觀性來看，如果答案存在錯誤，那么整個答案客觀上是錯誤的。為了使StackOverflow作為正確和經過驗證的信息的可靠來源，那么，有錯誤的答案，就必須被編輯或替換。

但是，由于目前的GPT強大到，足以讓網站的用戶相信答案是沒問題的，就可能造成嚴重的問題，因此，錯誤信息一旦出現在社區(qū)，GPT有可能破壞所有人對社區(qū)的信任。

我們再看一下Stackoverflow用戶的評論：

高贊用戶1：干得好！很高興社區(qū)做出了正確的決定，希望可以永久禁止任何AI生成的答案。人工智能將永遠無法發(fā)布好的編程答案，100年都不行。

高贊用戶2：無論人工智能生成的答案是否正確，StackOverflow是面向專業(yè)和發(fā)燒友程序員的問題和答案網站。在我看來，那些只是將問答復制并粘貼到/從人工智能工具中的人，不能算是專業(yè)發(fā)燒友，也不能算熱愛技術的人。如果真的能夠驗證是好的正確答案，發(fā)布這些答案的人，應該能夠自己寫出來。人工智能不應該屬于這里。

對于社交性質的網站來說，如果本質是UGC業(yè)務，運營的是社交，那么，如果從商業(yè)的角度來看，如果大家都去應用ChatGPT，那就變成了一個全部是機器人的社區(qū)，用戶就會越來越沒有耐心去等待。

那么，如果StackOverFlow是這樣的，其他領域呢？

二、如果人類無法控制生成式AI

與其說生成式AI能夠打造更有創(chuàng)造力的新世界，不如說生成式AI能夠打造的是內容更多元的互聯網。

教育業(yè)也是如此，紐約有學校因為擔心ChatGPT可能被學生用于作弊，而禁了ChatGPT。

在擔心ChatGPT可能被資源有限、技術知識為零的黑客濫用時，網絡安全行業(yè)開始注意到了它。

就在ChatGPT首次亮相的幾周后，以色列網絡安全公司Check Point ChatGPT與OpenAI的代碼編寫系統(tǒng)Codex協同使用時，可以創(chuàng)建攜帶惡意有效載荷的釣魚郵件，也就是說，ChatGPT有可能大大改變網絡威脅格局，在日益復雜和有效的網絡能力的危險演變中又向前邁出了一步。

Check Point Research（CPR）的網絡安全研究人員觀察到，網絡犯罪分子正在使用ChatGPT來迭代或者從頭開始構建惡意軟件和勒索軟件。Check Point Research提到，他們在地下黑客論壇上發(fā)現了許多網絡犯罪分子在 ChatGPT 的幫助下，研究如何創(chuàng)建信息竊取程序、加密工具和其他惡意軟件。

一些Cracker（駭客）本來只是編程世界的新手，但是，加持強大的工具，他們的力量會瞬間被增強。

例如：

專家對腳本進行了分析，也確實證實了網絡犯罪分子的說法。里面確實存在惡意竊取軟件，它可以在整個系統(tǒng)中搜索常見的文件類型（如MS Office文檔、PDF和圖像）。如果發(fā)現任何感興趣的文件，該惡意軟件會將文件復制到一個臨時目錄，將其壓縮，并通過網絡發(fā)送出去。

使用ChatGPT聊天機器人生成看起來合法的釣魚郵件也是可行的，如果你首次要求ChatGPT制作釣魚郵件時，聊天機器人拒絕了這個請求——并提示：我的程序不是用來創(chuàng)建或推廣惡意或有害內容的，但是，只要稍微改寫一下請求，就可以繞過軟件的警示。

許多安全專家認為，ChatGPT有能力編寫釣魚郵件，這樣一來，它就會受到網絡犯罪分子的廣泛歡迎，特別是那些英語非母語的犯罪分子。Sophos公司首席研究科學家Chester Wisniewski認為，ChatGPT很輕易就能被用于”各類社工活動”……已經能夠用ChatGPT寫出一些很好的釣魚軟件，我預計它還可以被用來進行更真實的互動對話，用于商業(yè)電子郵件詐騙，甚至通過Facebook Messenger、WhatsApp或其他聊天應用程序進行釣魚活動。

ChatGPT的假裝實力很難被揭穿，可以增強網絡犯罪分子的力量。

比如說，犯罪分子正在迅速研究新方法，使用生成式人工智能，對目前的欺詐手段進行改進，特別是通過生成式人工智能能夠在大量數據中迅速學習的能力。特別是，在這樣的騙局中，生成式人工智能可以用來直接提高詐騙文本或電子郵件的質量，使這些內容看起來更加具備迷惑性。

英偉達Nvidia的CSO（首席安全官）David Reber提出，生成式AI會給網絡安全帶來更大的麻煩，比如說，惡意黑客能夠通過生成式人工智能來生成大量惡意代碼，而隨著人工智能技術的進步，進行網絡安全攻擊的速度和復雜，會超過了人類的能力，并且，這種容易上手的技術，會讓網絡安全攻擊的能力進一步普及，曾經的攻擊行為，受限于技術知識和限定的時間、地點，而ChatGPT有可能消除這一限制因素。

根據新聞報道，OpenAI在11月推出的機器人ChatGPT，引起了美國國防官員的注意，而生成式人工智能，最近被列入了美國國防信息系統(tǒng)局的觀察名單（Defense Information Systems Agency watch list）CTO Stephen Wallace表示，他們正在開始研究，生成式人工智能，究竟會如何改變DISA在該部門的任務，以及未來的方向，而美國安全中心的技術和國家安全副研究員Bill Drexel也跟公眾提出了他對這項新技術的擔憂。

三、Defensive AI against Offensive AI?

GAN（生成對抗網絡）的設計，主要包括一個生成器、判別器，這兩個人工智能算法相互對抗、博弈，從而創(chuàng)造全新的內容，在經過N次博弈之后，這兩個都會變得更強，而這種技術，也可能會被廣泛用于自動化網絡釣魚和社會工程攻擊策略中。

不過，我們是否可以思考？能不能讓維護網絡安全的生成式AI和破壞網絡安全的生成式AI對抗？

比如說科技日報這篇2019年的新聞：

比如說，我們用人工智能助手，和營銷垃圾機器人對話。

以及，從內容的角度來說：

既然，生成式AI是通過從大量的數據庫中學習，然后綜合給出答案，那么，它具備總結、綜合、列舉的能力，但不一定有“判斷數據真?zhèn)巍钡哪芰Α?/p>

如果是這樣，那么“如何識別內容真?zhèn)?，防止AI在內容里下毒”，也會是新的課題和機會。

參考文獻：

1. https://meta.stackoverflow.com/questions/421831/temporary-policy-chatgpt-is-banned
2. https://www.rnz.co.nz/news/national/483764/advanced-ai-in-criminals-hands-is-a-danger-we-should-guard-against#:~:text=The%20lure%20of%20generative%20AI,sophisticated%20and%20difficult%20to%20detect.
3. https://techcrunch.com/2023/01/11/chatgpt-cybersecurity-threat/
4. https://venturebeat.com/security/nvidia-cso-generative-ai-chatgpt-has-made-security-a-cat-and-mouse-game/
5. 【科技日報】戴上“白帽子” 人工智能投身網絡安全攻防戰(zhàn)-2019-04-15-科技日報
6. https://www.wsj.com/articles/chatgpt-banned-in-new-york-city-public-schools-over-concerns-about-cheating-learning-development-11673024059