自從AI大模型問世以來，仿佛很少有人提及NLP技術(shù)這個詞了。昨天休息的時候突然在想一個問題，AI大模型已經(jīng)如此強大了，還需要傳統(tǒng)的NLP技術(shù)嗎？

傳統(tǒng)的NLP技術(shù)指：從分詞（ws）、詞性標注（pos）、命名實體識別（ner）、依存句法分析（dp）、語義角色標注（srl）等過程。

傳統(tǒng)的NLP技術(shù)主要應(yīng)用一些基于規(guī)則、統(tǒng)計學(xué)的機器學(xué)習模型來實現(xiàn)。而AI大模型核心是基于詞嵌入技術(shù)來進行實現(xiàn)，相當于是一種暴力解題的方式，通過超大規(guī)模參數(shù)來達到模型涌現(xiàn)的能力。

二者最核心的區(qū)別在于2個：一個是訓(xùn)練所需的數(shù)據(jù)不在同一個一個數(shù)量級上，傳統(tǒng)的NLP技術(shù)處理的更多的是企業(yè)內(nèi)部定向任務(wù)的數(shù)據(jù)，而AI大模型則應(yīng)用全網(wǎng)數(shù)據(jù)來實現(xiàn)；另一個則是在技術(shù)實現(xiàn)的抽象層次不同。

NLP技術(shù)是直接應(yīng)用人力可以理解的語言規(guī)則來實現(xiàn)；而AI大模型則是將語言規(guī)則抽象成向量，然后通過深度神經(jīng)網(wǎng)絡(luò)來進行訓(xùn)練，在神經(jīng)網(wǎng)絡(luò)中面對抽象后的高維向量，人力已無法理解，這也是AI大模型的解釋性比較差的原因。???????????????????????????????????????????????????????????????????????????????????

在讓機器理解人類語言這件事兒上，現(xiàn)在看來可以劃分為2個階段：NLP技術(shù)階段、和AI大模型階段，每個階段都有其獨特的技術(shù)特點和里程碑事件。以下是這兩個階段的技術(shù)演變過程的詳細梳理。

一、傳統(tǒng)NLP技術(shù)階段

1. 早期方法（1950s – 1990s）

早期的NLP主要依賴于規(guī)則-based的方法和基于詞典的系統(tǒng)。技術(shù)包括語法分析、模式匹配、關(guān)鍵詞提取等。

2. 統(tǒng)計學(xué)習方法的興起（1990s – 2000s）

統(tǒng)計學(xué)習方法開始應(yīng)用于NLP，如隱馬爾可夫模型（HMM）和條件隨機場（CRF）。這些方法能夠處理序列數(shù)據(jù)，并且對標記數(shù)據(jù)的需求較少。

3. 淺層和深層學(xué)習（2000s – 2010s）

特征工程和機器學(xué)習方法（如支持向量機SVM）在這一時期得到了廣泛應(yīng)用。出現(xiàn)了一些重要的NLP任務(wù)，如情感分析、命名實體識別、機器翻譯等。

4. 語義角色標注和語義解析（1998 – 2000s）

FrameNet和語義角色標注的提出，推動了淺層語義解析的發(fā)展。共享任務(wù)和評估標準（如CoNLL）促進了核心NLP任務(wù)的研究。

二、AI大模型階段

1. 詞嵌入的革命（2013年前后）

Word2Vec和GloVe等詞嵌入技術(shù)的提出，使得NLP能夠更好地捕捉詞匯的語義信息。詞嵌入技術(shù)的出現(xiàn)為后續(xù)的深度學(xué)習模型奠定了基礎(chǔ)。

2. 神經(jīng)網(wǎng)絡(luò)的突破（2013年 – 2014年）

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、長短期記憶網(wǎng)絡(luò)（LSTM）開始應(yīng)用于NLP任務(wù)。這些網(wǎng)絡(luò)能夠捕捉文本數(shù)據(jù)中的序列特征和局部依賴關(guān)系。

3. 預(yù)訓(xùn)練語言模型的興起（2018年前后）

BERT、GPT、XLNet等預(yù)訓(xùn)練語言模型的出現(xiàn)，極大地推動了NLP技術(shù)的發(fā)展。這些模型通過在大規(guī)模文本數(shù)據(jù)上進行預(yù)訓(xùn)練，學(xué)習到了豐富的語言表示。

4. Transformer架構(gòu)的普及（2017年 – 至今）

Transformer架構(gòu)的提出，特別是在BERT和GPT系列模型中的應(yīng)用，成為了NLP領(lǐng)域的核心技術(shù)。Transformer能夠有效處理長距離依賴問題，并且支持多任務(wù)學(xué)習和遷移學(xué)習。

5. 大模型的挑戰(zhàn)與創(chuàng)新（2022年代）

大模型雖然在多個NLP任務(wù)上取得了顯著的性能提升，但也面臨著諸如可解釋性、偏見、倫理和隱私等挑戰(zhàn)。研究人員和開發(fā)者正在探索如何設(shè)計和訓(xùn)練更加安全、可控和可解釋的大模型。

三、總結(jié)

傳統(tǒng)的NLP技術(shù)是人類探索機器理解自然語言的一個過程，如果沒有這個過程，那么后面的詞嵌入、預(yù)訓(xùn)練模型、以及AI大模型可能就不會誕生了，正是由于傳統(tǒng)NLP技術(shù)在應(yīng)用層的惰性，才激發(fā)了研究人員的新思考，做出重大突破。

所以，回到文初的那個問題：AI大模型已經(jīng)如此強大了，還需要傳統(tǒng)的NLP技術(shù)嗎？

當然如果你是從事應(yīng)用層工作的人員，個人覺得不需要再去研究傳統(tǒng)的NLP技術(shù)了，直接從詞嵌入階段開始了解即可。???????????????????????????????????????????????????????????

而如果你是偏科研方面的工作人員，則非常有必要去研究一下，傳統(tǒng)的NLP技術(shù)，知其因，才能更好的解其果，這是奠定科研工作的基礎(chǔ)。?????????