通過(guò)探索AI如何模仿人腦來(lái)提高效率和學(xué)習(xí)速度，我們可以更好地理解人類(lèi)的注意力如何在信息泛濫的世界中受到挑戰(zhàn)，并找到強(qiáng)化自身專(zhuān)注力的方法。

開(kāi)始一個(gè)系列，智能時(shí)代的變革與思考

大模型的注意力機(jī)制給我們的啟示

大模型的核心：注意力機(jī)制

現(xiàn)在的大模型比上一代更加智能，上一代深度學(xué)習(xí)是基于對(duì)語(yǔ)言和語(yǔ)義的理解，而現(xiàn)在的大模型直接采用了人腦的機(jī)制——注意力機(jī)制。

打個(gè)比方，任何人看到一幅畫(huà)面，或多或少都會(huì)被某個(gè)部分吸引，而且這個(gè)吸引點(diǎn)因人而異。這個(gè)被吸引的部分就是注意力機(jī)制。在大模型的訓(xùn)練過(guò)程中，通過(guò)樣本不斷地訓(xùn)練注意力機(jī)制相關(guān)的參數(shù)，讓大模型能夠快速的抓住上下文的重點(diǎn)，以便生成最準(zhǔn)確的內(nèi)容。

再舉個(gè)例子，圖書(shū)館里有藏書(shū)，為了方便檢索，每一本書(shū)都被做了標(biāo)記。當(dāng)任何人想要了解“XX”，系統(tǒng)會(huì)給根據(jù)要求給出相關(guān)條目以及條目的優(yōu)先級(jí)。

這時(shí)候大模型為提高效率，并不是所有的書(shū)都會(huì)仔細(xì)看。而是將一些關(guān)聯(lián)度高的條目認(rèn)真閱讀，而關(guān)聯(lián)度低的條目做概要掃描，然后就就對(duì)檢索內(nèi)容有全面的了解，之后就可以開(kāi)始自動(dòng)生成相關(guān)的內(nèi)容。而注意力機(jī)制則是對(duì)應(yīng)落地實(shí)現(xiàn)的一種高效算法。

海量的數(shù)據(jù)加上注意力機(jī)制造就了現(xiàn)在的大模型，也把信息技術(shù)從智能1.0時(shí)代帶入到了智能2.0時(shí)代。

當(dāng)AI有了注意力機(jī)制，就不僅僅是算法，不僅僅是機(jī)器，有了注意力機(jī)制就有了學(xué)習(xí)能力，不斷的迭代。

現(xiàn)在的AI越來(lái)越像人了，以至于很多人害怕被AI替代，這個(gè)是有根據(jù)的，因?yàn)槿祟?lèi)的思考過(guò)程就是根據(jù)記憶包括已有的知識(shí)和經(jīng)驗(yàn)來(lái)進(jìn)行決策和判斷。

而AI現(xiàn)在有記憶，知識(shí)儲(chǔ)備上也大于人類(lèi)，通過(guò)不停的學(xué)習(xí)，在經(jīng)驗(yàn)上也超越人類(lèi)。

在決策判斷環(huán)節(jié)，AI在處理任務(wù)時(shí)，可以有意識(shí)地選擇最重要的信息，忽略不相關(guān)的干擾。而人類(lèi)的注意力機(jī)制則更加復(fù)雜和多變，受到情緒、環(huán)境、興趣和疲勞等多種因素的影響。

今天重點(diǎn)討論一下注意力

與AI相比，人類(lèi)的注意力可以主動(dòng)調(diào)節(jié)，但也容易被外界因素分散。

現(xiàn)在的人越來(lái)越難保持專(zhuān)注了，我們過(guò)去看長(zhǎng)視頻，看電影，后來(lái)看綜藝，再后來(lái)看短視頻，看抖音，15秒就需要一個(gè)刺激，我們?cè)絹?lái)越難在兩三個(gè)小時(shí)不去看手機(jī)了

為什么我們的專(zhuān)注力越來(lái)越弱，是因?yàn)楝F(xiàn)在的世界是被信息流覆蓋的世界，我們每天面對(duì)的是數(shù)以千計(jì)，數(shù)以萬(wàn)計(jì)的消息，我們的信息變得越來(lái)越快，每一份的時(shí)間變的越來(lái)越小，所以我們的注意力越來(lái)越散，我們要做的事情越來(lái)越多，導(dǎo)致我們的注意力越來(lái)越不夠用。

于是，我們?cè)絹?lái)越焦慮，越來(lái)越感到力不從心。

如何強(qiáng)化我們的注意力：

• 如是觀(guān)。要明白我們處于什么樣的時(shí)代。了解AI的注意力機(jī)制，知道自己的注意力都放在哪里。這意味著要時(shí)刻反思，我們的時(shí)間和精力都花在了什么地方。
• 知識(shí)庫(kù)。不斷更新自己的認(rèn)知，更新我們的知識(shí)庫(kù)，也就是讓自己的注意力權(quán)重，同時(shí)做減法，去掉不相關(guān)的事，不相關(guān)的念頭，有效的專(zhuān)注在更重要的事情上。
• 強(qiáng)心力。心力就是保持專(zhuān)注的能力，我們不停的刷抖音就是心力不足的結(jié)果，這就是獲取情緒價(jià)值來(lái)為心力買(mǎi)單。

參考書(shū)籍

《變革者：深度學(xué)習(xí)的未來(lái)》

“隨著注意力機(jī)制的不斷發(fā)展，它們將超越自然語(yǔ)言處理，成為包括計(jì)算機(jī)視覺(jué)和強(qiáng)化學(xué)習(xí)在內(nèi)的各種人工智能應(yīng)用的核心。”

《注意力危機(jī)》

“網(wǎng)絡(luò)似乎正在逐漸削弱我集中注意力和深思熟慮的能力。無(wú)論我是否在線(xiàn)，我的大腦現(xiàn)在都期望像網(wǎng)絡(luò)分發(fā)信息那樣快速接收信息：在快速移動(dòng)的粒子流中。”

《注意力革命》

“我們注意力的質(zhì)量決定了我們生活的質(zhì)量。當(dāng)我們的注意力不穩(wěn)定時(shí)，我們的生活也會(huì)不穩(wěn)定。但當(dāng)我們的注意力穩(wěn)定時(shí)，我們的生活也會(huì)變得穩(wěn)定?！?/p>

你的注意力是能讓你有所產(chǎn)出的唯一資源。

——李笑來(lái)