隨著國(guó)家大戰(zhàn)略的需求和創(chuàng)投生態(tài)的發(fā)展，如何提升學(xué)術(shù)研究的能力和研究成果在產(chǎn)業(yè)端的價(jià)值，這是一個(gè)值得思考和探討的話題。本文作者分享了一篇來自John Schulman關(guān)于機(jī)器學(xué)習(xí)領(lǐng)域的研究思考內(nèi)容，希望能給你帶來一些啟發(fā)。

因?yàn)樽鲈缙陲L(fēng)險(xiǎn)投資，讓我有大量的時(shí)間與許多優(yōu)秀的創(chuàng)始人打交道。尤其是近一年來，在與一些院士和優(yōu)秀科研團(tuán)隊(duì)的共事中，我們一起嘗試跨越從學(xué)術(shù)研究到產(chǎn)業(yè)轉(zhuǎn)化的鴻溝，探索將研究成果通過商業(yè)化公司發(fā)展的最佳實(shí)踐。

通常來說，企業(yè)的創(chuàng)始人和科研學(xué)者完全是兩類人，但這兩類人群中的優(yōu)秀者也有一些共性的特征。他們都需要面對(duì)高失敗率的挑戰(zhàn)，他們的成功都建立在找到所處領(lǐng)域的最重要的問題，并找到其解決方案。

隨著國(guó)家大戰(zhàn)略的需求和創(chuàng)投生態(tài)的發(fā)展，如何提升學(xué)術(shù)研究的能力和研究成果在產(chǎn)業(yè)端的價(jià)值是很值得思考和討論的話題。

今天分享一篇來自John Schulman關(guān)于機(jī)器學(xué)習(xí)領(lǐng)域的研究思考內(nèi)容，希望能起到拋磚引玉的作用。也許你對(duì)John有些許陌生，但他作為聯(lián)合創(chuàng)始人創(chuàng)立的OpenAI目前是全球最受矚目的科技公司，John Schulman也是強(qiáng)化學(xué)習(xí)領(lǐng)域中最有話語權(quán)的學(xué)者之一。

在這篇內(nèi)容中，John基于自己長(zhǎng)時(shí)間從事研究的經(jīng)驗(yàn)對(duì)機(jī)器學(xué)習(xí)提出了寶貴的建議。在John看來，研究中至關(guān)重要的是選擇解決正確的問題，持之以恒的在這些問題上取得進(jìn)步，并實(shí)現(xiàn)高速的個(gè)人成長(zhǎng)，希望這篇內(nèi)容能給您帶來思考與啟發(fā)。

成功的關(guān)鍵是解決正確的問題、在這些問題上不斷進(jìn)步、并實(shí)現(xiàn)持續(xù)的個(gè)人成長(zhǎng)。這篇文章由三部分組成，每一部分都涵蓋了其中的一個(gè)主題。

先花幾分鐘時(shí)間討論一下ML中的哪些發(fā)現(xiàn)和成就對(duì)你來說是最有趣、最有價(jià)值的。想想它們?yōu)槭裁慈绱送怀觥驗(yàn)樗且粋€(gè)改變你想法的突破性結(jié)果；或者因?yàn)樗且粋€(gè)可重復(fù)使用的算法；還是因?yàn)樗鼘?duì)一些反復(fù)出現(xiàn)的問題有深刻見解？你應(yīng)該渴望產(chǎn)生這樣的結(jié)果、算法和見解。

01 選擇問題

提高你的品味——選擇去解決什么問題的能力比你本身具有的技能更重要。通過觀察哪些想法成功了、哪些想法被忘掉了，就能逐漸形成你對(duì)問題對(duì)品味。你會(huì)看到哪些問題能產(chǎn)生新想法并獲得成果，哪些因?yàn)樘珡?fù)雜或太脆弱，或者因?yàn)樵隽扛倪M(jìn)太小而被忽略。

如何快速培養(yǎng)對(duì)問題的品味，其實(shí)有幾個(gè)好辦法：

1）閱讀大量論文，并對(duì)其進(jìn)行批判性評(píng)估。如果可能的話，與對(duì)該主題有深入了解的人討論它們。

2）加入研究小組中與其他人一起研究類似的課題。這樣你們就可以吸取彼此的經(jīng)驗(yàn)。

3）向有經(jīng)驗(yàn)的研究人員尋求建議。當(dāng)你決定做哪一項(xiàng)研究，以及你在這項(xiàng)研究上表現(xiàn)如何時(shí)，你的技能就該發(fā)揮作用了。

4）花時(shí)間思考什么研究是有用的和有成果的。思考以下幾個(gè)問題：

• 理論什么時(shí)候有用？
• 實(shí)證結(jié)果何時(shí)可以轉(zhuǎn)化？
• 是什么原因?qū)е乱恍┫敕ū粡V泛接受，而另一些卻被遺忘？
• 你所在領(lǐng)域的趨勢(shì)如何？哪些研究會(huì)淘汰其他研究？

第1-3項(xiàng)需要優(yōu)化環(huán)境和其他研究人員給你信息，而第4項(xiàng)是你自己要做的事情。作為1-3重要性的經(jīng)驗(yàn)證據(jù)，考慮一下最具影響力的研究是如何緊密聚集在少數(shù)研究團(tuán)體和機(jī)構(gòu)中的。

這并不是因?yàn)檫@些人比其他人聰明得多，而是因?yàn)樗麄儞碛懈呙芏鹊膶I(yè)知識(shí)和觀點(diǎn)，這使他們比社群中的其他人領(lǐng)先一點(diǎn)，因此他們?cè)诋a(chǎn)生新結(jié)果方面占據(jù)主導(dǎo)地位。

如果你沒有足夠的幸運(yùn)處在一個(gè)相關(guān)專業(yè)知識(shí)高度密集的環(huán)境中，不要絕望。你只需要格外努力，就能走在眾人的前面，而且特別重要的是，要專門化和發(fā)展你自己獨(dú)特的視角。

1. 研究：想法驅(qū)動(dòng)VS目標(biāo)驅(qū)動(dòng)

簡(jiǎn)單地說，有兩種不同的方式可以讓你決定下一步做什么。

1）想法驅(qū)動(dòng)

遵循文獻(xiàn)的某些部分。當(dāng)你閱讀一篇關(guān)于如何做XX的論文時(shí)，有了如何做得更好的想法，然后著手一個(gè)項(xiàng)目來測(cè)試你的想法。

2）目標(biāo)驅(qū)動(dòng)

設(shè)定一個(gè)愿景，比如你想要為人工智能賦予一些新的能力，然后去解決讓你更接近目標(biāo)的問題。（下面，我給出了幾個(gè)我自己的研究案例，包括使用強(qiáng)化學(xué)習(xí)進(jìn)行3D人形運(yùn)動(dòng)的目標(biāo)。） 在你的實(shí)驗(yàn)中，你可以測(cè)試文獻(xiàn)中的各種現(xiàn)有方法，然后開發(fā)出自己的改進(jìn)方案。

當(dāng)然，這兩種方法并不相互排斥。任何給定的ML（MachineLearning機(jī)器學(xué)習(xí)）子空間都與一些目標(biāo)有關(guān)（例如，目標(biāo)檢測(cè)）。任何“想法驅(qū)動(dòng)”的項(xiàng)目都將代表該子空間目標(biāo)的進(jìn)展，因此在某種意義上，它是目標(biāo)驅(qū)動(dòng)研究的一個(gè)實(shí)例。但在這里，我會(huì)把目標(biāo)驅(qū)動(dòng)研究理解為你的目標(biāo)比你整個(gè)子空間的目標(biāo)更具體，更像是讓X第一次發(fā)揮作用，而不是讓X更好地發(fā)揮作用。

我個(gè)人建議大多數(shù)人進(jìn)行目標(biāo)驅(qū)動(dòng)的研究，我自己也一直遵循這個(gè)策略。

想法驅(qū)動(dòng)型研究的主要風(fēng)險(xiǎn)在于很可能會(huì)被搶先或重復(fù)他人研究。世界各地的研究人員都在閱讀相同的文獻(xiàn)，所以他們有相似的想法。為了在想法驅(qū)動(dòng)的研究中取得突破，你不僅要對(duì)你的主題有非常深刻的理解，還要與社群其他人有不同的觀點(diǎn)——有些人可以做到，但很難。

另一方面，有了目標(biāo)驅(qū)動(dòng)的研究，你的目標(biāo)會(huì)給你一個(gè)不同于社群其他人的視角。它會(huì)引導(dǎo)你問別人沒有問過的問題，使你取得更大的進(jìn)步。目標(biāo)驅(qū)動(dòng)的研究也更有激勵(lì)性。每天早上醒來，你可以想象你的目標(biāo)實(shí)現(xiàn)時(shí)會(huì)是什么樣子，你會(huì)有什么感覺。這樣會(huì)讓堅(jiān)持一個(gè)有起有落的長(zhǎng)期研究項(xiàng)目變得更加容易。目標(biāo)也能使一組研究人員合作，攻克一個(gè)問題的不同方面，而想法驅(qū)動(dòng)的研究最好由1-2人的“團(tuán)隊(duì)”組成。

2. 目標(biāo)驅(qū)動(dòng)研究案例：我在研究生院期間的研究

在我博士的前半部分，我的目標(biāo)是讓機(jī)器人能夠操縱可變形的物體——包括外科手術(shù)機(jī)器人打結(jié)、家用機(jī)器人疊衣服。雖然這個(gè)目標(biāo)是由我的顧問Pieter Abbeel確定的，這也是他實(shí)驗(yàn)室的主要目標(biāo)，但我對(duì)如何實(shí)現(xiàn)這個(gè)目標(biāo)有著自己的看法——我的方法是基于從人類演示中學(xué)習(xí)，從解決讓PR2在繩子上打結(jié)的問題開始。然后出現(xiàn)了各種意想不到的子問題，其中一個(gè)就是軌跡優(yōu)化，在這個(gè)子問題上獲得的成果，最后成為了“打結(jié)項(xiàng)目”最有影響力的產(chǎn)品。

在博士的后半段，我對(duì)強(qiáng)化學(xué)習(xí)產(chǎn)生了興趣。雖然強(qiáng)化學(xué)習(xí)可以應(yīng)用到很多領(lǐng)域，但是我決定專注于機(jī)器人運(yùn)動(dòng)，因?yàn)檫@是一個(gè)具體的目標(biāo)，結(jié)果也足以讓我振奮。

具體來說，我的目標(biāo)是讓一個(gè)3D機(jī)器人使用強(qiáng)化學(xué)習(xí)從頭開始學(xué)習(xí)跑步。經(jīng)過初步探索，我決定將重點(diǎn)放在策略梯度方法上，因?yàn)樗鼈兯坪踝钸m合理解和數(shù)學(xué)分析，而且我可以利用我的優(yōu)勢(shì)進(jìn)行優(yōu)化。在這期間，我開發(fā)了TRPO和GAE，最終實(shí)現(xiàn)了3D仿人運(yùn)動(dòng)的最初目標(biāo)。

通過運(yùn)用策略梯度方法研究運(yùn)動(dòng)，我獲得了第一個(gè)成果，DeepMind團(tuán)隊(duì)使用雅達(dá)利的DQN展示了這些成果。隨之，許多人加入了這股潮流，并試圖開發(fā)更好的Q-learning版本，并將它們應(yīng)用到Atari領(lǐng)域。

然而，我已經(jīng)探索了Q-learning并得出結(jié)論，對(duì)于我正在研究的運(yùn)動(dòng)任務(wù)來說，這不是一個(gè)好方法，所以我繼續(xù)研究策略梯度方法，所以才有了TRPO、GAE和后來的PPO——現(xiàn)在是我最著名的作品。從這個(gè)例子可以看出，從社群的其他問題中選擇一個(gè)不同的問題是如何引導(dǎo)你探索不同的想法的。

3. 目標(biāo)驅(qū)動(dòng)研究案例：把自己限制在通解上

目標(biāo)驅(qū)動(dòng)研究的一個(gè)陷阱是把你的目標(biāo)看得太字面。如果你心中有一個(gè)特定的能力，可能有一些方法來實(shí)現(xiàn)它，但這種方法并不有趣，也不會(huì)推進(jìn)機(jī)器學(xué)習(xí)領(lǐng)域。你應(yīng)該把你的研究限制在那些看起來通用的、可以應(yīng)用于其他問題的解決方案上。

例如，在研究機(jī)器人運(yùn)動(dòng)時(shí)，我避免將領(lǐng)域信息納入解決方案——目標(biāo)是在模擬中實(shí)現(xiàn)運(yùn)動(dòng)，這是一種通用的方法，可以應(yīng)用于其他問題。為了看到生命的最初跡象，我做了一些特征工程和獎(jiǎng)勵(lì)塑造，但我小心翼翼讓我的更改保持簡(jiǎn)單，不讓它們影響我正在開發(fā)的算法。

現(xiàn)在，我把視頻游戲作為一個(gè)試驗(yàn)平臺(tái)，我敢說我的算法思想不是專門針對(duì)這種環(huán)境的——它們同樣可以很好地應(yīng)用于機(jī)器人。

4. 志存高遠(yuǎn)，逐步向更高的目標(biāo)攀登

有時(shí)候，那些既聰明又勤奮的人做不出偉大的研究。在我看來，失敗的主要原因是他們過于關(guān)注不重要的問題。當(dāng)你著手一個(gè)研究項(xiàng)目時(shí)，你應(yīng)該問自己：潛在的上升空間有多大？會(huì)有10%的改進(jìn)還是10倍的改進(jìn)？我經(jīng)?？吹窖芯咳藛T接手看似合理的項(xiàng)目，但只能對(duì)某些指標(biāo)產(chǎn)生微小的改進(jìn)。

在你試圖實(shí)現(xiàn)的更大目標(biāo)的背景下，增量研究（那些10%的改進(jìn)）是最有用的。例如，關(guān)于使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行ImageNet分類的開創(chuàng)性論文（Krizhevsky，Sutskever，& Hinton，2012年）不包含任何全新的算法組件，相反，它累積了大量的小改進(jìn)，實(shí)現(xiàn)了前所未有的結(jié)果，這在當(dāng)時(shí)幾乎出乎所有人的意料（盡管我們現(xiàn)在認(rèn)為這是理所當(dāng)然的）。

在你的日常研究中，你會(huì)在表現(xiàn)和理解方面不斷進(jìn)步。但是這些小步驟會(huì)讓你朝著一個(gè)更大的目標(biāo)前進(jìn)，這個(gè)目標(biāo)代表著一種非漸進(jìn)式的進(jìn)步。

如果你正在研究增量思維，要知道它們的有用性取決于它們的復(fù)雜性。在基線上稍微改進(jìn)的方法最好非常簡(jiǎn)單，否則沒有人會(huì)費(fèi)心去使用它——甚至是你。如果有10%的改進(jìn)，最好是2行代碼，而如果有50%的改進(jìn)，可以增加10行代碼，等等。（我給出這些數(shù)字只是為了說明，實(shí)際數(shù)字顯然取決于域。）

02 不斷進(jìn)步

要在機(jī)器學(xué)習(xí)中開發(fā)新的算法和見解，需要長(zhǎng)時(shí)間專注于一個(gè)問題。這一部分是關(guān)于在這個(gè)長(zhǎng)期解決問題的過程中如何培養(yǎng)有效的習(xí)慣，讓你不斷地朝著好的結(jié)果前進(jìn)。

1. 使用一個(gè)筆記本，并經(jīng)常翻閱它

我強(qiáng)烈建議你用一個(gè)筆記本來記錄你每天的想法和實(shí)驗(yàn)。我在研究生院學(xué)習(xí)了5年，在OpenAI學(xué)習(xí)了2年，我覺得這非常有幫助。

我每一天都會(huì)創(chuàng)建一個(gè)條目。在這個(gè)條目中，我會(huì)寫下我正在做的事情、我的想法和實(shí)驗(yàn)結(jié)果（粘貼在圖和表中）。每隔1或2周，我會(huì)做一個(gè)回顧，閱讀我所有的日常記錄，并將信息濃縮成一個(gè)摘要。通常我的回顧包含實(shí)驗(yàn)發(fā)現(xiàn)、見解（可能來自我、我的同事或我讀到的東西）、代碼進(jìn)度（我實(shí)現(xiàn)了什么）和后續(xù)步驟/未來研究的部分。

做完一周的回顧后，我經(jīng)常會(huì)回顧前一周，看看我是否跟進(jìn)了那一周我想到的所有事情。此外，在做這個(gè)回顧時(shí)，我有時(shí)會(huì)將信息轉(zhuǎn)移到其他筆記來源。（例如，我將backburner想法和項(xiàng)目的列表與筆記本分開保存。）

2. 保留這個(gè)筆記本并定期檢查有什么價(jià)值？

首先，筆記本是一個(gè)很好的工具，當(dāng)你有想法的時(shí)候就把它們寫下來，這樣你以后就可以重溫它們了。當(dāng)我回顧這周的日志時(shí)，我通常會(huì)補(bǔ)上一個(gè)當(dāng)時(shí)沒有想到的內(nèi)容。

第二，筆記本幫助你把你的實(shí)驗(yàn)結(jié)果保存在一個(gè)統(tǒng)一的地方，這樣你以后可以很容易地找到結(jié)果。你可能很容易忘記一些結(jié)論，比如哪些超參數(shù)產(chǎn)生了影響，這時(shí)你就會(huì)想要重新翻閱舊筆記本中的條目。

第三，筆記本可以讓你檢測(cè)自己的時(shí)間使用。你如果想知道“上周進(jìn)行到哪里了？”，筆記本會(huì)幫你回答這個(gè)問題。

你可能會(huì)不滿意自己的吞吐量，并意識(shí)到需要優(yōu)化你的時(shí)間管理。你也可能在幾個(gè)月后回顧過去，意識(shí)到你在想法之間搖擺不定——你有幾個(gè)半成品項(xiàng)目，但是你沒有足夠長(zhǎng)的時(shí)間根據(jù)它們來產(chǎn)生顯著的成果。

3. 何時(shí)切換問題

要解決一個(gè)具有挑戰(zhàn)性的問題，你需要花足夠的時(shí)間。但在經(jīng)驗(yàn)機(jī)器學(xué)習(xí)研究中，很難知道你是否已經(jīng)足夠努力地嘗試了一個(gè)想法。有時(shí)候這個(gè)想法有可能行得通，但是如果你弄錯(cuò)了一個(gè)細(xì)節(jié)，你就看不到任何生命跡象。但是其他的想法無論你如何努力都注定要失敗。

根據(jù)我的經(jīng)驗(yàn)，相比問題切換不夠，過于頻繁地切換問題（并放棄有前途的想法）是更常見的失敗模式。通常，當(dāng)你正在為實(shí)現(xiàn)當(dāng)前想法而付出漫長(zhǎng)的努力時(shí)，另一個(gè)有希望的想法會(huì)出現(xiàn)，你會(huì)想跳到那個(gè)想法。如果你可以迅速嘗試這個(gè)想法，而且潛在的上升空間很大，那么就去做吧。但更常見的是，你對(duì)新想法的最初結(jié)果會(huì)令人失望，需要更持久的努力才能產(chǎn)生顯著的結(jié)果。

作為一個(gè)經(jīng)驗(yàn)法則，當(dāng)你回顧你幾個(gè)月來一直在做的項(xiàng)目時(shí)，你應(yīng)該會(huì)發(fā)現(xiàn)有很多小的死胡同，但是你的大部分時(shí)間都花在了可以交付成果的項(xiàng)目上，比如一篇論文或者一篇博文。

如果你回顧你的時(shí)間，發(fā)現(xiàn)很大一部分都花在了半成品項(xiàng)目上——這算不上明確的失敗，而是你為了一些新想法所放棄的——那你以后應(yīng)該更加努力地保持一致性，學(xué)會(huì)堅(jiān)持到底。

還有一個(gè)我沒親自嘗試過的策略，但經(jīng)過思考后我認(rèn)為它很有意義，那就是投入一些固定的時(shí)間預(yù)算去嘗試與你的研究主線不同的新想法。比方說，每周花一天時(shí)間做一些與主項(xiàng)目完全不同的事情。這將構(gòu)成一種無限的探索，也有助于拓寬你的知識(shí)面。

03 個(gè)人能力發(fā)展

無論你在研究過程中如何分配時(shí)間，你一定會(huì)學(xué)到很多東西。每個(gè)項(xiàng)目都會(huì)帶來新的挑戰(zhàn)，你可以在這個(gè)過程中獲得背景材料和技能。然而，長(zhǎng)遠(yuǎn)來看，通過定期為個(gè)人發(fā)展留出時(shí)間，可以顯著提高做好研究的機(jī)會(huì)。

具體來說，你應(yīng)該分配一部分時(shí)間來提高你對(duì)ML（MachineLearning機(jī)器學(xué)習(xí)）的通用知識(shí)，而不是只專注于你當(dāng)前的項(xiàng)目。如果你不分配這些時(shí)間，那么在你學(xué)會(huì)日常研究所需的基礎(chǔ)知識(shí)后，你的知識(shí)可能會(huì)停滯不前。適應(yīng)你所熟悉的方法的舒適區(qū)并不難，你需要積極努力去擴(kuò)展這個(gè)舒適區(qū)。

建立你的ML（MachineLearning機(jī)器學(xué)習(xí)）知識(shí)的主要方法是閱讀教科書和論文；并從這些資源中重建算法。在職業(yè)生涯的早期，我建議把時(shí)間平均分配在課本和論文上。你應(yīng)該選擇一小部分相關(guān)的教科書和論文來逐步研究，你也應(yīng)該重建你最喜歡的論文中的模型和算法。

大多數(shù)機(jī)器學(xué)習(xí)的學(xué)生在完成他們的學(xué)校課程后，不會(huì)花時(shí)間閱讀教科書。我認(rèn)為這樣是不對(duì)的，因?yàn)榻炭茣潜日撐母芗闹R(shí)吸收方式。每篇會(huì)議論文通常包含一個(gè)主要的新觀點(diǎn)，以及一個(gè)極其簡(jiǎn)潔的研究背景，從中無法學(xué)到任何東西，需要你花更多的時(shí)間去理解符號(hào)和術(shù)語，而不是概念本身。另一方面，好的教科書收集了幾十年的想法，并用相同的符號(hào)按適當(dāng)?shù)捻樞虺尸F(xiàn)出來。

除了閱讀機(jī)器學(xué)習(xí)入門教材，還要閱讀你感興趣領(lǐng)域的其他書籍。我最喜歡的幾本書是Nocedal & Wright的《數(shù)值最優(yōu)化》，以及Cover & Thomas的《信息論基礎(chǔ)》。

除了課本，我推薦你閱讀感興趣的研究人員的博士論文。ML（MachineLearning機(jī)器學(xué)習(xí)）中的博士論文通常按以下順序排列:

1. 介紹性和背景材料
2. 之前在會(huì)議上發(fā)表的幾篇論文（據(jù)說你只需將你的論文“釘在一起”就可以寫論文了）
3. 結(jié)論和展望?

你可能會(huì)從第（1）和第（3）部分中受益頗深，因?yàn)樗鼈儼艘粋€(gè)由專家撰寫的關(guān)于該領(lǐng)域過去和未來的統(tǒng)一觀點(diǎn)。最新論文通常是找到一個(gè)活躍領(lǐng)域文獻(xiàn)綜述的最好地方，但是舊的論文也經(jīng)常包含有價(jià)值的觀點(diǎn)。

教科書和論文有助于積累你的基礎(chǔ)知識(shí)，但是你也需要閱讀大量的論文來將你的知識(shí)提升到前沿。當(dāng)你剛剛開始研究生涯時(shí)，我建議花大量時(shí)間重現(xiàn)論文中的想法，并將你的結(jié)果與發(fā)表的結(jié)果進(jìn)行比較。

首先，與被動(dòng)閱讀相比，這會(huì)讓你對(duì)主題有更深刻的理解。

第二，你將獲得實(shí)踐經(jīng)驗(yàn)，并且通過重現(xiàn)現(xiàn)有的研究（期望的性能水平是已知的），你將獲得比做原始研究更快的反饋。一旦你可以很容易地復(fù)制最先進(jìn)的技術(shù)，就可以準(zhǔn)備好超越它。

除了閱讀開創(chuàng)性的論文并重建它們，你還應(yīng)該跟蹤你的領(lǐng)域中發(fā)表的不那么優(yōu)秀的論文。用批判的眼光閱讀論文有助于你注意到你所在領(lǐng)域的趨勢(shì)（也許你注意到許多論文使用了一些新技術(shù)并取得了良好的成果——也許你應(yīng)該探索一下）。

它還可以通過觀察想法的依賴圖來建立自己的品味——哪些想法得到了廣泛應(yīng)用，并為其他想法打開了大門。

去做偉大的研究吧！?