AI識別技術(shù),在改變?nèi)蛄髅襟w
文章從AI識別技術(shù)出發(fā),對其應(yīng)用進(jìn)行了分析探究。AI識別技術(shù)的商業(yè)應(yīng)用以視頻推薦和廣告投放為主,作者對其未來發(fā)展進(jìn)行了展望,與大家分享。
話說,最近這高質(zhì)量網(wǎng)綜也太多了吧,都看不過來!
我這時間,全耗在各種職場、偵探、語言、演技類節(jié)目里了。
那今天,咱就來說說,這些流媒體平臺吧。
我一直覺得啊,咱互聯(lián)網(wǎng)企業(yè)的“落地”能力,那是杠杠的。
同樣類型的App,對比國外App,國內(nèi)大廠總有各種新奇的功能,真引領(lǐng)世界。
周末,我看《奇葩說》的時候,就發(fā)現(xiàn)愛奇藝在推廣一個新玩意兒—— “掃一掃”。
視頻旁邊,會有個掃面按鈕。開始我還不知道,這是干嘛的。
點擊了之后才發(fā)現(xiàn),原來是對內(nèi)容掃描啊,進(jìn)行人臉識別。然后,會告訴你視頻里的人都是誰,還有相關(guān)百科。
哇,完美解決觀眾常見需求—— “這人誰???”。
仔細(xì)想想,技術(shù)上,還真挺難的。
要知道,這可不是機(jī)場里面那種 1:1 人臉識別,你可以正對著攝像頭,讓系統(tǒng)認(rèn)出來。
你看,誕總和蟲仔,視頻里根本沒看鏡頭,機(jī)器只能根據(jù)一部分側(cè)臉做出判斷。
在我看看來,類似“掃一掃”的創(chuàng)新功能,改變的可不僅僅是優(yōu)化用戶體驗。
通過這小小的功能,我看到的是全球流媒體平臺們暗潮涌動的技術(shù)整體實力的競爭,以及在“識別”這個動作下,人、場、物,正在技術(shù)賦予的想象力中串聯(lián)在一起。
來,我們先“認(rèn)識”一下
“掃一掃”是眾多AI在視頻里應(yīng)用的一個小例子,實際上,AI已經(jīng)充斥在視頻各個環(huán)節(jié)。
要讓AI得到更充分的應(yīng)用,第一步,當(dāng)然就是要認(rèn)識視頻里的內(nèi)容。
這個能力沒有,后面都沒法玩兒。
來,咱直接先看一個AI最復(fù)雜的應(yīng)用場景—— 藝術(shù)創(chuàng)作。
今年7月,Netflix財報披露:公司正在研究利用AI生成預(yù)告片。
很快,Netflix就可以快速、大量地,對海量內(nèi)容自動生成預(yù)告,質(zhì)量還非常高哦。
在降低剪輯師人工成本的同時,這千人千面的預(yù)告片,又會增加影片點擊率和觀看時長。
其實,在2016年時,21世紀(jì)??怂购虸BM就推出了Watson系統(tǒng)給自家的驚悚片Morgan自動生成預(yù)告片了,只不過不能像Netflix這大批量搞。
這背后的原理其實都類似,一共分兩步。
第一步,就是識別并理解內(nèi)容
把剪輯好的全片直接倒入,系統(tǒng)首先就會開始對內(nèi)容進(jìn)行識別。
比如,進(jìn)行復(fù)雜環(huán)境下的人臉識別,認(rèn)出演員是誰,還能知道誰是主角,誰是群演。
除了人,還會對景色、物體識別,貼上各種標(biāo)簽,比如“公園里”,“家里近景”等等。
另外,還會對臺詞和配樂分析,識別各個片段的情感,是驚悚還是溫情,一目了然。
這一過程想要做到詳細(xì),是很耗費時間的,因為要跟其他來源的數(shù)據(jù)對比。比如IBM的Watson,就需要24小時來完成。
第二步,就是根據(jù)既定工業(yè)化套路生成預(yù)告
比如,同樣是30秒的預(yù)告,可以有各種風(fēng)格,和各種模版音樂,按照相關(guān)標(biāo)準(zhǔn)生產(chǎn)即可,再根據(jù)用戶喜好投放。
假設(shè),讓你用AI剪輯沈騰的喜劇電影合集,那可以想象出來,這最起碼可以有“感人風(fēng)格”和“爆笑風(fēng)格”兩種模版。
上面這兩步里,第一步的“識別”是基礎(chǔ),第二步的“生成”則是應(yīng)用。
當(dāng)然,第一步最為重要也是必須,而且同一部影片,系統(tǒng)理解一次之后,結(jié)果可以重復(fù)利用,賦能更多應(yīng)用。
第一步的“識別”還真是“基礎(chǔ)武功”。正因如此重要,各大流媒體巨頭都在重點投入研發(fā)。
國內(nèi)方面,老大哥愛奇藝在研究識別這件事上下了大功夫。比如愛奇藝計算機(jī)視覺的研究成果多次被包含ICCV在內(nèi)的學(xué)術(shù)會議收錄,多次在挑戰(zhàn)賽獲獎。
愛奇藝還曾直接聯(lián)合了國內(nèi)外頂級視覺和多媒體會議,如PRCV2018和ACMMM,首次發(fā)起“多模態(tài)視頻人物識別挑戰(zhàn)賽”,還公布了全球最大的明星視頻數(shù)據(jù)集(iQIYI-VID),聯(lián)手產(chǎn)學(xué)研,取得突破。
你問啥是多模態(tài)識別?
簡單說,就是基于人臉、聲紋、姿態(tài)、場景等綜合識別,這樣一來,即使在暗光下、化濃妝、側(cè)臉等等,都能準(zhǔn)確識別,它對提升人物識別的精準(zhǔn)度非常重要,屬于AI領(lǐng)域中前沿的技術(shù)。
開頭提到“掃一掃”能識別半張臉的蟲仔,核心能力就來自于這兒。所以這些應(yīng)用看著好像沒什么,但沒點硬核技術(shù)還真不行。
比如愛奇藝辦的這兩場大賽,就讓它的人物識別精確度大幅提升。不然你以為一家娛樂公司為什么要天天搞技術(shù)研發(fā)。
當(dāng)AI系統(tǒng)“識別”了視頻內(nèi)容,那就算是“正式認(rèn)識”了。在之后,更多的應(yīng)用可能性,就可以展開了。
“認(rèn)識”之后,事兒了就好辦了
如何利用AI已經(jīng)“識別”好的視頻數(shù)據(jù)呢?
這時,就要想下流媒體平臺的位置了:鏈接「創(chuàng)作者」和「觀眾」。
對于「觀眾」們,就是要想辦法提高用戶觀影體驗,而對「創(chuàng)作者」,就可以幫助他們更快更方便的做出好內(nèi)容。
先看「觀眾」端。
有了識別的信息以后,最簡單的應(yīng)用就是…直接把結(jié)果顯示給用戶唄。比如,文章開頭提到的“掃一掃”。
TV端也有類似的,比如奇異果AI雷達(dá)—— 顯示明星信息,進(jìn)入泡泡社區(qū)等。
其他相關(guān)的應(yīng)用還有——「只看TA」,騰訊視頻和愛奇藝也都支持。
點了之后,用戶就可以只看自己愛豆的cut了,比如看一萬遍“坤坤唱跳籃球Rap”合集。這背后,就是利用了各種識別技術(shù),人臉、表情、場景等等。
誒?于此推演,我有一個腦洞。
那就是,“只-不看TA”。想一下,是不是對于某些劇啊,綜藝啊,你老覺得有些地方比較多余?比如,《親愛的》里面的回憶畫面,還有《破冰》里面的陳珂。是不是感覺,你需要這個功能。
其他的,還有對特定人群的使用優(yōu)化,比如騰訊視頻的兒童模式保護(hù),愛奇藝的AI手語主播片段生成,B站等彈幕網(wǎng)站的智能防擋臉功能等等。
好,那再來看看對「創(chuàng)作者」的應(yīng)用。
上面提到的預(yù)告片自動剪輯,就是一個高級的例子。
國內(nèi)方面,AI也已經(jīng)被主要用到兩個方面:智能選角色,還有,智能剪輯。
AI選角,可以根據(jù)劇情需要和演員信息智能匹配,大大提升選人效率和成功率。愛奇藝的“藝匯”和優(yōu)酷的“魚腦”系統(tǒng),都已經(jīng)正式商用。
選角的結(jié)果,就有《泡沫之夏》的張雪迎、《最好的我們》的劉昊然,還有《長安十二時辰》的雷佳音等等。
剪輯方面,目前已經(jīng)商用的,更多的,是一個“助手”角色。比如,拍真人秀的時候,需要FollowPD時刻記錄,還要后期各種人工打標(biāo)簽,剪輯的時候超級費勁。
有了AI的加持,系統(tǒng)可以快速掃描內(nèi)容,然后按照明星角色分類,還可以識別各類場景,甚至人物的語言和情緒,給各個片段都打上有用的標(biāo)簽。
比如,在《中國新說唱》后期制作的時候,AI就幫助剪輯師通過特定標(biāo)簽,精準(zhǔn)找到需要片段內(nèi)容,數(shù)秒內(nèi)就可以調(diào)出特定人物素材,大大縮短制作時間。
類似的系統(tǒng)和功能,國內(nèi)各大產(chǎn)都有投入,愛奇藝的智能剪輯,騰訊智能云剪輯,優(yōu)酷的鯨觀剪輯等等。
當(dāng)然,AI的能力不僅在于提升體驗,最重要的,還是幫平臺賺錢。
“識別”與流媒體平臺的“賺錢引擎”
AI怎么幫流媒體平臺賺錢?這里有兩個重點應(yīng)用:視頻推薦以及,廣告投放。
當(dāng)然,這背后都有統(tǒng)一的關(guān)鍵詞“匹配”——內(nèi)容和人,廣告和人。
當(dāng)用戶能更快的看到自己想看的內(nèi)容,會員就會不退訂。當(dāng)用戶能發(fā)現(xiàn)自己喜歡的商品,廣告主就不會停止花錢,這樣整個機(jī)器就會運轉(zhuǎn)。
根據(jù)Netflix,其平臺80%的觀看量都來自于推薦引擎。他們希望用戶能在1分鐘之內(nèi)開始觀看節(jié)目,否則用戶很有可能會有關(guān)掉整個App。
除了常見的,在網(wǎng)站和App上,根據(jù)推薦位的權(quán)重不同,以及用戶的喜好程度推薦視頻之外,Netflix還可以利用智能識別到的視頻圖像信息,生成個性化的視頻封面。
比如,一部劇里有很多演員,Netflix會先“識別”出不同的角色和演員,之后專門用你喜歡的演員當(dāng)封面,類似的還可以應(yīng)用在不同場景和色調(diào)上。
比如下面這個《奇怪物語》,就可以生成無數(shù)種不同的封面,角色、場景都不同。
另外,還可以根據(jù)你看視頻的時間和歷史內(nèi)容,體會你的心情變化,推薦不同的視頻。比如,一部電影可以有「浪漫」和「驚險」兩種風(fēng)格的封面。你大半夜的,剛看完一部恐怖片,那就會給你用浪漫風(fēng)格推薦,平復(fù)一下心情。
國內(nèi)方面,推薦能力各家均有部署。
愛奇藝推出了個性化海報,可以根據(jù)用戶的喜好,“識別”用戶喜歡的海報并推送。去年3月,奇異果TV的首頁個性化長視頻推薦功能落地,為用戶提供千人千面的推薦服務(wù)。
除了賣會員,廣告也是流媒體平臺的重要盈利方式。
在之前,視頻的貼片廣告,就只是隨便地插入到視頻里,再正常播放就完事了。廣告和視頻本身幾乎分離,用戶體驗很差,廣告轉(zhuǎn)化率也很低。
后來,YouTube和愛奇藝等頭部企業(yè),探索了智能廣告插入點,也就是,在適合的情況下插入廣告,以減少用戶體驗的損失。
最近兩年,大家又開始探索,怎樣能讓廣告也和視頻內(nèi)容完美切合。
比如,愛奇藝的創(chuàng)可貼廣告,會根據(jù)AI對視頻內(nèi)容“識別”的結(jié)果,比如不同的場景、角色、演員、情緒、動作、臺詞等,選取廣告點位。
之后,在影片播放過程中,以浮層展示不同品牌形象的廣告。
基于不同劇情而推送的廣告,其內(nèi)容與視頻情節(jié)有了關(guān)聯(lián),用戶體驗和商品轉(zhuǎn)化率都大幅提升。
去年爆款大劇《延禧攻略》上,這類情景廣告就有廣泛應(yīng)用,大受廣告主喜愛。
看到愛奇藝最新的“掃一掃”功能,我覺得,全新“電視購物”的時代要來了。
自動識別內(nèi)容+ 電商鏈接,絕對是一個新亮點。隨便看一個什么綜藝啊,現(xiàn)代劇啊,就約等于電視購物。
看到節(jié)目里面的明星們,在穿啥用啥吃啥,你突然種草了的話,那就直接“掃一掃”視頻畫面唄,然后你會知道這些商品是什么,然后去直接購買。
這一定是一個新的電商流量入口,再也不用自己去搜什么“xx同款”了?;跍?zhǔn)確的識別,實現(xiàn)了人、貨、場的連接。
國際方面,YouTube在2017年就嘗試廣告內(nèi)容個性化方案,推出Director Mix工具,方便讓廣告主根據(jù)不用用戶定制化廣告。
比如,同樣一款湯類產(chǎn)品的廣告:
- 如果你在看《星際穿越》,那么貼片的廣告語就會是“感到世界之外的饑餓了嗎?”
- 而如果你在看《女子監(jiān)獄》,廣告語就變成了“牢里的飯不好吃?我們的湯好吃。”
- 要是你在看碧昂斯的《SingleLady》,那就說“一個人吃晚飯?”
根據(jù)YouTube,這種和視頻內(nèi)容極度切合的廣告方案,讓這款新的湯品的品牌認(rèn)知度提升55%。
“識別”技術(shù)和未來
AI在流媒體中的應(yīng)用,重點就是視頻識別技術(shù)的各種落地。
從Netflix和愛奇藝等中美流媒體巨頭的動作,我們可以看出這些年的布局特點。
首先,重點鋪研發(fā)。從Netflix早年舉辦轟動業(yè)界的百萬美金推薦引擎大賽,到愛奇藝最近的識別大賽,都是企業(yè)在貼近學(xué)界,布局基礎(chǔ)能力。
之后,要利用識別到的數(shù)據(jù),展開落地應(yīng)用探索。流媒體們,作為中間平臺,向下游,要嘗試提升用戶體驗的功能,向上游,則要方便節(jié)目選角和影片制作。
重點,是要通過強大的AI能力來賺錢,更好的推薦引擎,更優(yōu)化的廣告技術(shù)甚至嘗試融合電商,都是流媒體們商業(yè)化探索的成果。
2019年,隨著蘋果TV+和迪士尼+正式商用,流媒體的競爭更激烈了。
流媒體的競賽,除了內(nèi)容自制和版權(quán)領(lǐng)域外,最大的戰(zhàn)場就在AI,就在視頻識別能力的突破,以及像樣兒的落地應(yīng)用。
5G時代下,沒有卡頓的體驗和越來越強的AI,將會把用戶的最后一滴時間“榨干”,你準(zhǔn)備好了嗎?
#專欄作家#
Han,著有《硅谷思維》一書,微信公眾號:涵的硅谷成長筆記(ID:HanGrowth),人人都是產(chǎn)品經(jīng)理專欄作家。硅谷一線工程師,專注電商、零售、社交、商業(yè)化、人工智能等領(lǐng)域。
本文由 @Han 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自Unsplash,基于CC0協(xié)議
厲害了,讓我大開腦洞