在音視頻技術(shù)不斷發(fā)展的今天，釘釘團(tuán)隊(duì)一直在探索如何通過(guò)創(chuàng)新技術(shù)提升用戶(hù)體驗(yàn)。本文將介紹釘釘在iOS雙攝像頭技術(shù)上的最新應(yīng)用，這一創(chuàng)新不僅解決了直播場(chǎng)景中的多畫(huà)面需求，還為用戶(hù)提供了更豐富的交互體驗(yàn)。

釘釘一個(gè)小小的創(chuàng)新，分享給你大家～

大家好，我是鈞小鴻，是一名釘釘音視頻直播 iOS 開(kāi)發(fā)工作者。在日常工作中，我們除了支撐好業(yè)務(wù)工作外，我們音視頻端團(tuán)隊(duì)還會(huì)實(shí)時(shí)關(guān)注 iOS 等蘋(píng)果技術(shù)的發(fā)展動(dòng)向：比如畫(huà)中畫(huà)、iPad 分屏、靈動(dòng)島、視頻效果等等，并針對(duì)這些不同的新特性、新技術(shù)和相關(guān)業(yè)務(wù)結(jié)合，從而能做出更好的體驗(yàn)、更優(yōu)秀的產(chǎn)品。比如去年釘釘和蘋(píng)果合作適配 Apple Vision Pro（釘釘正式登陸蘋(píng)果Vision Pro），結(jié)合這種新型設(shè)備，可以讓虛擬人分身參與會(huì)議、觀(guān)看大屏直播。那這次，我們還要進(jìn)行哪些原生應(yīng)用創(chuàng)新的探索呢？跟著我一起往下看??

一、雙攝像頭操作在直播場(chǎng)景的訴求

考慮一個(gè)場(chǎng)景，在部門(mén)直播一場(chǎng)籃球賽的熱場(chǎng)直播階段，攝像頭除了抓取球場(chǎng)的畫(huà)面，主播也會(huì)去采訪(fǎng)現(xiàn)場(chǎng)觀(guān)眾。我們收到同事的反饋，“我只有一個(gè)手機(jī)，沒(méi)法直播拍攝兩個(gè)畫(huà)面”“多機(jī)位多畫(huà)面的直播，那不得要用專(zhuān)業(yè)設(shè)備啊”。

的確，現(xiàn)在在一些知名視頻網(wǎng)站上，越來(lái)越多的解說(shuō)視頻里解說(shuō)畫(huà)面和視頻畫(huà)面同時(shí)出現(xiàn)的。觀(guān)眾對(duì)解說(shuō)的訴求已經(jīng)不僅僅停留在聽(tīng)聲音，大家也喜歡看到解說(shuō)的神態(tài)表情等肢體畫(huà)面。那么這個(gè)問(wèn)題是否能解決呢？

用一個(gè)手機(jī)，既能充分進(jìn)行賽事直播，又能看到主播酣暢淋漓地進(jìn)行講解。

答案當(dāng)然是可以的。

二、蘋(píng)果視頻攝像頭技術(shù)發(fā)展

作為音視頻的開(kāi)發(fā)，我會(huì)重點(diǎn)關(guān)注蘋(píng)果在視頻相關(guān)的一些技術(shù)迭代，比如畫(huà)中畫(huà)、視頻效果、攝像頭等等。音視頻中聲音保證了最基本的溝通和傳播，當(dāng)然是首要保證的，但是在保證了聲音的基礎(chǔ)上畫(huà)面能提供更優(yōu)秀的體驗(yàn)，值得我們對(duì)其做相應(yīng)的探索和研究。

眾所周知，單攝像頭的處理方式是將攝像頭采集到的一路視頻幀經(jīng)過(guò)前處理預(yù)覽發(fā)布即可，那么是否能多路視頻流同時(shí)采集并輸出以在特定場(chǎng)景能有更好的體驗(yàn)?zāi)?，我們探索將蘋(píng)果的雙攝像頭和直播業(yè)務(wù)的結(jié)合。

三、蘋(píng)果雙攝像頭和釘釘直播的技術(shù)結(jié)合

使用雙攝像頭時(shí)，需要使用 AVCaptureMultiCamSession 來(lái)管理多路視頻的采集，其工作原理如下：

因?yàn)槲覀冞€需要對(duì)錄制的視頻幀做美顏、合流等處理，我們要優(yōu)化成更適合直播音視頻場(chǎng)景的雙攝像頭模型，所以需要選擇 AVCaptureVideoDataOutput 作為輸出，優(yōu)化后的攝像頭錄制模型工作流如下：

這樣的模型工作流，會(huì)讓創(chuàng)建多路會(huì)話(huà)并錄制輸出的交互更簡(jiǎn)單，接下來(lái)我們講一下其在釘釘直播業(yè)務(wù)場(chǎng)景中，是如何應(yīng)用的。

四、雙攝像頭處理技術(shù)在直播中的應(yīng)用

通過(guò)雙攝像頭模型，我們還會(huì)對(duì)視頻幀做美顏、虛擬背景、縮放等處理，最終做合流發(fā)布。

另外，因?yàn)殡p攝像頭基于 AVCaptureMultiCamSession 多攝像頭會(huì)話(huà)，所以 iOS 13及攜帶 A12 以上芯片的設(shè)備支持該功能，系統(tǒng)：iOS 13 及以上。

機(jī)型：iPhone：iPhone XR、iPhone XS、iPhone XS Max 及以上機(jī)型。

iPad：2019款 iPad Pro 及以上機(jī)型。

五、讓我們一起體驗(yàn)一下！

1. 畫(huà)面布局方式

雙攝像頭預(yù)覽視圖有兩路視頻流分別輸出到兩個(gè)預(yù)覽中，因此有不同的組合方式：每路視頻流固定在一個(gè)預(yù)覽視圖，切換攝像頭方向時(shí)交換兩個(gè)預(yù)覽視圖；預(yù)覽視圖固定位置，切換攝像頭時(shí)交換兩路視頻流對(duì)應(yīng)的預(yù)覽視圖。

雙攝像頭采集時(shí)主播側(cè)需要輸出兩個(gè)前后攝像頭預(yù)覽給業(yè)務(wù)層展示，經(jīng)過(guò)和我們的交互老師探討后，結(jié)合現(xiàn)有的視頻多畫(huà)面和手勢(shì)交互等多方考慮，最終確定兩種預(yù)覽視圖的布局方案：基于橫屏和豎屏，左右或上下等分平鋪；如下為第一種布局方式，上方為前置攝像頭、下方為后置攝像頭。

2. 自如的交互體驗(yàn)

我們支持用戶(hù)可以左右拖動(dòng)，調(diào)整畫(huà)面大小，當(dāng)放手時(shí)若畫(huà)面小于一定范圍，則自動(dòng)關(guān)閉雙攝像頭，切換到單畫(huà)面模式。當(dāng)然，用戶(hù)也可以在設(shè)置頁(yè)重新開(kāi)啟雙攝像頭。

有了雙攝像頭功能，音視頻部門(mén)在秋天舉辦部門(mén)足球聯(lián)賽時(shí)，我們的同事可以隨手使用自己的蘋(píng)果手機(jī)，進(jìn)行賽前解說(shuō)，給活動(dòng)預(yù)熱，增加直播的快樂(lè)～

六、結(jié)束語(yǔ)

雙攝像頭雖然是一個(gè)支線(xiàn)功能，但它讓直播有了更多的拍攝效果。雙攝像頭在戶(hù)外或小型活動(dòng)直播中非常有用。感謝我們的設(shè)計(jì)師，讓功能體驗(yàn)有了更好的效果。目前有的戶(hù)外直播等已經(jīng)支持該功能，相信后續(xù)會(huì)有越來(lái)越多的直播平臺(tái)支持。

目前釘釘直播的雙攝像頭功能已經(jīng)完成，不過(guò)仍有待進(jìn)一步完善，比如：合流部分，現(xiàn)在使用的是 CPU 合流，對(duì)資源消耗比較嚴(yán)重，后續(xù)需要持續(xù)優(yōu)化，換成 GPU 合流，性能會(huì)有進(jìn)一步提升；目前只實(shí)現(xiàn)了平鋪布局，大小窗的布局仍待實(shí)現(xiàn)。

除此之外….還有彩蛋！

釘釘技術(shù)團(tuán)隊(duì)還會(huì)探索基于畫(huà)中畫(huà)的能力，實(shí)現(xiàn)共享內(nèi)容時(shí)，更多攝像頭合流實(shí)現(xiàn)畫(huà)面露臉的交互效果創(chuàng)新探索，包含畫(huà)面和手勢(shì)的 AI 識(shí)別交互、以及與更多語(yǔ)音視頻識(shí)別結(jié)合的釘釘 AI 能力創(chuàng)新等。

釘釘小而美的創(chuàng)新探索～一直在進(jìn)行！