多攝像頭協同感知的視頻會話檢視原始碼討論檢視歷史

來自 搜狐網 的圖片

多攝像頭協同感知的視頻會話近年來，隨着網絡技術的不斷發展，用戶所能享受的帶寬資源也不斷增加，隨着以5G網絡為主的大網絡帶寬時代的到來，大規模機器類通信作為5G提出的三大應用場景之一，使得越來越多的設備能在5G網絡技術的支持下互相連接通信。智能化時代的到來，技術的發展逐漸將目光聚焦到設備之間的通信方面，智慧家居、智能化工廠等領域對多終端設備協同通信的需求也日益增加。

傳統的通信方式包括點對點通信，端到端通信等。點對點通信實現網內任意兩個用戶或者設備之間的信息交換，是兩個系統或進程之間的專用通信鏈路，點對點技術的發展已較為成熟，在即時數據傳輸和音視頻數據等方面得到了廣泛的應用。而端到端通信建立在點到點通信的基礎上，是經點到點通信更高一級的通信方式，完成應用程序（進程）之間的通信。用戶的需求引導着產業的不斷發展，單個設備的網絡帶寬和處理能力已經無法滿足某些應用服務的高帶寬高實時性的要求。傳統的點對點端到端的網絡連接方式對於提高用戶體驗方面存在一定的局限性，難以充分利用當前高速率、大帶寬的異構網絡。在這個背景下，多終端協同的概念逐漸出現在大眾的視野，網絡連接的方式也從傳統的點對點端到端的通信，向多終端設備協同的方式發生轉變。多終端協同是指多個終端設備在如今的大帶寬網絡環境下互相協同感知，在用戶的至零下完成一系列較為複雜的操作，從而提升和豐富用戶的體驗。例如，近年來華為發布的鴻蒙OS系統以多終端協同為重點，將手機、筆記本電腦、耳機等智能設備互相連接，用戶可以在一個終端控制多個終端設備協同運作，讓用戶體驗智能化的服務。大型賽事直播，演唱會等對攝像機的機位視角對用戶體驗感要求較高，攝像機之間的協同互聯可以給用戶帶來沉浸式的體驗，豐富用戶的需求。因此，多攝像頭協同感知的視頻會話具有很大的研究意義和價值。

研究內容與技術主

第一，完成主控端對多終端的業務實現。遠端節點通過局域網中的TCP/IP協議向主控節點發起通信，此時主控節點準備獲取邊緣節點的攝像頭畫面，在邊緣節點中，通過Flask技術將攝像頭畫面生成為URL，因為在同一個局域網中，所以通過TCP/IP協議將多個攝像頭中的其中之一作為默認URL發送給主控節點，主控節點將收到的信息回傳給遠端節點，遠端節點打開URL即可獲取到邊緣節點的視頻畫面，當邊緣節點中除默認攝像頭以外的其他設備中出現人像，則會將新的URL發送給主控節點，進而轉發給遠端節點用於顯示畫面，綜上所述，主控節點在多個終端之間實現協調。

第二，完成多終端的業務切換設計。遠端節點可獲取多個部署在不同邊緣節點上的攝像頭的視頻，這些終端視頻是在主控節點完成業務切換，當檢測到攝像頭中的指定人像時，遠端節點的顯示畫面應切換為相應的視頻畫像。

隨着網絡技術的快速發展，多攝像頭協同感知的視頻會話具有很廣泛的應用前景，比如一些球賽的視頻直播中，網上的觀眾可以選擇不同角度的視頻畫面進行觀看，達到自己的需求；又例如多試點直播中，畫面會實時的展現出主播的位置，不會出現脫離畫面的效果；在大型活動現場，例如演唱會，節日晚會中，明星的畫面自動依靠手動切換的方式呈現出來，利用多攝像頭協同感知的視頻會話可以使觀眾自由選擇任意時刻且任意視角的直播或者現場畫面，讓觀眾具有沉浸式視頻體驗；在安全方面，視頻監控已經應用到大大小小的地方，但終歸有些監控照不到的盲點，利用多攝像頭協同感知的視頻會話可以多個監控相互補盲，防止死角，提升監控安全的質量。

二、技術方案與指標（包括：問題分析、技術方案、創新設計、關鍵技術、技術指標、實施計劃、應用場景等）

1、問題分析

當前視頻會話領域，例如直播，視頻通話等面臨設備節點單一，不能應對當前對於多視角靈活視頻的需求。視頻通話中的人像出框，通話的一方不能實時觀看到另一方的人像畫面，導致通話質量下降；直播中的視角單一，導致只能選擇固定位置進行直播，不能靈活調整，這些都是影響用戶體驗質量的關鍵問題。此外，在當前物聯網設備大量進入我們生活中的大背景下，多設備的安全視頻監控也存在監控視野有死角，不夠靈活的問題。而多攝像頭的協同感知工作可以將上述問題進行優化解決。

2、技術方案

本項目設計的系統結構如圖1所示，包含通話遠端節點、主控節點、邊緣節點三個部分。其中，會話的遠端節點主要用來向主控節點發送視頻開啟的信息，收到通話信息的主控節點開始建立通信連接，並給遠端節點進行信息的回傳，使得遠端節點顯示邊緣節點的上的攝像頭畫面；通話中的主控節點部分是一個重要的中間媒介，它負責連接與協同邊緣節點切換以及與遠端節點的業務通信。首先主控節點要通過TCP/IP協議獲取到邊緣節點的攝像頭URL地址,其次需要通過同樣的通信協議與遠端節點建立連接。在發起視頻通話後，主控節點根據邊緣節點識別的結果，選擇被識別的攝像頭，將該攝像頭的畫面回傳給遠端節點。其中，邊緣節點部分採用樹莓派作為攝像頭的開發部署平台，不同的攝像頭分別部署在不同的樹莓派上，此方案實現了攝像頭之間在硬件上的獨立和協同感知操作。當攝像頭識別到指定的人臉畫面時，就會發送相應的URL給通話中的主控節點，進而轉發給通話的遠端節點。