多摄像头协同感知的视频会话查看源代码讨论查看历史

来自 搜狐网 的图片

多摄像头协同感知的视频会话近年来，随着网络技术的不断发展，用户所能享受的带宽资源也不断增加，随着以5G网络为主的大网络带宽时代的到来，大规模机器类通信作为5G提出的三大应用场景之一，使得越来越多的设备能在5G网络技术的支持下互相连接通信。智能化时代的到来，技术的发展逐渐将目光聚焦到设备之间的通信方面，智慧家居、智能化工厂等领域对多终端设备协同通信的需求也日益增加。

传统的通信方式包括点对点通信，端到端通信等。点对点通信实现网内任意两个用户或者设备之间的信息交换，是两个系统或进程之间的专用通信链路，点对点技术的发展已较为成熟，在即时数据传输和音视频数据等方面得到了广泛的应用。而端到端通信建立在点到点通信的基础上，是经点到点通信更高一级的通信方式，完成应用程序（进程）之间的通信。用户的需求引导着产业的不断发展，单个设备的网络带宽和处理能力已经无法满足某些应用服务的高带宽高实时性的要求。传统的点对点端到端的网络连接方式对于提高用户体验方面存在一定的局限性，难以充分利用当前高速率、大带宽的异构网络。在这个背景下，多终端协同的概念逐渐出现在大众的视野，网络连接的方式也从传统的点对点端到端的通信，向多终端设备协同的方式发生转变。多终端协同是指多个终端设备在如今的大带宽网络环境下互相协同感知，在用户的至零下完成一系列较为复杂的操作，从而提升和丰富用户的体验。例如，近年来华为发布的鸿蒙OS系统以多终端协同为重点，将手机、笔记本电脑、耳机等智能设备互相连接，用户可以在一个终端控制多个终端设备协同运作，让用户体验智能化的服务。大型赛事直播，演唱会等对摄像机的机位视角对用户体验感要求较高，摄像机之间的协同互联可以给用户带来沉浸式的体验，丰富用户的需求。因此，多摄像头协同感知的视频会话具有很大的研究意义和价值。

研究内容与技术主

第一，完成主控端对多终端的业务实现。远端节点通过局域网中的TCP/IP协议向主控节点发起通信，此时主控节点准备获取边缘节点的摄像头画面，在边缘节点中，通过Flask技术将摄像头画面生成为URL，因为在同一个局域网中，所以通过TCP/IP协议将多个摄像头中的其中之一作为默认URL发送给主控节点，主控节点将收到的信息回传给远端节点，远端节点打开URL即可获取到边缘节点的视频画面，当边缘节点中除默认摄像头以外的其他设备中出现人像，则会将新的URL发送给主控节点，进而转发给远端节点用于显示画面，综上所述，主控节点在多个终端之间实现协调。

第二，完成多终端的业务切换设计。远端节点可获取多个部署在不同边缘节点上的摄像头的视频，这些终端视频是在主控节点完成业务切换，当检测到摄像头中的指定人像时，远端节点的显示画面应切换为相应的视频画像。

随着网络技术的快速发展，多摄像头协同感知的视频会话具有很广泛的应用前景，比如一些球赛的视频直播中，网上的观众可以选择不同角度的视频画面进行观看，达到自己的需求；又例如多试点直播中，画面会实时的展现出主播的位置，不会出现脱离画面的效果；在大型活动现场，例如演唱会，节日晚会中，明星的画面自动依靠手动切换的方式呈现出来，利用多摄像头协同感知的视频会话可以使观众自由选择任意时刻且任意视角的直播或者现场画面，让观众具有沉浸式视频体验；在安全方面，视频监控已经应用到大大小小的地方，但终归有些监控照不到的盲点，利用多摄像头协同感知的视频会话可以多个监控相互补盲，防止死角，提升监控安全的质量。

二、技术方案与指标（包括：问题分析、技术方案、创新设计、关键技术、技术指标、实施计划、应用场景等）

1、问题分析

当前视频会话领域，例如直播，视频通话等面临设备节点单一，不能应对当前对于多视角灵活视频的需求。视频通话中的人像出框，通话的一方不能实时观看到另一方的人像画面，导致通话质量下降；直播中的视角单一，导致只能选择固定位置进行直播，不能灵活调整，这些都是影响用户体验质量的关键问题。此外，在当前物联网设备大量进入我们生活中的大背景下，多设备的安全视频监控也存在监控视野有死角，不够灵活的问题。而多摄像头的协同感知工作可以将上述问题进行优化解决。

2、技术方案

本项目设计的系统结构如图1所示，包含通话远端节点、主控节点、边缘节点三个部分。其中，会话的远端节点主要用来向主控节点发送视频开启的信息，收到通话信息的主控节点开始建立通信连接，并给远端节点进行信息的回传，使得远端节点显示边缘节点的上的摄像头画面；通话中的主控节点部分是一个重要的中间媒介，它负责连接与协同边缘节点切换以及与远端节点的业务通信。首先主控节点要通过TCP/IP协议获取到边缘节点的摄像头URL地址,其次需要通过同样的通信协议与远端节点建立连接。在发起视频通话后，主控节点根据边缘节点识别的结果，选择被识别的摄像头，将该摄像头的画面回传给远端节点。其中，边缘节点部分采用树莓派作为摄像头的开发部署平台，不同的摄像头分别部署在不同的树莓派上，此方案实现了摄像头之间在硬件上的独立和协同感知操作。当摄像头识别到指定的人脸画面时，就会发送相应的URL给通话中的主控节点，进而转发给通话的远端节点。