Open WebRTC Toolkit实时视频分析系统

随着物联网技术的发展，实时视频分析技术已应用于智能物联网的各个领域。英特尔基于与GStreamer以及OpenVINO构建了整套实时视频分析方案，为用户提供更加灵活、便捷的实时视频分析服务。本文由英特尔高级软件工程师吴秋娇在LiveVideoStack线上分享内容整理而成。
01 背景介绍

文章插图
另外OWT使用GStreamer框架。GStreamer 是一个高度模块化的管线驱动式媒体框架，大概从2002年开始发布第一个版本，一直到现在还在不断更新。特别是AI时代，由于其灵活性及可扩展性，GStreamer在AI领域应用也比较广泛，目前已有很多丰富的AI插件，可以提供各种功能。目前已经推出支持Open VINO的GStreamer插件gst-video-analytics, 提供了推理，监测及分类等多种功能的插件，详见https://github.com/opencv/gst-video-analytics/wiki/Elements 。OWT视频分析系统给用户提供了方便的接口，用户可自行组合不同的GStreamer plugin来实现不同的分析任务。面向WebRTC的英特尔协同开发套件，从2014年发布第一个版本到现在已经是4.3.1版本，随着时间版本不断在演进，2019年进行了开源，开源后成为OWT（Open WebRTC Toolkit），在Github地址https://github.com/open-webrtc-toolkit/owt-server 。

文章插图
整个OWT系统演进了很多年，在资源调度方面进行了很多处理，OWT支持依据CPU，GPU，VPU资源使用情况进行任务调度。当部署在多台机器以及多种计算资源的环境下，OWT会收集各个节点上的CPU，GPU以及VPU使用情况，将新来的分析任务根据调度策略分配到相应的节点进行工作。我们提供了几种常用的调度策略，用户可根据实际部署情况对各个模块单独配置不同的策略。

文章插图
对于HA，当Analytics处于正常状态，IP摄像机的流导入，通过图中最上端一路流程进行录像。分析任务正在进行时，突然出现故障，这时可以被Session Control检测到, 。Session Control发现可用节点，将可用节点激活，再将正在分析的流导入该分析节点，继续被中断的分析任务，再传输到Recording节点进行录像。这样就可以在实际场景中实现高可用的过程。
03 总结

文章插图
整体方案中分析部分是基于深度学习的方式与OWT相结合，OWT使用GStreamer pipeline简化实时视频分析过程，开发者可以方便地通过组合GStreamer plugin来实现不同的实时分析任务。同时，OWT利用OpenVINO以及OWT本身的调度机制来充分利用计算资源，从而提升整体性能。OWT支持分布式部署，各个功能模块可以快速方便地进行扩展。再加上OWT提供的HA机制，可以保证实时视频分析系统的稳健运行。英特尔一直在致力于Visual cloud、Computing等基于IA平台的发展，同时也提供了很多开源资源，例如Open VINO、OWT 在GitHub上有相应的开源项目。同时英特尔在客户端也有一些AI的方案，例如WebNN等，未来也将在浏览器上落地，敬请期待。