一种基于图像处理和机器学习的屏幕视频编码方法与流程

本发明涉及视频编解码技术领域，尤其涉及一种基于图像处理和机器学习的屏幕视频编码方法。

背景技术：

视频屏幕内容图像是直接从各类设备(计算机，移动终端等)的图像显示单元捕获的。常见的屏幕内容有计算机图形和文本图像、自然视频与图形/文字混合的图像，以及计算机生成的动画图像等。视频屏幕内容在桌面协作、桌面共享、第二屏幕、云游戏等各种场景中普遍存在。

视频编码标准，包括mpeg/itu-t国际组织标准hevc(又名h.265)，以及开放媒体联盟aom打造的视频编码标准av1中，均有关于屏幕内容的标准规定。

屏幕内容典型的视频编码工具包括：intra-block-copy(简称ibc，帧内块拷贝)，palette(调色板模式)等。以上两个工具都是目前屏幕内容编码的主要工具。

屏幕内容编码的一般做法是针对每一个视频序列，或者每一个视频序列中的每一个图像帧，首先确定在传统视频编码的基础上，是否需要再采用视频屏幕内容的工具，在率失真决策中进而选取适合该图像帧，或者适合整个视频序列的最佳编码工具。

目前做法的局限性在于：

(1)针对视频序列或者图像帧，只决定在通用编码工具上是否再加入视频屏幕内容编码工具的评判；如果确定是，则加入屏幕内容工具的评判；但并没有具体确定针对目前的图像帧，是否应该采用具体的屏幕内容编码工具，比如是否应该采用ibc编码，亦或调色板模式编码；

(2)屏幕内容如上所述，涉及计算机桌面共享，或者在线教育白板共享，或者云游戏等多个不同场景；目前的屏幕内容没有具体考虑不同场景的视频内容编码优化策略。

技术实现要素：

本发明提供了一种基于图像处理和机器学习的高效屏幕视频编码方法和系统。本发明的核心思想在于首先对于每一个图像帧，首先利用场景转换帧作为关键帧，利用支持向量机或者深度神经网等机器学习的方法，对于关键帧首先做场景分类；之后根据分类后的场景确定是否为屏幕内容。确定为屏幕内容的图像帧，跳过通用编码方法，直接利用屏幕内容编码工具来实现编码，提升效率。

本发明提供的一种基于图像处理和机器学习的屏幕视频编码方法，包括以下步骤：

(1)对于每一个视频序列，利用场景转换帧作为关键帧；

(2)利用颜色指数直方图墒值作为后续步骤(3)中的图像帧参数，用于辅助决策图像帧是否为屏幕编码内容，具体包括以下步骤：

(2.1)图像帧中颜色指数直方图墒值的提取，具体包括：

(2.1.1)对于一个图像帧，根据视频分辨率做宏块分割：视频分辨率在720p及以上，宏块大小为128×128，视频分辨率在720p以下，宏块大小为64×64；

(2.1.2)对于每一个宏块(i,j)，其中i为图像块行位置坐标，j为图像块列位置坐标，获取该图像块颜色指数的数目，用n(i,j)表示；

(2.1.3)获取该图像帧所有宏块颜色指数直方图，用h(k)表示，其中k＝1,2,...,nxn，其中nxn为宏块的像素点总数目，h(k)为颜色指数为k、即n(i,j)＝k的所有宏块的数目，满足

其中w，h为图像帧的宽度和高度，wxh为图像帧的像素点总数目，m为图像帧的宏块总数目；

(2.1.4)计算颜色指数直方图墒值：

其中

p(k)＝h(k)/m，且有

(2.2)利用颜色指数直方图墒值辅助图像帧分类；具体地，在通用的图像帧分类的基础上，加入颜色指数直方图墒值hcolor_indexes，以及h(k)或p(k)的统计数据做进一步的分类；

(3)利用支持向量机svm或者神经网络cnn机器学习的方法，对于关键帧首先做场景分类，进一步根据分类结果决策该关键帧是否为屏幕内容；只针对关键帧进行上述决策，如果关键帧确定为屏幕内容，后续所有图像帧在下一关键帧之前，均确定为屏幕图像帧；其中，图像帧参数采用步骤(2)中颜色指数直方图墒值；

(4)屏幕内容图像帧与非屏幕内容图像帧，在编码方式决策时采用不同的编码途径：

(4.1)屏幕内容图像帧：利用机器学习，首先对屏幕图像帧做粗分块特征提取，进而利用神经网络筛选每一个宏块的编码模式，进而仅对筛选后的编码模式做率失真评测，具体包括：

(4.1.1)神经网络采用浅层网络结构：中间层为1～2层，每一层128个单元；

(4.1.2)基于视频分辨率的图像帧分块和特征提取：图像帧的分块，采用上述计算颜色指数直方图墒值中类似的方法，分辨率在720p及以上，宏块大小为128×128，分辨率在720p以下，宏块大小为64×64，进而利用图像处理方法对每一图像宏块提取图像特征，包括均值，方差，利用边缘检测获取边缘信息而获得的边缘像素点比例，块内色度直方图获取的墒值等特征；

(4.1.3)利用(4.1.1)中浅层神经网络，以(4.1.2)获取的宏块特征为神经网络输入，迅速决策和筛选编码工具；

(4.2)非屏幕内容图像帧：对于所有非屏幕内容图像帧，则对编码标准中对于屏幕图像帧有效的编码工具，全部跳过不予做率失真评估。

本发明通过首先利用场景转换帧作为关键帧，利用支持向量机或者深度神经网等机器学习的方法，对于关键帧首先做场景分类；之后根据分类后的场景确定是否为屏幕内容。确定为屏幕内容的图像帧，跳过通用编码方法，直接利用屏幕内容编码工具来实现编码，提升效率。进而利用粗分块实现图像特征提取，根据图像帧块特征，以及图像细颗粒特征，决策出该图像帧的视频内容编码工具选择以及相应工具的具体参数取值，从而在保证图像率失真性能接近最优的基础上，实现屏幕内容的高效编码。实验结果显示上述编码策略，可以大幅提升视频编码的效率，比如对于1080p，25fps的屏幕内容编码，编码速度可以在编码性能基本不变的情形下，提升50～70％。

附图说明

图1为本发明基于图像处理和机器学习的屏幕视频编码方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

下面结合附图对本发明作更进一步的说明。

高效编码评估准则，是指在同样的编码工具复杂度要求下，编码器的率失真性能最高；或者在近似的率失真性能下，编码速度最快。

率失真理论是用信息论的基本观点和方法研究数据压缩问题的理论，又称限失真信源编码理论。率失真理论的基本问题可以归结如下：对于一个给定的信源分布与失真度量，在特定的码率下能达到的最小期望失真；或者为了满足一定的失真限制，最小描述码率可以是多少。

如图1所示，本发明的基于图像处理和机器学习的屏幕视频编码方法具体包括以下步骤：

(1)首先对于每一个视频序列，利用场景转换帧作为关键帧；

(2)本发明的一个创新贡献在于，在对关键帧首先做场景分类之前，利用颜色指数直方图墒值作为后面场景分类步骤中的图像帧参数，用于辅助决策图像帧是否为屏幕编码内容，具体包括以下步骤：

(2.1)图像帧中颜色指数直方图墒值的提取：

(2.1.1)对于一个图像帧，根据视频分辨率做宏块分割：视频分辨率在720p及以上，宏块大小为128×128，视频分辨率在720p以下，宏块大小为64×64；

(2.1.2)对于每一个宏块(i,j)，其中i为图像块行位置坐标，j为图像块列位置坐标，获取该图像块颜色指数(colorindexes)的数目，用n(i,j)表示，比如对于屏幕内容背景单色图像块，只有一种颜色指数，则n(i,j)＝1；如果该宏块中的所有像素点的颜色指数均无重复取值，则n(i,j)＝nxn，其中n×n为宏块的像素点总数目；

(2.1.3)获取该图像帧所有宏块颜色指数直方图，用h(k)表示，其中k＝1,2,...,nxn，h(k)为颜色指数为k、即n(i,j)＝k的所有宏块的数目，满足

其中w，h为图像帧的宽度和高度，w×h为图像帧的像素点总数目，m为图像帧的宏块总数目；

(2.1.4)计算颜色指数直方图墒值：

其中

p(k)＝h(k)/m，且有

(2.2)利用颜色指数直方图墒值辅助图像帧分类；具体地，在通用的图像帧分类的基础上(比如图像帧可以分类为游戏视频、视频会议白板视频、影像视频、体育视频等)，加入颜色指数直方图墒值hcolor_indexes，以及h(k)或p(k)的统计数据(包括均值和方差)做进一步的分类，比如利用hcolor_indexes，h(k)的均值，和h(k)的方差作为神经网络的输入，以决策该图像帧是否为屏幕内容。

(3)利用支持向量机(svm)或者卷积神经网络(cnn)机器学习的方法，对于关键帧首先做场景分类，进一步根据分类结果决策该关键帧是否为屏幕内容；与传统屏幕内容分类不同的是，本专利方法只针对关键帧决策，若关键帧确定为屏幕内容后，后续所有图像帧在下一关键帧之前，均确定为屏幕图像帧；其中，图像帧参数采用步骤(2)中颜色指数直方图墒值。

(4)屏幕内容图像帧与非屏幕内容图像帧，在编码方式决策时采用不同的编码途径：

(4.1)屏幕内容图像帧：传统方法在率失真评估中，对每一个分块，会对编码标准中所有编码工具，包括屏幕内容编码工具和通用编码工具一一筛选，造成编码相对复杂，影响编码速度。本专利的创新点，是利用机器学习，首先对屏幕图像帧做粗分块特征提取，进而利用神经网络筛选每一个宏块的编码模式，进而仅对筛选后的编码模式做率失真评测，具体包括：

(4.1.1)神经网络采用浅层网络结构，计算简捷，训练易收敛：中间层为1～2层，每一层128个单元，这里没有采用深度神经网络；

(4.1.2)基于视频分辨率的图像帧分块和特征提取：这里图像帧的分块，可以采用上述计算颜色指数直方图墒值中类似的方法，分辨率在720p及以上，宏块大小为128×128，以下为64×64，进而利用图像处理方法对每一图像宏块提取图像特征，包括均值，方差，利用边缘检测获取边缘信息而获得的边缘像素点比例，块内色度直方图获取的墒值等特征；

(4.1.3)利用(4.1.1)中浅层神经网络，以(4.1.2)获取的宏块特征为神经网络输入，迅速决策和筛选编码工具：

对于通用编码工具是否在屏幕内容帧宏块中采用，作为初始决策，之后只在初始决策选中条件下的编码模式做进一步评估。比如最新视频编码标准av1(由开放媒体联盟aom组织在2018年6月推出)，提供两种新的帧间仿射变换运动矢量编码工具：全局运动矢量(globalmotion)和扭曲运动矢量(warpedmotion)，这两种工具对于编码效率提升比较有效，但评估计算繁复。由于屏幕内容为计算机生成图像，相对非屏幕内容帧，这两种工具使用频率相对较低。本专利方法则利用(4.1.1)中设计的浅层神经网络，网络输入为(4.1.2)中获取的图像块特征，网络输出为全局运动矢量/扭曲运动矢量两种模式的开关状态。只有神经网络输出状态为“开”时，才对相应的编码模式做进一步率失真评估。

(4.2)非屏幕内容图像帧：对于所有非屏幕内容图像帧，则对编码标准中对于屏幕图像帧有效的编码工具，包括调色板编码，帧内块运动矢量等编码工具等，全部跳过不予做率失真评估。

仿真实验结果显示上述编码策略，可以大幅提升视频编码的效率，比如对于1080p，25fps的屏幕内容编码，编码速度可以在编码性能基本不变的情形下，提升50～70％。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。