[发明专利]一种基于矩形分割隔列扫描的图像传输方法

摘要

本发明公开了一种基于矩形分割隔列扫描的图像传输方法及系统，首先比较相邻两帧图像，找出所有图像变化的区域，然后根据变化像素点的坐标得到面积最小的不重叠矩形区域的集合，每次只发送矩形区域集合所包含的图像数据，以减小每一帧的传输数据，达到有效地降低的传输数据量的目的。本发明根据每帧图像变化区域的个数不同，动态的将屏幕分成数量不同的矩形分块，克服了固定分块图像传输算法屏幕分块个数难以确定和适应性差的问题；将屏幕根据每帧图像每个变化范围的不同分成大小不同的矩形分块，克服了固定分块图像传输算法中当屏幕图像变化区域正好位于多个矩形分块临界点，不能有效减少传输数据量的问题。

主权项

一种基于矩形分割隔列扫描的图像传输方法，其特征在于，该基于矩形分割隔列扫描的图像传输方法首先比较相邻两帧图像，找出所有图像变化的区域，然后根据变化像素点的坐标得到面积最小的不重叠矩形区域的集合；每次只发送矩形区域集合所包含的图像数据和对应坐标信息；根据像素点的坐标得到变化矩形区域，式(1)和式(2)是根据变化像素点来判断矩形R范围的算式；Rl≤PxAND Rt＝Pyi(1)Rr≥Px AND Rb≥Py(2)其中Rl和Rt代表矩形左上角的横坐标和纵坐标，Rr和Rb代表矩形右下角的横坐标和纵坐标，Px和Py代表变化像素点的横坐标和纵坐标，Py0代表第一次变化像素点的纵坐标；根据式(1)和式(2)求得变化矩形区域的范围；先将前后相邻两幅位图的数据保存下来，并判断前后两帧屏幕所对应像素的值是否变化；当第一次检测到变化的采样点时，会将变化采样点的坐标(PX0,PY0)进行记录，作为变化矩形区域的左上角坐标(Rl,Rt)，并且将行无变化标识为false；继续对比，当再次检测到不同采样点时，先将行无变化标识为false，接着将采样点的横坐标Px同矩形左上角的横坐标Rl进行比较并取最小值，同时矩形右下角的坐标(Rr,Rb)会和点的坐标(Px,Py)比较并取最大值；即：Rl＝min(Pxi,Rl)(i>1) Rt＝Pyi(i＝1)Rr＝max(Rxi,Rr)(i>1) Rb＝max(Ryi,Rb)(i>1)当检测到某行采样点值全部都相同时，得到一个变化的矩形区域块；在一个扫描区域中对变化区域进行矩形分割算法采用隔列直接比较法判断前后图像缓冲区中两帧屏幕图像所对应像素是否变化从而找出变化的矩形区域；按照从上到下，从左到右的原则，基于矩形分割隔列扫描的图像传输方法找出后一帧图像相对于前一帧图像所有变化区域并基于矩形分割算法得到面积最小的不重叠矩形区域的集合；在一个扫描区域中对变化区域进行矩形分割算法具体方法如下：步骤一，图像发送端首先获得屏幕的分辨率，得到列扫描的范围0～C和行扫描的范围0～R；步骤二，发送端将当前帧图像保存区的数据保存到前一帧图像缓冲区；截获当前的屏幕位图数据并保存在当前帧图像缓冲区；步骤三，发送端首先初始化变化矩形区域左上角坐标和右下角坐标为(0，0)，下次扫描起点坐标为(0，0)，行无变化标识为true，更新列扫描的范围和行扫描的范围；步骤四，判断是否在行扫描范围内，不在，跳转到步骤十；步骤五，判断是否在列扫描范围内，不在，跳转到步骤八；在列扫描范围内采用隔列直接比较法对当前采样点进行检测；值不同，首先将行无变化标识设置为false，然后判断是否是检测到的第一个变化采样点，是将采样点坐标作为变化矩形区域的左上角坐标，不是第一个变化采样点，将矩形右下角的坐标和该点的坐标比较并取最大值作为新的矩形右下角坐标，再判断该采样点是否是本行第一个变化采样点，是就将该采样点的纵坐标同矩形左上角的纵坐标进行比较并取最小值更新变化矩形区域的左上角坐标；值相同，需要判断行无变化标识是否为false，如果是false，记录坐标作为下次扫描的起点，检测到是最后一列采样点，将最后一列采样点坐标作为下次扫描的起点，跳转到步骤七；步骤六，把列坐标右移N列，跳转到步骤五检测下一个采样点；步骤七，本行检测完毕，将本行的下次扫描起点坐标与上一行记录的下次扫描起点坐标比较，并取最大值作为新的下次扫描起点坐标，行号加1，跳转到步骤四从下一行从头开始从左到右检测；步骤八，判断行无变化标识是否为true且变化矩形区域左上角坐标不为(0，0)，不是true，行号加1，跳转到步骤四；是true，则表明整行无不同像素点，得到了一个变化的矩形区域块；得到的变化矩形区域块左上角纵坐标向左移动N列，右下角纵坐标向右移动N列以包含图像边界信息；步骤九，记录检测出的变化矩形区域坐标和相对应的下次扫描起点坐标，判断当前列扫描的范围是否0～C且行扫描的范围是否0～R，是，设置标识表明当前检测出的变化矩形区域标识是第一次检测出的，然后行号加1跳转到步骤四从下一行开始检测下一个变化的矩形区域块；直到检测超出行扫描的范围；步骤十，本次检测完毕后，对本次检测中所有的下次扫描起点进行处理，计算出下次扫描范围的集合；首先检查本次检测出的第一个下次扫描起点的纵坐标是否比最后一列采样点的纵坐标小，不是，该区域检测完成，检测下一个下次扫描起点的纵坐标；是，以第一次检测出的变化矩形区域左上角的横坐标为横坐标，以当前变化矩形区域相关的下次扫描起点坐标的纵坐标为纵坐标，生成一个下次扫描范围的左上角坐标；以第一次检测出的变化矩形区域右下角的横坐标为横坐标，以屏幕的最大列数C为纵坐标生成一个下次扫描范围的右下角坐标；接着处理第二个下次扫描起点，直到本次检测中所有的下次扫描起点都被处理为止；步骤十一，检测下次扫描范围集合中所有的扫描区域，首先基于下次扫描范围集合中第一个扫描区域的宽度和高度，生成行扫描和列扫描的范围，重复步骤三到步骤十检测第一个扫描区域中变化的矩形区域块，接着处理第二个扫描区域，直到下次扫描范围集合中所有的扫描区域都被检测为止；步骤十二，重复步骤十到步骤十一，得到下一次扫描范围的变化矩形区域块，直到所有的下次扫描起点的纵坐标大于或等于最后一列采样点的纵坐标，整个屏幕检测完毕；步骤十三，得到了所有该帧图像相对于前一帧图像变化的面积最小的不重叠矩形区域的集合，检查该集合中的矩形区域，两个矩形其左上角纵坐标和右下角纵坐标相同，且一个矩形的右下角横坐标与另一个矩形左上角横坐标相邻，合并为一个矩形，然后再压缩并发送矩形区域的集合所包含的图像数据及对应坐标到客户端；步骤十四，图像接收端将接收的数据减压后基于每个矩形区域图像数据及对应坐标整合至前一帧图像中并显示；步骤十五，每隔T秒重复步骤二到步骤十四，根据应用场景的不同和带宽的要求，对间隔时间T做调整；采用隔列直接比较法判断前后两帧屏幕图像所对应像素是否变化，先以行为单位隔N列从左到右开始提取前后两幅图像对应的像素为采样点，比较对应像素点的值是否相同；根据应用场景的不同和带宽的要求，可以对间隔列数N做调整，N的值越小，隔列直接比较法检测所需的时间越长。