【嘉勤点评】三星发明的用于云游戏界面的智能渲染方法，该方案将用户看到的画面划分为用户注意区域和用户非注意区域，从而对用户非注意区域进行例如降帧处理，以降低游戏的刷新帧率以及游戏画面的延迟。
集微网消息，云游戏随着5G的成熟，一下成为了当前的热点技术领域。云游戏的核心理念是把复杂的运算和图形绘制工作放到远端服务器进行，然后把计算完成的图像压缩成视频流的形式，并通过网络传输到终端，再解压缩并渲染出来。
但是，现在的云游戏技术中存在一些问题，例如：
1）云游戏界面数据传输网络流量消耗大。因为现在主流的一些视频压缩算法，在处理连续视频帧之间的运动补偿差异的时候，是使用变换编码计算和编码的。但是许多游戏，例如第一人称射击类都是运动密集型的，连续游戏图案之间的相关度很小，这就限制了直接将视频编码器用于视频图像压缩的效率，即使最先进的视频压缩算法，也需要很高的比特率。
2）网络传输过程中不可避免的延迟问题。云游戏的延迟主要不是由核心游戏逻辑和网络延迟引起的，而是由视频编码器和流媒体系统导致的。5G的兴起，无线通信技术的进一步成熟，让这块延迟在大幅度降低，不过由于物理法则的限制，这部分延迟不可避免，哪怕是最优质的光纤传输，长距离传输总是要花时间的，加上路由和网关节点的损耗，几十到几百毫秒的延迟是很正常的。随着高带宽和高功率传输技术的出现，这个数值会进一步被压低，但永远无法忽略。这就会让云游戏永远达不到本地游戏那种状态，只要需要网络传输，就会有多余的延迟。
为此，为了降低云游戏的延迟，三星在2020年6月2日申请了一项名为“用于云游戏界面智能渲染的方法和装置”的发明专利（申请号：202010487383.5），申请人为三星电子（中国）研发中心。
根据目前该专利公开的相关资料，让我们一起来看看这项云游戏低延迟界面渲染方案吧。
如上图，为该专利中发明的用于云游戏界面智能渲染的方法流程图，首先，接收终端上报每个像素的像素点信息，主要是利用接收终端接收每个像素点的像素点信息，包括：位置信息、被点击次数、被按压或者遮盖的总时间。而在该专利中，终端优化的是关注度较低的区域的图像。
在用户进行云游戏时，例如屏幕的边缘、控件区域（例如广告控件、按键部分）和被手遮挡的区域被视为用户关注度较低的区域。其次，获取这些控件的位置信息，对于图像中每个像素点，根据该像素点与终端的屏幕的边缘区域的距离、该像素点与控件的距离、被点击的次数、被按压或者遮盖的总时间等关键信息来计算用户的关注度。
通过将游戏画面区分为用户关注的区域和用户不关注的区域，可以适当地对于用户不关注的区域采取例如：降低清晰度、降低刷新率以及利用缓存后的关键帧等技术来降低CPU的内存占比、芯片温度、机体温度等，为用户提供更加良好的低延迟、低功耗体验。
如上图，为该专利中用于云游戏界面智能渲染的应用场景示意图，服务器与终端的交互过程如下：首先，用户在终端上启动云游戏，这时终端通过前台进程信息的读取，开启系统服务以收集设备的性能信息，同时也开始计算用户的触摸和遮盖信息。
其次，记录用户触摸和遮盖的信息，包括触摸和遮盖区域坐标信息、时间总和以及点击次数。此外，终端还可以获取云端传递的实时FPS、CPU温度、CPU内存占比等信息，以判断云服务器是否出于流畅或者卡顿状态，结合用户的触摸、显示习惯，就可以智能化地将部分区域降低渲染程度。这样渲染图片的效率会变高，并且图像的大小会变小，既能提高渲染效率又能减小网络交互流量，可谓一举两得。
以上就是三星发明的用于云游戏界面的智能渲染方法，该方案将用户看到的画面划分为用户注意区域和用户非注意区域，从而对用户非注意区域进行例如降帧处理，以降低游戏的刷新帧率，同时使用例如多复用之前缓存的界面帧数据、降低清晰度等手段，来提高设备的渲染效率，以为用户提供低延迟、低功耗的体验。
关于嘉勤
深圳市嘉勤知识产权代理有限公司由曾在华为等世界500强企业工作多年的知识产权专家、律师、专利代理人组成，熟悉中欧美知识产权法律理论和实务，在全球知识产权申请、布局、诉讼、许可谈判、交易、运营、标准专利协同创造、专利池建设、展会知识产权、跨境电商知识产权、知识产权海关保护等方面拥有丰富的经验。
（校对/holly）
