来源：绿色计算产业联盟
今天为大家带来《服务器应用场景性能测试方法 虚拟化》的详细解读。
《服务器应用场景性能测试方_虚拟化》起草单位包括中国电子技术标准化研究院、云宏信息科技股份有限公司、飞腾信息技术有限公司、深信服科技股份有限公司、湖南麒麟信安科技股份有限公司、武汉长江计算科技有限公司、华为技术有限公司、安谋科技（中国）有限公司、安晟培半导体科技有限公司，在此感谢上述单位的大力支持。
01 背景
数字化转型浪潮席卷各行各业，以云计算、大数据、人工智能等新技术为首不断推动企业的IT架构与业务模式革新。新一代数据中心通过虚拟化、云计算技术对基础设施资源动态调度和分配，解决传统IT架构的各类问题，包括如资源利用和共享率低、采购及运营成本高居不下、业务上线周期长等，帮助企业迈向敏捷架构、获取新技术栈带来的价值收益，从而进一步降本增效，保障业务质量与安全。
据计世资讯（CCW Research）报告，2020年中国服务器虚拟化市场规模约43.7亿元(增速约16.8%)、超融合（通常为基于虚拟化的软硬一体化方案）市场规模达105.9亿元（增速约36.8%）；政府、制造、金融、电信、医疗、教育为服务器虚拟化采用占比较高的前六大行业，从虚拟化技术的低成本、绿色低碳、弹性调度及扩展性、高可靠性等特性中受益。
从报告可以看到两个市场特征与变化：
1）基于XEN或KVM的国产虚拟化软件已趋于成熟，在功能、性能甚至价格上具备一定的后发优势，因此成为政企、中大规模企业等主要市场的增长体，渐进式蚕食和替代国外VMware虚拟化软件的存量及增量市场；
2）随着信息技术应用创新战略的推进，特别是中兴华为事件、中美贸易战深深震撼国人的内心，崛起了以鲲鹏、飞腾等ARM架构为代表，以及海光、兆芯、龙芯、申威等多样化路线齐头并进的标志性国产芯片发展机遇，虚拟化作为云基础设施的关键技术，也将迎来新一轮发展高潮，发挥虚拟化的高效性、灵活调度、低建设和管理成本、软硬件解耦等优势，为国产自主软硬件生态注入活力、加速信创进程。
从政务、金融等行业客户的算力规划、服务器硬件选型过程，我们注意到虚拟化技术在模拟实际生产业务场景发挥的重要作用。虚拟化平台向下满足不同芯片及版本、整机板卡固件等硬件条件的兼容性，向上提供虚拟机承载各类操作系统和应用软件；虚拟化使一个物理服务器能够同时运行多个互相隔离互不影响的虚拟机，虚拟机内各自运行不同类型的工作负载，对资源的需求因应用而各异。相对于面向单台物理服务器、单一应用的性能测试，面向虚拟机的性能模拟测试一定程度上能够更加全面反映虚拟化平台的性能容量及水平，从多台虚拟机并行、多虚拟化比例、多核配置运算等多方面深度模拟更为贴近生产实际的业务场景，能够为客户带来技术选型、应用迁移及算力设计、容量规划等方面有效的研究数据支撑。
02 测试方法
虚拟化场景测试的总体思路是，结合客户实际的生产要点和配置要求，重点选取服务器性能的四大代表性指标：CPU、内存、存储、网络。
从该系列指标中设计面向物理服务器、单个虚拟机、多个虚拟机等多个对象的典型用例，采用通用的、业内认可的测试工具及参数、方法，根据不同算力配置、不同的测试粒度多次模拟得到平均值成绩作为基准参考，能够系统化地评价虚拟化前后的性能差异、虚拟化环境性能容量、以及基于同一虚拟化平台下不同硬件的横向比较情况。
另外，针对虚拟化平台本身，该《方法》也提出了长稳性测试、批量任务的执行效率等“实战型”角度，具有重要的生产级应用现实意义。
测试方法下我们给出了具体的例子参考。举例CPU计算能力测试来说，CPU的性能表现对CPU密集型应用至关重要，包括承担如压缩解压、GCC编译、操作系统调度等整型运算，以及图形处理、视频编解码等浮点运算任务，因而方法设计上包括综合性能、整型性能、浮点性能等维度。
更进一步地，由于单核性能测试主要针对部分仅调取单核性能的应用，多核性能测试针对大部分可调取多核性能的应用，对于CPU密集型应用，CPU的整体性能表现影响会更加明显；因此，在以上几项维度内容作具体细分，基于通用计算性能基准工具CPUBench在物理机、虚拟机系统内均分别采用单进程、多进程并行两种执行方式区分单核、多核应用的性能表现。
值得指出的是，虚拟机的测试我们再次分为单个虚拟机、多个虚拟机两类维度，这反映了不同生产环境采用的业务部署资源比（例如1:6的虚拟化比例）的性能表现，以及虚拟化平台的性能容量水平。
同样的，计算能力的另一代表选手——内存同样起到至关重要的作用，我们主要关注内存带宽的表现，这对各类应用在启动、运行过程中的速度和稳定性具有较高参考意义。
存储性能一般容易反映应用性能瓶颈，存储性能的表现针对不同类型应用也不尽相同，对于大文件读写的应用来说，顺序读写IOPS、带宽的影响直接表现在应用的效率和速度上；随机读写IOPS、时延的影响主要针对如结构化数据库、大批量小文件操作等应用，随机读写性能对该类应用的运行表现起到关键作用。网络性能主要针对基于TCP或UDP的不同模式的数据传输，指定不同的包长度参数以请求/应答的方式观察网络带宽质量报告，当外部网络环境条件一致时可以反映的是服务器的网卡或虚拟化网络处理能力。
测试配置说明
本次测试的被测样机分别采用一台ARM架构服务器（芯片HUAWEI Kunpeng 920 5251K）和一台X86架构服务器（芯片Hygon 7280），服务器虚拟化软件均为云宏CNware系列虚拟化产品。虚拟机操作系统选用银河麒麟操作系统V10版本。
图注：CNware系列虚拟化产品由云宏自主研发且全面拥抱信创软硬件生态，领先支持一云六芯（鲲鹏、飞腾、龙芯、海光、兆芯、申威），衔接云计算上下游各类基础软硬件的兼容性和协同性优化，极致发挥算力性能，提供金融级、软硬件解耦、极致性能的中立云计算解决方案。
详细配置信息如下表所示：
03 测试环境及测试结果
测试环境介绍——
本评测行动由中国电子标准化研究院承接，联盟携手中国电子技术标准化研究院打造开放实验室“GCC Open Lab”，报名单位可以申请中国电子标准化研究院专业典型应用场景软硬件兼容测试环境，也可以自行搭建测试环境，由院里安排专家进行远程指导和审核，确保过程及结果权威。
本报告所有测试数据或功能实现的结果均来源于绿色计算产业联盟联合实验室，在尽量保证测试环境相同的情况下，提供客观公正的测试数据。
本次测试目标是围绕典型的芯片架构服务器+云宏虚拟化软件，从多个维度综合评价服务器的性能表现。为了尽量突出典型及可对比性，本次测试界定采用4核心8GB内存100GB磁盘规格的虚拟机进行测试，该规格在客户环境内相对常见，因而具有较强的代表性。
在综合性能测试项中，CNware虚拟机平稳发挥了接近于物理机的性能水平，这得益于CNware虚拟化内核级的研发调优及性能突破。从选取不同架构的测试结果看，综合性能测试一项中ARM单核表现比x86单核领先约6%，多核表现领先约7%。
内存性能测试结果显示，在单线程情形下，ARM内存性能与x86相仿；在多线程情形下，ARM各项指标均显著优于x86架构，其中Copy速率领先约42%，Scale速率领先约58%，Add速率领先约16%，Triad速率领先约47%。
存储性能测试项分为顺序读写、随机读写，结果显示ARM架构在顺序读IOPS、带宽性能上领先x86架构约1.5倍，顺序写IOPS、带宽性能领先x86架构约56%，随机读IOPS、带宽性能上领先x86架构约14%，随机写IOPS、带宽性能领先x86约11%。
网络性能测试结果显示，ARM架构在TCP模式下带宽表现与x86相当；在UDP模式以及4B/32B/256B/1024B的包长设置下带宽表现提升在20%-40%之间。
从样机对比来看，ARM架构的处理器核心数量更多，不抢占的前提下拥有更高的虚拟化比例和性能容量；从选取的测试样本来看，ARM架构虽然在单核处理性能与传统平台表现相差无几，但在多核处理、并发读写访问方面更为突出。说明在虚拟化的场景，ARM服务器仍然可以发挥出多核、高并发的性能优势，在软硬件协同的基础上让应用获得更快的处理能力、更高的带宽吞吐、更低的时延。
04 总结与展望
测试方法汇聚了一众优秀的软硬件厂商充分研讨成果，反映出真实的技术选型测试、生产应用等场景要求；另外，从本次虚拟化场景的测试结果来看，基于Arm架构的绿色计算服务器与传统架构相比具有很强的竞争力，不但没有明显的短板且能在某些维度拉开差距，表现尤为突出。在整体解决方案层面，绿色计算服务器结合国产虚拟化软件的解决方案在本次测评中也表现出了非常优秀的性能和高度的可靠性，绿色计算解决方案完全能够匹配各行业对应用性能的需求。
未来，绿色计算产业联盟将持续通过典型计算业务场景性能评测，推动底层服务器硬件和上层应用软件的联合调优，以体现全栈解决方案的整体竞争力。同时，还将面向联盟会员收集更多的行业需求，纳入更多的服务器典型应用场景（如边缘计算等）和更多的绿色计算服务器整机配置，将典型应用场景测评打造成绿色计算产业联盟的核心竞争力。
另外，联盟也会从更多维度对绿色计算服务器进行测评研究，如人工智能服务器、绿色节能（功耗管理）等。联盟也将研究以测评认证推进联盟标准实施的体制与机制，开展针对绿色计算最新技术标准的预先研究和测试环境的更新升级研究工作，为后续开展标准符合性测试认证服务奠定基础。
绿色计算产业联盟未来将会持续推动绿色计算技术产品、服务及管理开展认证活动，促进产品、服务的符合性、兼容性与质量一致性，促进产品互联互通，在全产业链中传递信任。联盟致力于推动最终用户、各相关方采信基于联盟标准出具的认证结果，充分体现标准的价值，做到标准的真正落地使用！
感谢云宏信息科技股份有限公司对本文提供的资料支持。
