啥都吃的豆芽 · 9月24日 · 广东

如何实现数据处理性能提升?为你揭晓背后功臣

Arm 架构在服务器领域发展势头看涨。目前已有许多头部云服务提供商和服务器制造商推出了基于 Arm Neoverse 平台的服务器产品。Arm 架构的服务器通常具备低功耗的特性,能带来更优异的能效比。在此前的文章中,针对搭载基于 Armv9 架构的倚天 710 芯片的 ECS 倚天实例,Arm 技术专家已在深度学习推理任务、Redis 性能验证等方面进行了测试和比较分析。此次我们将聚焦数据处理领域,通过两个实际案例,来探讨不同云实例上 Apache Flink 和 Elasticsearch 的性能差异。

案例一 针对 Apache Flink 的性能测试

在基于 Arm 架构的倚天实例上部署 Apache Flink性能提升最高可达 83%!

Apache Flink 是用于对有界和无界数据流进行有状态计算的框架。其核心是使用 Java 和 Scala 编写的分布式流式数据流引擎。该测试同样比较了 g8y 和 g7 之间的性能差异。

测试环境

测试使用了三个工作节点和一个主节点来运行 Flink 集群,并使用数据流基准测试工具 Nexmark 进行基准测试。为确保测试的公正性,g8y 和 g7 云实例的 CPU核心数量和内存大小、操作系统以及 Flink 软件版本与配置均相同。

image.png

在进行基准测试时,总共有 21 个查询测试连续运行。硬件和软件配置如下所示:

image.png

测试结果

  • 对于吞吐量较高的查询测试,g8y 的性能表现明显优于 g7。具体来说,g8y 在 q13 指标上比 g7 高了 83%,在 q14 指标上高了 76%。
  • 对于吞吐量较低的查询测试(包含一些测试误差),g8y 的吞吐量水平与 g7 相当。
  • 在多数查询测试中,g8y 的性能表现相较 g7 高出 30% 以上,同时在部分查询测试中,g8y 的性能表现相较 g7 高出 70% 以上;在一个查询测试中,g8y 的性能高出 83%。

image.png
图:RPS:每秒记录数

案例二 在云实例上部署 Elasticsearch

在基于 Arm 架构的倚天实例上部署 Elasticsearch,性能提升高达 36%!

Elasticsearch 是功能强大的开源、分布式搜索和分析引擎,以其速度、可扩展性和灵活性而闻名。该引擎用途非常广泛,包括全文搜索、日志记录和日志分析、实时分析等,在云环境中也十分普及。http_logs track 是 Elasticsearch Rally 基准测试工具中所使用的标准数据集和工作负载。它可以仿真典型网站服务器日志数据,非常适合在涉及日志数据提取和分析的场景中评估 Elasticsearch 性能。

此次测试是在 g8y 和 g7 两种不同类型的阿里云 ECS 实例上运行了 Elasticsearch http_logs track 测试用例,并比较了两者的差异。其中,g8y 搭载基于 Neoverse N2 的倚天 710 处理器;而 g7 则搭载第三代英特尔至强可扩展处理器。

测试环境

测试使用三个 xlarge 实例来运行 Elasticsearch 服务器,使用一个 4xlarge 实例运行 esrally 基准测试。g8y 和 g7 云实例的虚拟 CPU (vCPU) 数量和内存大小、操作系统以及 Elasticsearch/esrally 软件版本与配置均相同。

image.png

硬件信息:
image.png

软件版本和设置:
image.png

基准测试 esrally 设置:
image.png

测试结果
我们进行了约十次测试,以尽可能减少测试误差。最终呈现的数据是多次测试结果的平均值。测试结果表明:

  • 在最小值、平均值、中位数和最大值指标上,g8y 索引-追加 (index-append) 吞吐量比 g7 高出 36% 以上。
  • 在 p50 和 p90 级别,g8y 的服务时间比 g7 缩短了约 30%,而 p99 至 p100 服务时间与 g7 相似。
  • 当 hourly_agg 以相同的 0.20 ops/s 吞吐量运行时,g8y 的 p50、p90、p99 和 p100 服务时间比 g7 缩短 27% 以上。

总体而言,在 Elasticsearch 基准测试 esrally 的 http_logs track 测试用例中,g8y 的表现优于 g7。
image.png

image.png
图:Index-append 吞吐量提升

image.png
图:Index-append 服务时间提升

image.png
图:Hourly_agg 服务时间提升

由上述两个案例可以看出,在基于 Arm 架构的倚天实例上 Elasticsearch 和 Apache Flink 的性能表现,相较基于 x86 的 ECS 实例均有明显优势。Arm Neoverse 平台广受市场的关注与采用,应用范围涵盖云服务、高性能计算、5G/网络、边缘等众多细分市场。携手 Arm,我们将一同推动实现高性能、高能效和可持续的云计算。我们也将持续为你分享更多基于 Neoverse 平台的性能优化成果,敬请关注!

来源:Arm社区
推荐阅读
关注数
23565
内容数
1018
Arm相关的技术博客,提供最新Arm技术干货,欢迎关注
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息