面向FaaS的算网异构算力调度技术

https://mp.weixin.qq.com/s/UMiaNS5sNup_2iDS-JBeWw

作者简介

李铭轩：中国联通研究院高级工程师，美国IEEE高级会员，CCF高级会员，从事技术研发和标准跟踪工作；主要研究方向为云计算技术，大数据技术，业务平台技术和IT支撑系统技术；参与CCSA、GSMA、ITU等国内外标准组织的会议。

引言

国家发改委等四部门联合发布《全国一体化大数据中心协同创新体系算力枢纽实施方案》，提出在京津冀、长三角、粤港澳大湾区、成渝以及贵州、内蒙古、甘肃、宁夏建设全国算力网络国家枢纽节点，启动实施“东数西算”工程，构建国家算力网络体系。

图1 “联接+计算”构建国家新基建战略核心

什么是算力网络

在国内如火如荼开展新基建发展之际，其核心要素就是“连接+计算”，所谓连接，就是通过5G、承载网等新型网络连接形式能够构建一张面向应用、面向业务的网络，并且通过网络来建立连接，传递数据和信息；而计算就更不用说了，已经成为国民经济最基本的生产资料。而传统的网络（CT）和计算（IT）的技术发展都是按照各自的技术路线演进。用户如果需要申请网络和计算需要分别申请相关的资源。而伴随着ICT云网融合技术的发展，CT和IT逐渐开始借鉴对方的技术优势形成融合发展的态势。传统的云网融合则是在传统云计算技术的基础上统一构建云计算和网络的资源统一管理和编排。算力网络作为云网融合发展的下一个阶段，也算是云网融合2.0，更加强调网络的编排和管理能力，促进了资源供给模式的变革，进而发展为以网络为中心的融合资源供给模式，用户向网络要资源，通过网络来编排管理计算资源。

640 (1).png
图2 算力网络资源供给模式变革

什么是异构算力

什么叫“算力”？算力就是计算能力，可以概括为对数据进行的运算处理，而信息时代的根基就是计算，不论是使用手机发送微信、上网、订外卖等生活场景，还是研究机构里使用超级计算机分析基因研究的科研场景，亦或是企业使用数据中心进行大数据处理的政企应用场景，落到芯片中，其实都是数字比特信息的运算处理。

异构算力是伴随着面向算力网络的泛在连接，算力呈现异构性的趋势。另一方面，随着芯片以及硬件的开源化，不同的设备厂商结合不同的场景，设计并开发了适合的计算芯片进行数据处理。从而促进了算力市场从传统的通用性向专用性的趋势发展。

面向海量的异构算力，不同的场景需要不同的算力进行协同处理。通过算力网络来协同和纳管调度异构算力，构建起“云、边、端”一体的异构算力协同网络，从而更好的满足包括高性能计算、物联网、边缘计算、人工智能等众多场景的算力需求。

640 (3).png
图3 异构算力满足多场景需求

什么是FaaS

算力的纳管和协同调度离不开云计算和云原生，在算力网络中采用云计算和云原生来实现“云、边、端”的算力统一纳管和资源调度是目前实现异构算力共享的主流技术手段。

640 (9).png

随着云计算和云原生技术的发展，进一步屏蔽底层算力和服务能力的差异化，为上层应用提供无差别的服务能力是未来云计算发展的趋势，Serverless目前是在行业内关注比较紧密的未来云原生技术发展的演进方向，号称是云原生发展的下一个十年。所谓Serverless是一种构建和管理基于微服务架构的完整流程，允许在服务部署级别而不是服务器部署级别来管理应用部署。与传统架构不同的之处在于，服务完全由第三方管理，由事件触发，存在于无状态（Stateless）、暂存计算容器内。

FaaS（Function as a Service，函数即服务）和BaaS（Backend as a Service，后端即服务）目前是Serverless技术发展所涵盖的两个主流方向，其中FaaS意在无须自行管理服务器系统或自己的服务器应用程序，即可直接运行后端代码。随着云计算服务能力开放和函数能力开放，通过函数服务的形式对外提供中台能力逐渐成为主流，因此，在现有的云原生能力开放架构中FaaS得到广泛应用。

其中最著名的Knative是谷歌开源的Serverless架构，由于其谷歌等互联网大厂的推广，因此在目前开源社区和行业中得到广泛关注和应用，并且和Kubernetes编排平台天然适配，更加推动了Serverless发展。

640 (4).png

目前除了Knative框架之外，还有其他几个比较著名的Serverless开源框架，诸如OpenFaaS等。其轻量化架构在物联网、边缘计算等场景下得到广泛应用。

面向Serverless的异构算力的最新成果

近年来在学术界，也在普遍考虑Serverless和异构算力进行结合。通过Serverless进一步屏蔽异构算力的差异性，从而更好的为不同算力之间的调度提供无差别的服务函数接口来实现不同算力的协同。

FDN（Function Delivery Network）函数交付网络是中山大学李鹏飞教授团队提出的面向异构算力的函数协同架构。在2021年 IEEE 41st ICDCS会议上该团队发表了《Function Delivery Network：Extending Serverless to Hetergeneous Computing》论文，提出了通过FaaS平台来实现云计算、边缘计算、异构设备、高性能计算和公/私有云等能力开放，并且通过FDN网络来实现函数声明和调度。开发者和用户直接在FDN进行应用开发和资源请求，而不需要面向不同的异构计算资源分别进行资源申请和部署，大大降低了使用者门槛。

640 (5).png

除此之外，在2022年ACM的ASPLOS会议上，来自上海交大以及美国南加州大学的几篇论文也是围绕Serverless在异构算力方面的相关成果展示的，得到了业界的广泛关注。

640 (6).png

综上所述，围绕通过Serverless 进一步屏蔽底层异构算力的差异性，如何实现更好的算力协同和算力部署，以及发挥异构算力的算力效能目前是新技术发展的热点领域，随着我国一体化算力枢纽计算中心的大规模建设和部署，需要考虑算力节点之间的协同问题以及差异化问题。同时也需要考虑，如何为用户提供无差异化的服务环境，从而进一步降低用户的使用门槛，更加专注于业务代码的开发和服务创新。

本文的主要技术架构

本文正是基于算力网络技术的发展，结合最新的云原生Serverless模式提出了面向FaaS的算网异构资源调度技术，提出了整体的技术架构和异构算力调度机制，并且在此基础上进一步提出了整体平台功能架构，以期解决在目前算力网络异构算网融合条件下通过FaaS对上层应用进一步实现算力网络能力开放的问题。

640 (7).png

异构算力相关研究成果

中国联通研究院是行业内较早从事算力网络的研究团队。一方面，关注于IPv6、CFN和SRv6等新型网络的研究；另一方面，同时也关注异构算力的研究。在算力网络架构下，如何通过新型网络来实现“云、边、端”的异构算力协同和统一纳管。

2021年，中国联通算力网络团队在业界首次提出了异构算力统一标识和服务化，并且发布了业界首本关于异构算力的白皮书《异构算力统一标识与服务白皮书》；2021年，提出了异构算力标识体系，并在CCSA成功立项异构算力系列标准立项。同年在ITU-T SG13成功立项《Computing power authentication scheduling architecture》。

目前，中国联通正在和ARM、微软等国际厂商合作，联合在开源社区推进基于FaaS的算网融合设备的边缘能力开放。

640 (8).png

目前本团队积极将开源项目EdgeFaaS引入算力网络技术架构中，通过和SONiC集成，实现算网融合设备的算力纳管和能力开放，通过算网融合设备提供边缘网络开放能力和异构算力纳管，将边缘侧的能力开放以函数申明的形式发布到网络中，用户通过访问请求来调用边缘服务，从而实现了一台网络设备实现边缘侧的能力开放。目前该项目正在稳步推进中，相关成果后续会持续发布。