作为公认的“计算金字塔尖上的明珠”，过去的高性能计算HPC主要应用于科研院所，集中在计算密集型的场景如石油、气象、材料、物理和地球科学计算等领域。
而随着HPC技术的成熟与逐渐商业化，也开始向互联网和传统行业不断地渗透和融合，推动了工业4.0、智能语音、人脸识别、智慧医疗、可穿戴设备等各个领域的快速发展。
这些服务创新加速了线上线下协同和产业链上下游的协作创新，驱动了大数据分析和AI在诸多行业的应用和发展。按照Hyperion Research最新发布的报告显示：HPC整体市场预计在未来五年（2019-2024 年）将以6.8%的复合年增长率（CAGR）增长，其中高性能数据分析HPDA的市场份额（包括支持HPC的人工智能）预计将以5年平均17%的CAGR迅猛增长，而AI份额的5年CAGR则达到更高的33%。
HPC正走向HPC数值计算、大数据知识挖掘、AI训练推理相结合的HPDA高性能数据分析时代，多样化的分析应用给数据存储带来性能、协议、容量的全新挑战。例如，能源勘探、生命科学、气象海洋、制造CAE、超算中心等，都是从海量的数据中探索人类和宇宙的未来。我们知道，HPDA和AI代表了典型的数据密集型业态，所以未来HPC市场的焦点已从计算密集型负载向数据密集型负载转变。
从计算到数据,是HPC市场发展的必然
从以计算为中心到以数据中心，HPC正在发生具有转折性意义的演进，这是数据密集型应用需求的驱动，也是大数据、AI等技术发展使然。
而从数据自身的角度，又发生了哪些变化呢？
首先，数据量的不断增长。例如，气象预测需要历史数据与实时监测数据的结合以实现精准预测，并且数据越多准确率越高。医疗企业基于海量的历史数据，可以快速研发新药。而L4级自动驾驶数据量本身就高达EB级。
其次，数据可靠性要求更高。HPC承载的大都是“大国重器”，很多科研项目在计算中，不能接受中断或者失误，任何一次小的故障都会带来不可挽回的巨大损失。
第三，数据负载变得多样化。随着HPC和应用场景的融合，业务负载也变得更加复杂，不同处理环节高带宽与高IOPS诉求并存。最典型的就是自动驾驶，数据采集、导入、标注、的数据标注环节是高带宽负载，而训练环节则需要高IOPS。
不难发现，这些HPC新的技术趋势，每一项都与“数据”密不可分。这也代表了从计算密集型负载向数据密集型负载，这一趋势的准确性。
与此同时，“数据密集型”HPC的发展对存储提出了更高要求，存储系统成为制约数据分析效率提升的关键。
存储成为HPC整体发展的制约因素
Hyperion Research的调查发现，随着数据密集型应用和负载的不断普及，对HPC生态系统的需求也不断地发生变化。HPDA/AI的快速发展同样也推动着传统HPC建模/仿真应用的不断转型。HPDA/AI/ML/DL技术产生越来越多的数据，给现有的HPC存储生态系统带来巨大压力，要解决和优化这两种类型的负载就需要高度关注HPDA存储基础设施。
首先，我们看到，在HPC细分设备的发展路线上，存储是广义HPC市场中增长最快的领域，约占本地HPC市场支出的20%，这说明HPDA存储的发展将成为制约整个HPC市场发展的关键要素。
其次，HPDA存储的增长需求有赖于HPDA/AI的发展驱动。数据显示，HPDA存储的复合年增长率为通用HPC市场的2倍，而AI存储的复合年增长率几乎为通用HPC市场的4倍。按照Hyperion Research的预测，到2024年HPDA存储的估摸将达到HPC整体市场的42%，按照这个发展势头，将很快成为市场的主导。
第三，HPDA/AI基础设施的应用与日俱增，来源于几个方面：E级超级计算机对国家工业和经济产生的重要影响；传统HPC应用的更高精度建模和仿真正在产生越来越多待分析和存储的数据；机器学习和深度学习中，新硬件、算法、应用和场景，激发出更多HPC的需求；HPC和企业计算的不断融合；数据密集型HPC负载推动的新的存储需求。
场景为先,应对HPDA对存储的挑战
HPDA其实并不是一个新概念。早在2014年，IDC就已经提出了相似性的理念。
简单的说，HPDA泛指利用HPC资源的数据密集型负载，包括大数据和AI负载。HPDA问题的特点是数据量大、时效性强以及算法复杂，其中AI负载是HPDA问题的一个重要子集，增长迅速，HPDA问题寻求从数据本身而不是主要从仿真物理模型中提取价值。
某些垂直领域的应用比其他应用更倾向于采用和利用HPDA（包括支持HPC的AI技术），如航空航天，加速设计新飞机的仿真，包括为不同的设计挖掘新的解决方案空间；生物生命科学，通过开发基于AI的模型来帮助诊断和治疗疾病，从而加速药物研发；自动驾驶，通过在已完成的参数化建模和数据处理中“规模优化”仿真需求，增强CFD、碰撞、NVH和实体的建模等等。
如前文所分析的，HPDA和AI负载一直在推动HPC系统需求突破传统HPC系统架构负载的需求，跨越HPC系统架构的所有要素。尤其是对存储的需求已经让传统HPC存储解决方案达到性能极限，亟需进行多方面创新。
例如，用于传统建模和仿真的传统HPC存储通常包括项目文件共享、Scratch和归档的负载，AI工作流程则带来一组不同的负载：数据收集和注入、数据准备、训练、推理和归档。有的拥有像传统HPC负载那样的存储属性，而有的则推动了新的或更严苛和极端的要求。
再比如，HPC和AI负载通常表现出不同的I/O模型。传统的HPC负载通常基于顺序大I/O型，而AI负载需要顺序大和随机小I/O型的混合，用于AI数据集标记的元数据管理需要快速的随机小I/O型。
与此同时，应用场景还催生了各种耐用性和弹性解决方案需求。归档需要极具高性价比的解决方案，没有苛刻的性能要求。传统的临时应用需要高性能，能够将临时结果转移到持久存储以防止出现故障。AI和HPDA解决方案需要混合存储需求满足高性能、瞬态存储和持久弹性存储的要求，包括大块顺序和小块随机I/O模型的平衡混合。
最后，数据类型和访问方法推动了对不同类型存储系统的需求发展。结构化和非结构化数据采用不同的访问方式，如文件、块和对象协议。每种访问方式都需要独特的协议支持，通常，这些协议由多个独立的专用系统或一个系统内的不同单元提供，数据通常需要保存多个副本。
形成从数据到数据的价值闭环
客观地说，随着HPC与场景结合的案例的不断激增，既需要强大的算力，同时也需要计算系统负载和处理差异化明显的不同数据。我们已经可以看到，在自动驾驶、基因测序、电影渲染、精准天气预报、金融反欺诈等领域，HDPA都有着广泛的应用前景，这使得从HPC到HDPA的演变具备一种必然性。
存储技术的发展也将推动HPDA的创新，同时HPDA负载将会产生越来越多的数据，并且不断地提升数据利用率，进一步释放数据潜力。这其实形成了一种从数据到数据的价值闭环。
正因为这种演变是建立在数据价值之上，而数据价值更多将反应在业务价值上。
因此我们建议，使用数据密集型负载的用户最好考虑采取专为HPDA设计的存储解决方案，或者选择可以同时满足HPDA和传统HPC建模/仿真负载的更通用的存储系统。
同时，存储供应商要想在数据密集型HPC市场取得成功，他们需要充分了解并满足HPDA负载对系统提出的超出传统HPC建模/仿真要求的需求。
从计算到数据的演变，让存储变成了HPC市场发展的明星，HPDA存储也是“数据密集型”这顶王冠上面的那颗“明珠”。
