回顾上一篇《AI 场景的存储优化之路》中,我们分析了AI场景中分布式文件存储面临三大挑战:海量文件、小文件访问性能、目录热点,其中对...
海量文件,训练模型的精准程度依赖于数据集的大小,样本数据集越大,就为模型更精确提供了基础。通常,训练任务需要的文件数量都在几亿...
目前大多数FPGA都有内嵌的块RAM(Block RAM),可以将其灵活地配置成单端口RAM(DPRAM,Single Port RAM)、双端口RAM(DPRAM,Double Ports ...
使用OMI从内存、存储和IO中解耦合计算目录- OMI内存接口的容量和带宽优势- POWER10的OMI& HBM支持、PowerAXON内存集群- OCP的OAM-HPC...
在上一篇《如何实现支持百亿级文件的分布式文件存储》中,我们简单“鸟瞰”了实现支持海量文件的分布式文件存储的关键思路,本文我们开始...
举一个简单的例子,我们如何识别一个数字(图片)是数字9呢?非常直观的方法就是上面有一小圆圈,下面有一个竖线。但是如果写的倾斜了一...
MPI(Message Passing Interface),是开发者们在高性能计算程序中,用于在参与计算的不同CPU、或服务器节点之间进行消息传递的一组规范...
顺序预读(prefetch,在Linux中也称为预读,read ahead)是一种用于提升顺序读性能的技术,用于缩小存储设备和应用程序之间巨大的效率差...
最近,有不止一位读者朋友希望我分享NVMe RAID卡的性能表现。记得在5年前,我写过一篇《存储极客:服务器SSD RAID__性能速查手册》,当...
有状态应用(Stateful Application)通常是指有持久化存储需求的各种应用,各种数据库就是最常见的有状态应用。而无状态应用则与有状态...
在以容器为应用运行载体的Kubernetes平台上,运行AI训练和推理任务,正逐步成为AI厂商以及AI应用在企业落地的热点和首选。这两年,国内...
以往,我们总是纠结于计算能力的问题,比如我们追求更高的芯片主频、更高的计算效率,希望获得更强的处理能力。但是伴随着大数据时代的...
QoS对于服务多租户多业务的整体系统来说,不管对网络还是存储,都格外重要,没有QoS,会造成不同租户及业务之间对资源的抢占,用户A用爽...
容器技术改变了应用交付、运行的方式,几乎各种Linux环境下的应用程序都可以使用容器来运行。但是否能在容器环境里运行数据库应用,以及...
毫无疑问,过去几年无论是以OpenStack为代表的私有云市场,还是以Kubernetes为代表的容器云市场,无不是依托开源和开放的新模式,成为了...
当今数字芯片技术飞速发展,数字半导体芯片已经渗透到社会生活的各个领域,从消费电子产品、工业自动化设备到航天技术都能看到半导体芯...
近年来,互联网、IT技术正在带动整个汽车产业迎来深刻变革。在此之前,信息技术帮助汽车行业完成了设计、供应链、营销等体系的数字化和...
文件系统是最常用的数据存储形式,所以,常用Linux操作系统的用户必然知道ext4、xfs等单机文件系统,用Windows操作系统的用户也都知道NT...
如何提升存储系统的性能是一个对存储工程师们来说是永恒的大命题,解决这个问题并没有一击即中的银弹,IO性能的优化都在细节里。今天我...
Kubernetes Scheduler 的作用是将待调度的 Pod 按照一定的调度算法和策略绑定到集群中一个合适的 Worker Node(以下简称 Node) 上,并...
作者注:Server SAN是软件定义存储的一个分支,也是超融合架构的基石。2016年夏天,我以足球和篮球作比,由整体到局部探讨Server SAN的...
很多刚刚进入存储行业或者想要转行到分布式存储行业的工程师,经常有困惑,就是“一名分布式存储工程师的技能树是怎样的?”
2月中旬,“百年不遇”的寒潮席卷美国德克萨斯州,德州电网宣布进入历史上最为严重的供能危机,从芯片生产到人民的生命安全,都受到严重的...
随着2013年3月Docker 0.1版本发布以及2015年Kubernetes容器编排框架的开源,容器技术发展走上了快车道。容器架构的敏捷、轻简和高度兼容...
刚刚过去的2020年,突如其来的疫情给中型企业的生存和发展带来了巨大的冲击和改变。背后的原因既和中型企业规模相对偏小、抗风险能力偏...
随着计算、存储以及网络等技术的不断发展,数据存储方式开始不断变化。对于需要大量数据的业务应用来说,服务器内置存储空间,或者说内...
毫无疑问,过去几年,随着云计算进入到全面爆发的阶段,行业客户对于云的接受程度正稳步提升。与此同时,越来越多的企业和机构也正开始...
2020年,国家在《关于构建更加完善的要素市场化配置体制机制的意见》中,首次将数据与土地、资本、劳动力并列为关键生产要素,并提出加...
作为第一个大规模商用的、最有希望接续NAND的下一代存储介质,最近这两三年Intel在傲腾上的投入不可谓不大。Intel甚至在2020年10月宣布...
自2018年开始,整个中国汽车市场“疲态”初显,并迎来了28年来的首次市场负增长,这也成为了整个中国汽车行业加速转型的关键节点。基于此...