本文介绍了我们在使用 Arm I8MM 指令集优化 Llama.cpp 中 Q6_K 和 Q4_K 量化模型推理的实践。具体来说,主要采用的是带有累加功能的有符...
在 GCC 15 版本中,Arm、GCC 社区以及我们的合作伙伴持续在基于 Arm 平台的代码生成方面进行创新和优化。GCC 15 延续了对控制流矢量化的...
机器人早已不再局限于工厂车间或科幻电影,它们已经融入人们的日常生活,或许是客厅里默默工作的扫地机器人,又或是在超市里引导顾客完...
本文介绍 Adaptive-k 检索技术,这是一种通过相似性分布分析动态确定最优上下文规模的即插即用方法,该技术在显著降低 token 消耗的同时...
我们很高兴地宣布推出 Arm 性能库 25.04 和面向 Linux 的 Arm 工具链 20.1。在本博客中,我们将介绍如何获取这些版本、产品的新功能以及...