简介
生成式人工智能在科技领域发挥着重要作用，企业已开始将大型语言模型（LLM）集成到云端和边缘应用中。在引入 Gen AI 之后，许多框架和库都得到了发展。然而，PyTorch 作为一个流行的深度学习框架，在许多组织中脱颖而出，成为其人工智能应用的首选库。通过部署 Arm Kleidi 技术，Arm 正在努力优化 PyTorch，以加快在基于 Arm 的处理器上运行 LLM 的性能。Arm 正在简化开发人员访问 Kleidi 技术的方式，将其直接集成到 PyTorch 中。
作者：Nobel Chowdary Mandepudi
文章来源：https://community.arm.com/arm-community-blogs/b/infrastructure-solutions-blog/posts/llm-inference-demo-with-pytorch-on-arm-neoverse-v2
欢迎大家点赞留言，更多Arm技术文章动态请关注极术社区Arm技术专栏欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。
