llama.cpp部署汇总
本文主要汇总各类硬件设备中成功部署并运行llama.cpp的部署文档。
llama.cpp介绍
llama.cpp是一个高性能的开源大语言模型推理框架，由开发者Georgi Gerganov基于Meta的LLaMA模型开发，使用纯C/C++ 实现，旨在让大语言模型能够在各种硬件平台上高效运行，特别是消费级设备和边缘设备。
主要特点：
- 模型量化：提供模型量化的工具，可以将模型参数从 32 位浮点数转换为 16 位浮点数，甚至是 8、4 位整数，从而减少模型大小并显著提高推理速度。
- 跨平台支持：支持广泛的硬件平台，包括x86_64 CPU的AVX、AVX2和AVX512支持，通过Metal和Accelerate支持Apple Silicon（CPU 和 GPU），以及NVIDIA GPU（通过 CUDA）、AMD GPU（通过 hipBLAS）、Intel GPU（通过 SYCL）、昇腾 NPU（通过 CANN）和摩尔线程 GPU（通过 MUSA）等。
- 高性能推理引擎：使用C语言编写的机器学习张量库ggml，能够高效地处理大规模的张量运算，从而加速模型推理。
- 无需GPU：即使在没有GPU的情况下，也能在CPU上运行大语言模型，降低了部署门槛。
部署文档汇总
