使用Ollama管理和运行大模型

AI应用

选择芯片

Ollama 是一个基于llama.cpp的高层封装工具，它提供了简单的方式来加载和使用各种预训练的语言模型，支持文本生成、翻译、代码编写、问答等多种自然语言处理任务。

核心功能与特点

多种预训练语言模型支持：Ollama 提供了多种开箱即用的预训练模型，包括常见的 GPT、BERT 等大型语言模型。
易于集成和使用：Ollama 提供了命令行工具（CLI）和 Python SDK，简化了与其他项目和服务的集成。
本地部署与离线使用：Ollama 允许开发者在本地计算环境中运行模型，脱离对外部服务器的依赖，保证数据隐私。
支持模型微调与自定义：用户可以在此基础上进行模型微调，根据自己的特定需求使用自己收集的数据对模型进行再训练。
性能优化：Ollama 关注性能，提供了高效的推理机制，支持批量处理，能够有效管理内存和计算资源。
跨平台支持：Ollama 支持在多个操作系统上运行，包括 Windows、macOS 和 Linux。
开放源码与社区支持：Ollama 是一个开源项目，开发者可以查看源代码，进行修改和优化，并参与社区贡献。

Ollama 安装

curl -fsSL https://ollama.com/install.sh | sh

该操作依次执行安装Ollama、创建用户、创建Ollama系统服务以及启动服务等操作。

也可以本地构建Ollama，请参考官方文档。

使用方法

下载模型

ollama pull deepseek-r1:1.5b

该操作会下载deepseek蒸馏得到的Qwen 1.5B模型，并对模型进行sha256校验。

pulling manifest
pulling aabd4debf0c8... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 GB
pulling 369ca498f347... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏  387 B
pulling 6e4c38e1172f... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏  148 B
pulling a85fe2a2e58e... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏  487 B
verifying sha256 digest
writing manifest
success

运行模型

执行命令 ollama run xxx_model 会直接运行模型，如本地没有模型缓存会自动通过互联网下载模型文件并运行。

radxa@orion-o6:~$ ollama run deepseek-r1:1.5b
>>> tell me a story about Ollama in 128 words
<think>
Okay, so I need to write a 128-word story about Ollama. Hmm, where do I start? I'm not super familiar with the Ollama AI, but from what I know, it's another conversational AI that can understand and
generate text in various languages. It might be used for creative writing or storytelling.

I wonder who would be interested in such a story. Maybe a writer looking for a fun, ……

输入\bye可退出模型运行。

显示模型信息

执行命令 ollama show deepseek-r1:1.5b 可显示模型的名称、参数量、上下文长度配置、量化格式等信息。

radxa@orion-o6:~$ ollama show deepseek-r1:1.5b
  Model
    architecture        qwen2
    parameters          1.8B
    context length      131072
    embedding length    1536
    quantization        Q4_K_M

  Parameters
    stop    "<｜begin▁of▁sentence｜>"
    stop    "<｜end▁of▁sentence｜>"
    stop    "<｜User｜>"
    stop    "<｜Assistant｜>"

  License
    MIT License
    Copyright (c) 2023 DeepSeek

列出已下载的模型

运行 ollama list。

ollama listradxa@orion-o6:~$ ollama list
NAME                ID              SIZE      MODIFIED
deepseek-r1:1.5b    a42b25d8c10a    1.1 GB    29 minutes ago

列出已加载的模型

radxa@orion-o6:~$ ollama ps
NAME                ID              SIZE      PROCESSOR    UNTIL
deepseek-r1:1.5b    a42b25d8c10a    1.6 GB    100% CPU     About a minute from now

停止正在运行的模型

ollama stop deepseek-r1:1.5b

删除模型

ollama rm deepseek-r1:1.5b

参考信息

更多关于 Ollama 的详细资料，请参考官方文档

AI 开放平台