ollama 部署deepseek

安装

MacOS 和 Windows 均有应用程序安装，Linux 系统有两种安装方式

1. 官方脚本直接安装

ollama 在 linux（Ubuntu）机器上部署，官网推荐脚本安装

curl -fsSL https://ollama.com/install.sh | sh

这种方式脚本执行时需要从 github 上下载文件，curl 连接 github 时容易出错，推荐第二种方式

2. 手动安装

下载并解压 ollama 压缩包，官方提供了多种 linux 版本，CPU 为 x86 架构的下载 amd64 版本，arm 架构的下载 arm64 版本

# 下载 ollama-linux-amd64.tgz 通过 -o 参数执行下载位置
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
# 解压下载完的压缩包
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

解压完成之后是一个 ollama 的可执行文件，查看 ollama 版本

ollama -v

手动启动 ollama 的方式

ollama serve

ollama 设置开机启动服务

① 官方推荐使用 ollama 用户启动

创建 ollama 的用户和用户组

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

创建 service 文件 /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target

启用 ollama 服务

sudo systemctl daemon-reload
sudo systemctl enable ollama

② 使用 root 用户

区别在 service 文件中指定的用户和用户组使用 root

至此，ollama 服务安装完成，可以下载模型来运行了

运行

使用 ollama 来部署模型非常简单，官方提供了很多模型可以直接来使用，deepseek 和 qwen 都可以很方便的运行，部署方式非常简单

# 启动
ollama serve
# 运行模型，模型文件自动下载
ollama run deepseek-r1
# 查看 ollama 运行日志
journalctl -e -u ollama

卸载

删除 ollama 服务

# 停止服务
sudo systemctl stop ollama
sudo systemctl disable ollama
# 删除服务
sudo rm /etc/systemd/system/ollama.service

删除 ollama 可执行文件，/usr/bin/ollama/usr/lib/ollama/usr/share/ollama

sudo rm $(which ollama)

删除 ollama 用户和用户组

sudo userdel ollama
sudo groupdel ollama

更改模型文件位置

ollama 默认的模型文件下载位置 ~/.ollama/models

创建自定义的模型文件存储位置：

mkdir -p /path/to/ollama/models
sudo chown -R root:root /path/to/ollama/models
sudo chmod -R 775 /path/to/ollama/models

修改 service 文件，增加 Environment="OLLAMA_MODELS=/path/to/ollama/models"

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_MODELS=/path/to/ollama/models"

[Install]
WantedBy=default.target

修改 service 文件之后，需要重新挂载启动 ollama 服务

sudo systemctl daemon-reload

将原本的 ~/.ollama/models文件下的所有文件放到新的指定 /path/to/ollama/models目录下，即可完成模型的迁移，查看已下载的模型文件

ollama list

其他 ollama 的常用指令

ollama serve         #启动ollama
ollama create        #从模型文件创建模型
ollama show          #显示模型信息
ollama run           #运行模型
ollama pull          #从注册表中拉取模型
ollama push          #将模型推送到注册表
ollama list          #列出模型
ollama cp            #复制模型
ollama rm            #删除模型
ollama help          #获取有关任何命令的帮助信息