CPU: I7-11700

内存：24G

显卡：RTX 3070TI

1.部署ollama

官网地址：https://ollama.com/

1.1通过在线一键安装的方式

$ sudo apt  install curl

$ curl -fsSL https://ollama.com/install.sh | sh

安装成功后，启动ollama，查看版本并进行curl测试

1.1更改ollama配置信息

vim /etc/systemd/system/ollama.service

默认仅允许本机，localhost访问，更改后可通过局域网访问

2.ollama下载qwen2.5:7b模型

qwen2.5地址：https://qwen.readthedocs.io/en/latest/getting_started/quickstart.html

ollama run qwen2.5:7b        

安装成功后进行问题测试

3.open-webui的部署

项目地址：https://github.com/open-webui/open-webui

3.1 使用docker部署

运行支持 Nvidia GPU 的 Open WebUI，使用以下命令：

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

3.2 运行报错：

docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].

解决该问题还需要安装：Nvidia-docker

参考英伟达官网文档，顺利解决，docker部署成功。

输入地址访问：
http://192.168.1.34:3000

3.3注册并登录

使用测试OK

基本搭建完成，可提高一定的生产力。

文档和图片功能，需要其它模型和插件，模型还需训练，后续更新。