在自己电脑上运行deepseek-r1
第一部分
1.下载Ollama。
ollama是专门用于运行各种大模型的软件,打开ollama官网https://www.ollama.com/,点击下载按钮。
按照操作系统的类型下载相应的版本,本机的操作系统是Windows10,下载的是Windows版本。
2.安装Ollama
双击下载好的安装文件OllamaSetup.exe
点击Install按钮,进入开始安装程序。
等待安装结束即可。
3.测试Ollama是否安装成功
打开命令行窗口,按下Win键+R键,输入cmd,然后回车。
在命令行输入ollama回车,看到这个界面表示成功安装Ollama。
4.下载deepseek-r1模型
在ollama网站(https://www.ollama.com/)上点击Models,打开的界面看到的是Ollama目前支持的所有开源大模型,可以看到deepseek-r1模型。
点击deepseek-r1,可以看到下载deepseek-r1模型的方法。
第1个红框是deepseek-r1目前可以下载的模型大小,数字越大能力越强,所需要的电脑配置也越高。第2个红框是本次要下载的模型,第3个红框是对应要下载模型的命令。只需要复制该命令到命令行窗口运行即可。
如在上图中的第2个框选中1.5b,然后复制第3个框的命令ollama run deepseek-r1:1.5b,在命令行窗口粘贴,回车。
等待安装结束。
5.开始问答
完成安装后可以在命令行窗口直接对deepseek-r1模型输入问题进行提问。本机是五代i5的CPU,12G的运行内存,运行deepseek-r1:1.5b响应速度还行。
第二部分
在第一部分中已经完成Ollama运行deepseek-r1,如觉得可以接受命令行输入问题提问,可以不看第二部分。
在第二部分中要实现的是使用浏览器来进行问答,还可以方便地管理对话记录和选择其他大模型甚至是创建自己的知识库等。为方便普通用户也能够操作,浏览器操作界面软件选择的是chat-ollama,安装方式选择的是使用docker进行安装。
1.配置Windows环境
点击开始,输入启用或者关闭Windows功能,选择最佳匹配。
勾选Hyper-V和适用于Linux的Windows子系统和虚拟机平台三项。然后点击确定退出。
2.下载docker软件
打开docker官方网站https://www.docker.com/,点击Download Docker Desktop 按钮。按照自己电脑的情况,本机选择的是Download fro Windows-AMD64版本。
3.安装docker软件
双击下载好的安装文件Docker Desktop Installer.exe
点击OK按钮开始安装
完成安装需要重新启动电脑。
4.配置Docker
第一次启动需要同意协议才能使用Docker。
然后在下图点击Finish按钮
然后点击右上角的跳过(Skip)或者选择Personal登陆。
5.安装chat-ollama
在电脑的D盘创建一个文件夹docker,在文件夹下创建chat-ollama文件夹,在文件夹下新建文件docker-compose.yaml。
结构如下:
docker-compose.yaml内容如下:
可以通过该网址下载docker-compose.yaml文件。
https://github.com/sugarforever/chat-ollama/blob/main/docker-compose.yaml
点击右下角的Terminal,点击Enable按钮,启动命令行窗口。
使用cd命令切换到docker-compose.yaml所在的路径D:\docker\chat-ollama,输入并执行命令:docker compose up
等待运行结束。
6.运行chat-ollama
打开浏览器输入网址:http://localhost:3000/
点击设置,在端点输入
http://host.docker.internal:11434/,点击保存按钮。如下图:
切换到模型,如果可以看到已经下载好的模型,证明可以与ollama正常通讯了。
7.进行对话
点击对话,在左下角选择对话的模型,输入问题即可正常与大模型对话。
若有收获,就点个赞吧
相关文章
- YAMLException: 解决java.nio.charset.MalformedInputException
- 如何校验K8S Yaml文件
- springboot整合redisson(一)搭建Redisson环境
- python unittest框架参数化学习
- x-cmd pkg | yq - 命令行 YAML处理工具
- Kubernetes:通过轻量化工具 kubespy 实时观察YAML资源变更
- Docker新手福音!这个开源控制面板让你更快上手Docker
- 如何搭建接口自动化测试框架?
- Spring Boot中通过@PropertySource注解读取yaml或yml配置文件
- Python 自动化处理 Yaml 文件