实验室服务器利用docker部署Llama3本地拉取打包上传流程

整体思路：

准备工作，xshell连接服务器，下面的对服务器上的操作都是在xshell上面输入指令。我这里是Linux的服务器，学校的内网下直接输ip端口号连接输入密码就可以。（xshell是B站找的免费的）

目前用的是学校的服务器，docker还有显卡是默认配置好了的。所以不用进行前面的配置操作。

如下图所示就连接成功了 

首先使用(1)docker从 Docker Hub拉取ollama/ollama 镜像运行：（一般直接拉取不行）

直接拉取会遇到网络问题，一般是国内网，在电脑上用梯子不行。

可以修改docker配置文件，添加阿里云镜像，但是没有权限修改，（ubuntu的安全策略限制了）目前找到以下本地拉取后打包传输的解决方法。

（前三步就是在自己电脑上不用服务器进行）

目录

1. 在一台可以访问 Docker Hub 的机器上拉取镜像（即不登服务器在自己电脑上用docker拉取）

2. 导出镜像为 tar 文件

3. 将 tar 文件传输到目标服务器（这里需要和服务器在一个局域网内，就是连服务器时登录内网）

4. 在目标服务器上加载镜像

1. 在一台可以访问 Docker Hub 的机器上拉取镜像（即不登服务器在自己电脑上用docker拉取）

操作步骤：

确保你有一台能够正常访问 Docker Hub 的机器（例如你的本地电脑或其他服务器）。

使用以下命令从 Docker Hub 拉取 ollama/ollama 镜像：

docker pull ollama/ollama

验证是否成功：

检查镜像是否已经成功拉取到本地：

docker images

2. 导出镜像为 tar 文件

操作步骤：

使用 docker save 命令将镜像导出为一个 .tar 文件：

docker save -o ollama.tar ollama/ollama

检查当前目录下是否生成了 ollama.tar 文件：

ls -lh ollama.tar

3. 将 tar 文件传输到目标服务器（这里需要和服务器在一个局域网内，就是连服务器时登录内网）

操作步骤：

使用 scp 命令将 ollama.tar 文件从当前机器传输到目标服务器：

如果你不知道目标服务器的路径，可以直接传到用户的家目录：

scp ollama.tar qxiao@lab10x3090:~

登录到目标服务器，检查文件是否已成功传输（这里开始在服务器上操作）：

ls -lh ~/ollama.tar

4. 在目标服务器上加载镜像

操作步骤：

登录到目标服务器（如果尚未登录）。

使用 docker load 命令加载 .tar 文件中的镜像：

docker load -i ollama.tar

验证是否成功：

检查镜像是否已成功加载到目标服务器：

docker images

加载镜像后，使用以下命令运行容器：

docker run -d -v ollama:/root/.ollama -p 11434:11434 –name ollama ollama/ollama

最后进入容器拉取运行模型（可以根据自己需求拉取70B或者小一点的，（我这里是之前还有一个ollama镜像冲突了所以改了名字new））：

docker exec -it ollama ollama run llama3

最后这样就成功部署啦！（完结撒花）

新手小白参考csdn上其他博主完成，开始接到这个小任务连docker怎么用完全不知道，最开始是直接用官方ollama指令下载，实在太慢了根本不行。还有就是一直权限限制，在王师兄的指导下才使用docker再不断尝试才成功。真的十分感谢王师兄的耐心解答！还有我自己电脑docker也一直有问题启动不了，同样非常感谢biubiu帮忙拉取打包上传。最后不得不感谢通义大模型帮我分析解决问题，赞!

下一步尝试微调大模型，争取调教出更拽的霸道总裁。哈哈哈哈，敬请期待……