华为云ModelArts服务器使用OBS桶指南

华为云ModelArts服务器使用OBS桶指南

作者在使用华为云服务器时，碰到较大的数据集通过服务器 OBS 中转接口上传失败的问题，固尝试使用 OBS 服务手动在终端下载数据集。（这个方法在本地 Linux 系统和其他云端 Linux 服务器应当都是适用的）另外需要注意，在本文章中仅简述使用流程，详细的使用文档请于华为云官网控制台中查看： 通过obsutil命令行工具快速使用OBS

一、下载 Obsutil

obsutil 是一款用于访问华为云对象存储服务（OBS）的命令行工具，对于熟悉命令行的用户，obsutil 能在执行批量处理、自动化任务的场景中为您带来更优体验。 首先我们要下载 obnsutil （华为云 obsutil 下载地址），针对不同的操作系统下载对应版本，这里我们以 linux x86_64 为例。

wget https://obs-community.obs.cn-north-1.myhuaweicloud.com/obsutil/current/obsutil_linux_amd64.tar.gz

tar -xzvf obsutil_linux_amd64.tar.gz

cd obsutil_linux_amd64_x.x.x

chmod 755 obsutil

您必须为 obsutil 增加可执行权限，否则会在查询 obsutil 版本号时出现 No such file or directory 报错。

./obsutil version

二、获取访问密钥

• 请及时下载保存，弹窗关闭后将无法再次获取该密钥信息，但您可重新创建新的密钥。
• 当您下载访问密钥后，可以在浏览器页面左下角打开格式为.csv的访问密钥文件，或在浏览器“下载内容”中打开。
• 为了账号安全性，建议您妥善保管并定期修改访问密钥，修改访问密钥的方法为删除旧访问密钥，然后重新生成。

./obsutil config -i=ak -k=sk -e=endpoint
# ak 为 Access Key Id，替换为 csv 中你的密钥
# sk 为 Secret Access Key，替换为 csv 中你的密钥
# endpoint 比如此处 obs 位于北京四，为 obs.cn-north-4.myhuaweicloud.com

./obsutil ls -s

• 如果返回结果中包含“Bucket number is:”，表明配置正确。
• 如果返回结果中包含“Http status [403]”，表明访问密钥配置有误。
• 如果返回结果中包含“A connection attempt failed”，表明无法连接OBS服务，请检查网络环境是否正常。

三、创建 OBS 桶并上下传文件

这一操作通常可以访问对象存储服务 OBS网站，进行交互式操作。 我们于此处另外介绍命令行创建方式，输入以下命令，在华北-北京四区域创建一个名为bucket-test（桶名可自定义且不能重复）的新桶：

./obsutil mb obs://bucket-test -location=cn-north-4

运行以下命令，将本地test.txt文件上传至bucket-test桶中：

./obsutil cp /temp/test.txt obs://bucket-test/test.txt

运行以下命令，将bucket-test桶中的test.txt对象下载至本地：

./obsutil cp obs://bucket-test/test.txt /temp/test1.txt