minio数据迁移工具rclone
Rclone是一个命令行程序,用于管理云存储上的文件。它是云供应商的web存储接口的一个功能丰富的替代品。超过40种云存储产品支持rclone,包括S3对象存储、企业和消费者文件存储服务以及标准传输协议。Rclone具有与unix命令rsync、cp、mv、mount、ls、ncdu、tree、rm和cat相同的强大的云版本。Rclone熟悉的语法包括shell管道支持和——dry-run保护。它
Rclone是一个命令行程序,用于管理云存储上的文件。它是云供应商的web存储接口的一个功能丰富的替代品。超过40种云存储产品支持rclone,包括S3对象存储、企业和消费者文件存储服务以及标准传输协议。
Rclone具有与unix命令rsync、cp、mv、mount、ls、ncdu、tree、rm和cat相同的强大的云版本。Rclone熟悉的语法包括shell管道支持和——dry-run保护。它可在命令行、脚本中或通过其API使用。
1,下载rclone
下载地址:Rclone downloadsDownload rclone binaries for your OS.https://rclone.org/downloads/ 请根据需要安装的操作系统下载对应版本的安装文件
安装指引:InstallRclone Installationhttps://rclone.org/install/
2,系统需要提前安装好的软件
此方式需有unzip命令去执行,请提前安装好 在线安装命令:yum install zip unzip 离线安装提前下载好zip unzip插件包,直接yum install包名也可以
3,安装
3.1,将下载好的安装包rclone-v1.62.2-linux-amd64.zip放置到指定的文件夹下,比如路径为:/opt/rclone 3.2,解压zip包
unzip rclone-v1.62.2-linux-amd64.zip
3.3,进入解压后的目录
cd rclone-*-linux-amd64/
查看目录下的文件:
[root@integration rclone-v1.62.2-linux-amd64]# ll
总用量 54780
-rw-r--r--. 1 root root 1456 3月 16 17:57 git-log.txt
-rwxr-xr-x. 1 root root 50298880 3月 16 17:59 rclone
-rw-r--r--. 1 root root 1937194 3月 16 17:43 rclone.1
-rw-r--r--. 1 root root 2120786 3月 16 17:43 README.html
-rw-r--r--. 1 root root 1728619 3月 16 17:43 README.txt
3.4,拷贝二进制文件
sudo cp rclone /usr/bin/
sudo chown root:root /usr/bin/rclone
sudo chmod 755 /usr/bin/rclone
3.5,开始安装
sudo mkdir -p /usr/local/share/man/man1
sudo cp rclone.1 /usr/local/share/man/man1/
sudo mandb
3.6,开始进行rclone配置 配置方式有两种:
-
可以使用命令 rclone config 一步一步进行参数的配置(rclone config 文档:https://rclone.org/docs/)。https://rclone.org/docs/%EF%BC%89%E3%80%82 配置时重要参数:
env_auth> 1 access_key_id> USWUXHGYZQYFYFFIT3RE secret_access_key> MOJRH0mkL1IPauahWITSVvyDrQbEEIwljvmxdq03 region> us-east-1 endpoint> http://192.168.1.106:9000 location_constraint> server_side_encryption>
-
可以直接进行配置文件的配置
下面开始配置: 新建rclone.conf配置文件
vim /root/.config/rclone/rclone.conf
配置内容:
[minio]
type = s3
provider = Minio
env_auth = false
access_key_id = minio
secret_access_key = minio123
region = cn-east-1
endpoint = http://192.168.1.14:9000
location_constraint =
server_side_encryption =
配置内容参数说明:
- [minio] -->配置的名称,自定义
- type = s3 -->存储方式,minio属于:s3
- provider = Minio -->供应商
- env_auth = false -->AWS凭证,默认false
- access_key_id = minio -->S3账户AK
- secret_access_key = minio123 -->S3账户SK
- region = cn-east-1 -->连接的地域
- endpoint = http://192.168.1.14:9000 -->S3存储访问地址
- location_constraint = -->位置约束-必须设置为与区域匹配,可以设置为空
- server_side_encryption =
查看安装的配置文件,检查配置情况
rclone config show
4,rclone的使用
4.1,查看minio下存储的所有bucket,若无报错则通信正常。
rclone lsd minio:
4.2,将minio中指定桶test中的所有文件复制到本地文件夹下(可以用来做数据的备份)
rclone copy minio:test /opt/test/
4.3,将本地备份文件复制到存储桶newtest中,可以添加参数 -P 来查看进度
rclone copy -P /opt/test/ minio:newtest
4.4,将本地需要迁移到minio中的文件同步到bucket储存桶中,可以添加参数 -P 来查看进度
rclone sync -P /opt/test/ minio:bucket
5,在线迁移minio的桶数据
5.1,配置文件rclone.conf配置内容
[minio]
type = s3
provider = Minio
env_auth = false
access_key_id = minio
secret_access_key = minio123
region = cn-east-1
endpoint = http://192.168.1.12:9000
location_constraint =
server_side_encryption =
[minio1]
type = s3
provider = Minio
env_auth = false
access_key_id = test
secret_access_key = test123
region = cn-east-1
endpoint = http://192.168.1.13:9000
location_constraint =
server_side_encryption =
5.2,迁移操作
# 执行同步指令并能查看进度
rclone sync -P minio:test minio1:test
# minio配置文件中的[minio]的地址,minio1则是[minio1]的地址
# minio:test对应的意思是 192.168.1.12:9000的test桶
# minio1:test则是对应的 192.168.2.13:9000的test桶
# 执行复制指令并能查看进度
rclone -P copy minio1:test2 minio:test3
更多推荐
所有评论(0)