阿里云OSS不同账号之间的迁移(使用阿里云自带的ossimport工具)
一、Ossimport概述ossimport是一款将数据迁移至OSS的工具。您可以将ossimport部署在本地服务器或云上ECS实例内,轻松将您本地或其它云存储的数据迁移到OSS。ossimport具有以下特点:支持丰富的数据源,包括本地、七牛、百度BOS、AWS S3、Azure Blob、又拍云、腾讯云COS、金山KS3、HTTP、OSS等,并可根据需要扩展。支持单机模式和分布式模式。单机模
一、Ossimport概述
ossimport是一款将数据迁移至OSS的工具。您可以将ossimport部署在本地服务器或云上ECS实例内,轻松将您本地或其它云存储的数据迁移到OSS。
ossimport具有以下特点:
支持丰富的数据源,包括本地、七牛、百度BOS、AWS S3、Azure Blob、又拍云、腾讯云COS、金山KS3、HTTP、OSS等,并可根据需要扩展。
支持单机模式和分布式模式。单机模式部署简单使用方便,分布式模式适合大规模数据迁移。
支持断点续传。
支持流量控制。
支持迁移指定时间以后的文件、特定前缀的文件。
支持并行数据下载和上传。
二、运行环境配置
ossimport可以部署在Linux或Windows系统上,要求如下:
Windows7及以上版本
Linux系统最新版本
Java 1.7及以上版本
配置jdk
[root@host~]# yum install -y java
[root@host~]# java --version
openjdk version "1.8.0_191"
OpenJDK Runtime Environment (build 1.8.0_191-b12)
OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)
三、部署方式选择
ossimport有单机模式和分布式模式两种部署方式。
单机模式:当您需要迁移的数据小于30TB时,推荐部署单机模式。您可以将ossimport部署在任意一台可以访问您待迁移数据,且可以访问OSS的机器上。
分布式模式:当您需要迁移的数据大于30TB时,推荐部署分布式模式。您可以将ossimport部署在任意多台可以访问您待迁移数据,且可以访问OSS的机器上。
以下为单机模式
四、下载并部署ossimport
# wget http://gosspublic.alicdn.com/ossimport/standalone/ossimport-2.3.1.zip?spm=a2c4g.11186623.2.12.58b029d8vsI8DG&file=ossimport-2.3.1.zip
# cd /usr/local && mkdir ossimport
# unzip ossimport-2.3.1.zip -d ossimport/
单机模式下文件结构如下:
ossimport
├── bin
│ └── ossimport2.jar # 包括Master、Worker、Tracker、Console四个模块的总jar
├── conf
│ ├── local_job.cfg # 单机Job配置文件
│ └── sys.properties # 系统运行参数配置文件
├── console.bat # Windows命令行,可以分布执行调入任务
├── console.sh # Linux命令行,可以分布执行调入任务
├── import.bat # Windows一键导入,执行配置文件为conf/local_job.cfg配置的数据迁移任务,包括启动、迁移、校验、重试
├── import.sh # Linux一键导入,执行配置文件为conf/local_job.cfg配置的数据迁移任务,包括启动、迁移、校验、重试
├── logs # 日志目录
└── README.md # 说明文档,强烈建议使用前仔细阅读
其中:
Job:用户通过提交的数据迁移任务,对用户来说一个任务对应一个配置文件job.cfg。
Task:Job按照 “数据大小” 和 “文件个数” 可以分成多个 Task ,每个 Task 迁移部分文件。Job切分成Task的最小单位是文件,同一个文件不会切分到多个Task中。
注意:
执行命令时请保证工作目录为 import.sh 的同级目录,即直接执行 bash import.sh
五、修改单机Job的配置文件local_job
[root@host~]# vim /usr/local/ossimport/local_job.cfg #修改单机job配置文件
#以下为需要修改的内容
isIncremental=false #不开启增量模式
srcAccessKey=ADSCVSDdc8OOFwececHd5 #配置源oss的access key
srcSecretKey=fjOKSDksdxceca8O57wdmPV #配置源oss的SecretKey
srcDomain=http://oss-cn-hangzhou-internal.aliyuncs.com #配置源oss的内网地址
srcBucket=abcimg #配置源Bucket名称
destAccessKey=LTAIabQkcs7sxZqMd #配置目标access key
destSecretKey=aPKlasdfickv9wsd23ZOUKo4sd #配置目标secret key
destDomain=http://oss-cn-hangzhou-internal.aliyuncs.com #配置目标oss的内网地址
destBucket=abcoss #配置目标bucket名称
local_job的配置文件解析请移步官网阿里云对象存储配置
六、执行迁移
[root@host~]# cd /usr/local/ossimport
[root@hostossimport]# /bin/bash import.sh
提示:
Job运行信息,可以查看log/ossimport2.log。
Task的失败原因,可以查看master/jobs/
J
o
b
N
a
m
e
/
f
a
i
l
e
d
t
a
s
k
s
/
{JobName}/failed_tasks/
JobName/failedtasks/{TaskName}/audit.log。
Task的失败文件,可以查看master/jobs/
J
o
b
N
a
m
e
/
f
a
i
l
e
d
t
a
s
k
s
/
{JobName}/failed_tasks/
JobName/failedtasks/{TaskName}/error.list。
更多推荐
所有评论(0)