博客
关于我
Linux本地数据上传到阿里云OSS
阅读量:793 次
发布时间:2023-02-04

本文共 1358 字,大约阅读时间需要 4 分钟。

Linux本地数据上传到阿里云OSS

这篇文章将介绍如何将Linux服务器本地的数据上传到阿里云OSS指定的bucket中。主要参考文档是数据迁移单机部署,但由于步骤可能不够清晰,这里将重点介绍Linux服务器的单机数据上传方法。对于Windows系统,建议参考阿里云官方文档。

环境配置与工具下载

第一步,确保Linux本地已安装了Java 1.7及以上版本。可以通过命令java -version查看当前版本。如果没有安装,可以使用jdk 1.8等版本。具体的Java开发工具包可以放在文件夹中。接下来,下载ossimport工具。通过命令wget ossimport-2.2.1.zip将工具下载到本地。解压命令为unzip -o ossimport-2.2.1.zip -d ossimport,将压缩文件解压到ossimport文件夹中。

ossimport配置

接下来,需要配置local_job.cfgsys.properties文件。两个文件位于解压后的my_oss_work/conf文件夹中。

local_job.cfg中:

  • srcType设置为local,因为是本地上传。
  • srcPrefix设置为本地需要上传的文件夹路径,例如/opt/log/mysql/backup
  • destAccessKeydestSecretKey分别设置为阿里云账户的access key和secret key,需从阿里云账户获取。
  • destDomain根据实际情况设置OSS的endpoint。例如:
    • 如果使用阿里云ECS且有VPC专有网络,设置http://vpc100-oss-cn-beijing.aliyuncs.com
    • 如果ECS主机上传,设置http://oss-cn-beijing-internal.aliyuncs.com
    • 如果是公司内机房,设置http://oss-cn-beijing.aliyuncs.com
  • destBucket设置为目标OSS bucket名,如itoyo
  • destPrefix设置为目标文件夹路径,例如itoyo,文件夹名称不允许前缀。
  • jobName保持默认值local_test

sys.properties中:

  • workerMaxThroughput(KB/s)=0设置为0,表示不限制上传速度。
  • 保持workingDirworkerUserNameworkerPasswordprivateKeyFile不变。

运行ossimport上传数据

ossimport文件夹中,运行命令cd ossimport进入目录。然后执行bash import.sh,将本地文件夹/opt/log/mysql/backup下的所有数据上传至阿里云OSS的itoyo/itoyo文件夹。上传时间取决于文件大小和数量。

查看上传数据状态

如果数据量大且上传时间长,可以断开连接。重新登录后,进入ossimport工作目录,执行bash console.sh stat查看任务状态。若显示JobState:Succeed,表示上传完成。

其他注意事项

除了上述方法,还可以逐步上传,但建议新手直接使用一键上传功能。配置正确后,是否成功取决于每一步的设置。

转载地址:http://wikfk.baihongyu.com/

你可能感兴趣的文章
Linux搭建NTP服务器
查看>>
Linux搭建SFTP服务器
查看>>
Linux搭建SMB服务
查看>>
Linux搭建ss5 (socks5)代理服务器
查看>>
Linux搭建TFTP服务
查看>>
Linux搭建测试环境详细步骤
查看>>
Linux操作系统基础命令
查看>>
Linux操作系统安装与gcc和内核升级
查看>>
Linux文件内容查询命令
查看>>
Linux文件处理工具cut
查看>>
Linux文件处理工具sed
查看>>
linux文件夹右上角,手把手教你找出Linux系统的大文件
查看>>
linux文件夹操作的常用命令【一例一图】
查看>>
linux文件属性
查看>>
Linux文件打包压缩、解压缩、备份命令使用方法
查看>>
Linux文件操作命令详解
查看>>
Linux文件权限
查看>>
Linux文件查找命令find,xargs详述
查看>>
Linux文件查找命令find,xargs详述【转】
查看>>
LINUX文件目录介绍
查看>>