博客
关于我
Linux本地数据上传到阿里云OSS
阅读量:793 次
发布时间:2023-02-04

本文共 1358 字,大约阅读时间需要 4 分钟。

Linux本地数据上传到阿里云OSS

这篇文章将介绍如何将Linux服务器本地的数据上传到阿里云OSS指定的bucket中。主要参考文档是数据迁移单机部署,但由于步骤可能不够清晰,这里将重点介绍Linux服务器的单机数据上传方法。对于Windows系统,建议参考阿里云官方文档。

环境配置与工具下载

第一步,确保Linux本地已安装了Java 1.7及以上版本。可以通过命令java -version查看当前版本。如果没有安装,可以使用jdk 1.8等版本。具体的Java开发工具包可以放在文件夹中。接下来,下载ossimport工具。通过命令wget ossimport-2.2.1.zip将工具下载到本地。解压命令为unzip -o ossimport-2.2.1.zip -d ossimport,将压缩文件解压到ossimport文件夹中。

ossimport配置

接下来,需要配置local_job.cfgsys.properties文件。两个文件位于解压后的my_oss_work/conf文件夹中。

local_job.cfg中:

  • srcType设置为local,因为是本地上传。
  • srcPrefix设置为本地需要上传的文件夹路径,例如/opt/log/mysql/backup
  • destAccessKeydestSecretKey分别设置为阿里云账户的access key和secret key,需从阿里云账户获取。
  • destDomain根据实际情况设置OSS的endpoint。例如:
    • 如果使用阿里云ECS且有VPC专有网络,设置http://vpc100-oss-cn-beijing.aliyuncs.com
    • 如果ECS主机上传,设置http://oss-cn-beijing-internal.aliyuncs.com
    • 如果是公司内机房,设置http://oss-cn-beijing.aliyuncs.com
  • destBucket设置为目标OSS bucket名,如itoyo
  • destPrefix设置为目标文件夹路径,例如itoyo,文件夹名称不允许前缀。
  • jobName保持默认值local_test

sys.properties中:

  • workerMaxThroughput(KB/s)=0设置为0,表示不限制上传速度。
  • 保持workingDirworkerUserNameworkerPasswordprivateKeyFile不变。

运行ossimport上传数据

ossimport文件夹中,运行命令cd ossimport进入目录。然后执行bash import.sh,将本地文件夹/opt/log/mysql/backup下的所有数据上传至阿里云OSS的itoyo/itoyo文件夹。上传时间取决于文件大小和数量。

查看上传数据状态

如果数据量大且上传时间长,可以断开连接。重新登录后,进入ossimport工作目录,执行bash console.sh stat查看任务状态。若显示JobState:Succeed,表示上传完成。

其他注意事项

除了上述方法,还可以逐步上传,但建议新手直接使用一键上传功能。配置正确后,是否成功取决于每一步的设置。

转载地址:http://wikfk.baihongyu.com/

你可能感兴趣的文章
Linux经典系统故障汇总与排障技巧及排障汇总表
查看>>
Linux经常使用命令(一) - ls
查看>>
Linux经常使用命令(十一) - more
查看>>
Linux经常使用命令(十二) - less
查看>>
linux经常使用(一)linux 安装配置 jdk之 找不到安装文件文件夹及source /etc/profile 报unexpected end of file 错误 解决...
查看>>
Linux给/根目录直接扩容_Linux直接给系统盘扩容_Mysql数据盘满了_不用外挂数据盘_迁移mysql数据_直接扩容---Linux工作笔记073
查看>>
linux给用户改变组,Linux用户及用户组的建立,修改和删除
查看>>
linux给用户添加sudo权限
查看>>
linux缓存nscd
查看>>
linux编写一个简单的端口扫描程序,LINUX端口扫描源代码(C实现)
查看>>
linux编程之信号量
查看>>
LINUX编程实战指发送UDP消息
查看>>
linux编程:getenv,putenv,setenv
查看>>
linux编译ffmpeg2.6.2
查看>>
Linux编译FFmpeg支持x265(HEVC) 【failed on redhat 6.5】(updated)
查看>>
linux编译动态库时,libcrypto.a 提示recompile with -fPIC
查看>>
linux编译升级应用,Linux如何升级软件版本
查看>>
linux编译注解
查看>>
linux网络启动报错
查看>>
Linux网络命令大全,收藏不迷路!
查看>>