mongodb增量/全量备份脚本的实现详解

前言

mongodb备份脚本，可以全量或增量进行备份，两年前所写，目前网上mongodb备份相关的脚本也还是很少。下面话不多说了，来一起看看详细的介绍吧

功能

定期对mongodb数据库数据进行全量备份或增量备份（副本集架构），并可以压缩上传到阿里云oss(本地会先生成压缩包，可以设置不上传oss)。

脚本运行环境

使用python语言编写，需安装python，pymongo和mongodb shell客户端（测试时使用python 2.7.6，pymongo 3.0.3和mongodb shell 2.0.4）。

脚本部署步骤

1. 将脚本放到一台linux主机

2. 如果是增量备份，创建mongodb 备份角色用户或更高权限的admin库用户。（导出时会先切换到admin库来验证权限，需有查询local库，mongodump local库和mongodump目标库的权限）

use admin
 db.addUser( { user: "xxxxx",
  pwd: "xxxxx",
  roles: [ "backup" ]
 } )

3. 编辑config.properties，修改oss、mongodb连接等配置信息

## 阿里云oss 连接配置
 endpoint= oss.aliyuncs.com
 accessKeyId = xxxxxxx
 accessKeySecret = xxxxxxx
 bucket = db-backup
 ## mongodb 连接配置
 # 建议用从库的地址，减少对主库压力
 db_host= localhost
 db_port= 27017
 # 如果是增量备份方案，为步骤2中的创建的用户，或更高权限的admin用户；如果是全量备份方案，则只需有目标库的操作权限
 db_user= testb
 db_passwd= testb
 # 目标库
 db_name= che
 # 备份到本地的临时目录 
 db_backup_root_path= /temp/backup/
 # 如果使用mongo客户端绿色版的，写上mongo客户端的绝对路径
 mongo_shell_path= /dev/hanxuetong/mongodb/mongodb-linux-x86_64-3.0.6/bin/
 # 增量备份还是全量备份 1: 增量备份 0:全量备份
 is_inc_backup=1
 # 每多少天进行一次全量备份
 full_backup_period=7
 # 是否上传到oss，如果 1 ，上传成功后会删除本地备份文件；0:不上传到oss
 is_upload_to_oss= 0

4. 将start.py加入linux定时任务。crontab任务配置如 0 4 * * * python /xxx/start.py >> /xxx/xxx.log 2>&1

增量时恢复步骤：

1. 创建mongodb 具有applyOps权限的角色以及用此角色的用户。（需有执行 mongorestore --oplogReplay的用户权限）

use admin
 db.createRole(
 {
 role: "applyOpsRole",
 privileges: [
 { resource: { anyResource: true }, actions: [ "anyAction"] }
 ],
 roles: []
 }
 )
 db.addUser( { user: "xxxx",
 pwd: "xxxx",
 roles: [ "applyOpsRole" ]
 } )

2. 修改 restore_inc.py里的配置

## 阿里云oss 配置
 endpoint="oss.aliyuncs.com"
 accessKeyId="xxxxxxx"
 accessKeySecret="xxxxxxx"
 bucket="db-backup"

 ## mongodb导入的配置
 db_host="localhost"
 db_port=27017
 # 步骤1创建的用户
 db_user="testr"
 db_passwd="testr" 
 db_name="che"

 # recent circle backup direactory on oss 最新备份文件的周期名，即备份临时目录中mongodb_inc_backup_info.json的last_circle_backup_dir_name 或 oss中文件夹名
 last_circle_backup_dir_name="mongodb_cycle_backup_20151124141133"
 # 从oss上下载到本地的临时目录
 restore_local_temp_path="H:\\pythoncode\\temp\\restore\\"
 # 如果使用mongo客户端绿色版的，写上mongo客户端的绝对路径
 mongo_shell_path= "/alidata1/dev/hanxuetong/mongodb/mongodb-linux-x86_64-3.0.6/bin/"
 # backup file has download to local ? if True,will not download backup files from oss
 # 是否备份文件已经下载到本地，如果true，则不会从oss下载和解压，本地已有
 has_download_to_local=False
 # 恢复时是否先删除旧的数据库
 is_drop_old_restore=True

3. 导入期间停止mongodb写入

4. 执行 restore_inc.py

全量时恢复步骤：

1. 修改 restore_full.py里的配置

## 阿里云oss 配置
 endpoint="oss.aliyuncs.com"
 accessKeyId="xxxxxxx"
 accessKeySecret="xxxxxxx"
 bucket="db-backup"

 ## mongodb导入的配置
 db_host="localhost"
 db_port=27017
 # 数据库对应的用户
 db_user="test"
 db_passwd="test" 
 db_name="che"

 # recent circle backup direactory on oss 最新备份文件的周期名， oss 上存储的文件名称是 last_circle_backup_dir_name+last_full_backup_file_suffix
 last_circle_backup_dir_name="mongodb_cycle_backup_20151124141133"

 last_full_backup_file_suffix=".tar.gz"
 # 备份的目录，实际全量备份的路径为 restore_local_temp_path+last_circle_backup_dir_name+db_name
 restore_local_temp_path="H:\\pythoncode\\temp\\restore\\"
 # 如果使用mongo客户端绿色版的，写上mongo客户端的绝对路径
 mongo_shell_path="/alidata1/dev/hanxuetong/mongodb/mongodb-linux-x86_64-3.0.6/bin/"
 # backup file has download to local ? if True,will not download backup files from oss
 # 是否备份文件已经下载到本地，如果true，则不会从oss下载和解压，本地已有
 has_download_to_local=False
 # 恢复时是否先删除旧的数据库
 is_drop_old_restore=True

2. 执行 restore_full.py

随机推荐

MongoDB中实现多表联查的实例教程
前些天遇到一个需求，不复杂，用 SQL 表现的话，大约如此： SELECT * FROM db1 LEFT JOIN db2 ON db1.a = db2.b WHERE db1.userId='$me' AND db2.status=1...
MongoDB快速入门笔记(八)之MongoDB的java驱动操作代码讲解
MongoDB的Java驱动是线程安全的，对于一般的应用，只要一个Mongo实例即可，Mongo有个内置的连接池（池大小默认为10个）。下面代码给大家介绍MongoDB的java驱动操作，具体代码如下所示： import java....
MongoDB整库备份与还原以及单个collection备份、恢复方法
mongodump.exe备份的原理是通过一次查询获取当前服务器快照，并将快照写入磁盘中，因此这种方式保存的也不是实时的，因为在获取快照后，服务器还会有数据写入，为了保证备份的安全，同样我们还是可以利用fsync锁使服务器数据暂时写入缓存...
MongoDB的常用命令汇总(Mongo4.2.8)
目录一、数据库相关二、用户相关三、集合Collection相关一、数据库相关 1.切换/创建数据库 use “dbname”; 2.查询所有数据库 show dbs; mytest ?0.000GB 3.查看当前使用的数据库 db.g...
mongodb增量/全量备份脚本的实现详解
前言 mongodb备份脚本，可以全量或增量进行备份，两年前所写，目前网上mongodb备份相关的脚本也还是很少。下面话不多说了，来一起看看详细的介绍吧功能定期对mongodb数据库数据进行全量备份或增量备份（副本集架构），并可以压...
MongoDB各种查询操作详解
一、find操作 MongoDB中使用find来进行查询，通过指定find的第一个参数可以实现全部和部分查询。 1、查询全部空的查询文档{}会匹配集合的全部内容。如果不指定查询文档，默认就是{}。 2、部分查询 3、键的筛选键的筛...
MongoDB的mongo shell常用操作方法及操作脚本笔记
一、常用命令 1、Help查看命令提示 help db.help(); db.yourColl.help(); db.youColl.find().help(); rs.help(); 2、切换/创建数据库 use yo...
mongodb 实现远程连接
mongodb远程连接配配置，分以下4步。 1,添加管理员账 use admin switched to db admin db.addUser('tank','test'); 2,配置mongodb.conf #b...
MongoDB实现查询、分页和排序操作以及游标的使用
一、Find查询事前准备：插入如下数据 db.Students.insert([ { _id:1, name:"Zhao", age:25, country:"USA", books:["JS","C++","EXTJS","MONG...
Mongodb的oplog详解
Oplog 是 MongoDB 实现复制集的关键数据结构，在复制集中 Primary 对数据库操作之后就会产生一个 Oplog 文档保存在 local.oplog.rs 集合中，Secondary 成员会拉取 Primary 的 Oplo...

成都海润天祥科技有限公司

mongodb增量/全量备份脚本的实现详解

随机推荐

相关专题