UDN-企业互联网技术人气社区

板块导航

浏览  : 1100
回复  : 0

[资源分享] Oracle官方并行逻辑备份工具mysqlpump

[复制链接]
cat77的头像 楼主
发表于 2016-3-22 08:00:01 | 显示全部楼层 |阅读模式
  MySQL 5.7.11版本发布,其中 最有意义 的部分在于官方修复了之前mysqlpump工具一致性备份的问题,使得mysqlpump工具在生产环境中有了用武之地。而在之前MySQL 5.7的文档中明确写着,mysqlpump是不支持一致性的备份:

  Before MySQL 5.7.11, use of the –single-transaction option is mutually exclusivewith parallelism. To use –single-transaction, disable parallelism by setting –default-parallelism to 0 and not using any instances of –parallel-schemas

  在5.7.11版本的change history中,对于这个问题已经有了修复:

  mysqlpump tries to do as much work in parallel as possible, but the dump threads lacked a synchronization point before backing up the data, resulting in inconsistent backup.

  mysqlpump相对于之前的逻辑备份工具mysqldump来说,Inside君总结的优势如下:

  • 支持基于表的并行导出功能(参数–default-parallelism,默认为2,参数–parallel-schemas,控制并行导出的库)
  • 导出的时候带有进度条(参数–watch-progress,默认开启)
  • 支持直接压缩导出导入(参数–compress-output,支持ZLIB和LZ4)

  mysqlpump的并行导出功能的架构为:队列+线程,允许有多个队列,每个队列下有多个线程,而一个队列可以绑定1个或者多个数据库。但是,对于每张表的导出只能是单个线程的, 这和mydumper工具是不一样的 ,因为mydumper支持一张表多个线程以chunk的方式批量导出,这在主键是随机的情况下,导出速度还能有提升。mysqlpump的架构如下图所示:
2.png

  接着Inside君对比了mysqldump与mysqlpump的导出速度,选择的数据库大小为7.8G,每次备份测试时都重启数据库,清空缓冲池中的内容。其中各表的大小如下所示:
  1. root@test-1:/mdata/mysql_data# ls -lh tpcc/*.ibd
  2. -rw-r----- 1 mysql mysql 1.9G Feb 21 22:58 tpcc/customer.ibd
  3. -rw-r----- 1 mysql mysql 160K Feb 21 23:12 tpcc/district.ibd
  4. -rw-r----- 1 mysql mysql 208M Feb 21 22:58 tpcc/history.ibd
  5. -rw-r----- 1 mysql mysql  17M Feb 21 22:23 tpcc/item.ibd
  6. -rw-r----- 1 mysql mysql  32M Feb 22 00:05 tpcc/new_orders.ibd
  7. -rw-r----- 1 mysql mysql 2.1G Feb 22 10:00 tpcc/order_line.ibd
  8. -rw-r----- 1 mysql mysql 132M Feb 22 00:05 tpcc/orders.ibd
  9. -rw-r----- 1 mysql mysql 3.5G Feb 21 23:12 tpcc/stock.ibd
  10. -rw-r----- 1 mysql mysql  48K Feb 21 23:11 tpcc/warehouse.ibd
复制代码

  由于只有tpcc单个数据库,这里mysqlpump测试采用默认单队列2个线程和单队列4个线程测试,mysqlpump测试语句如下:
  1. root@test-1:/mdata/mysql_data# time mysqlpump --single-transaction  -B tpcc > tpcc.sql
  2. root@test-1:/mdata/mysql_data# time mysqlpump --single-transaction --default-parallelism=4 -B tpcc > tpcc.sql
复制代码

  最后的测试结果如下所示:
2.png

  测试在网易云环境下,这时可以发现默认配置下mysqlpump的速度比起mysqldump快了39.04%,4个线程下快了有48.89%。接着测试多个数据库备份的场景,这里选择7.8G大小的tpcc库和2.4G大小的dbt3数据库,最后得到的结果mysqlpump比起mysqldump最高快了70%多的时间:
2.png

  总结

  mysqlpump的语法与mysqldump高度兼容,支持基于库和表的并行导出,对比mysqldump速度提升非常明显。MySQL 5.7.11版本解决了一致性备份问题,推荐线上环境使用。由于每个数据库大小,架构不同,测试给出的速度提升只是参考,或许在你的环境会没有任何差别,也可能速度提升更大。anyway,是时候好好测试mysqlpump,看看对你的生产环境是否会有极大的速度提升。

原文作者:佚名 来源:http://www.innomysql.net/article/25383.html

相关帖子

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们
联系我们
  • 电话:010-86393388
  • 邮件:udn@yonyou.com
  • 地址:北京市海淀区北清路68号
移动客户端下载
关注我们
  • 微信公众号:yonyouudn
  • 扫描右侧二维码关注我们
  • 专注企业互联网的技术社区
版权所有:用友网络科技股份有限公司82041 京ICP备05007539号-11 京公网网备安1101080209224 Powered by Discuz!
快速回复 返回列表 返回顶部