备份 – 通过不可靠,慢速WAN进行ZFS同步. ZFS复制还是rsync?

我的任务是通过WAN进行异地备份.两个存储盒都是基于FreeBSD的运行ZFS的NAS盒.

每周一到两次,15-60演出的摄影数据被倾倒到办公室NAS.我的工作是弄清楚如何使用非常慢的DSL连接(~700Kb / s上传)尽可能可靠地获取这些数据.接收盒的形状要好得多,速度为30Mb / s,速度为5Mb / s.

我知道,在场外携带硬盘会更快地移动数据,但在这种情况下它不是一个选项.

我的选择似乎是:

> ZFS增量发送超过ssh
> Rsync

rsync是一个历史悠久的解决方案,并且具有在某些内容被中断时恢复发送的非常重要的能力.它的缺点是遍历许多文件而不知道重复数据删除.

ZFS快照发送可能传输少量数据(它可以更多地了解文件系统,可以执行重复数据删除,可以比rsync更有效地打包元数据更改)并且具有正确复制文件系统状态的优势,而不是简单地复制单独的文件(磁盘密集程度更高).

我担心ZFS复制性能[1](虽然那篇文章已经有一年了).我还担心如果出现故障,能够重新启动转移 – 快照功能似乎不包括这一点.整个系统需要完全放手.

[1] http://wikitech-static.wikimedia.org/articles/z/f/s/Zfs_replication.html

使用任一选项,我都应该能够通过路由指定端口,然后使用路由器上的QOS来确定流量的优先级.我需要避免在每次转移过程中对两个站点的用户造成重大负面影响,因为这需要几天时间.

所以……这是我对这个问题的看法.我错过了任何好的选择吗?有没有其他人设置类似的东西?

解决方法

>如果您每天最多可以转移6GB(假设零开销和零竞争流量)并且您需要以“每周一次或两次”的频率移动“15-60演出”,那么可以达到15-每周120 GB,或每天2-17 GB.因为有必要规划峰值需求,并且17 GB远远超过理论最大值6 GB,所以很可能会出现非常严重的带宽问题.升级连接需要什么?如果无法升级连接,请考虑按计划(例如每周)邮寄物理媒体的选项. >假设你可以让带宽数学更有意义,rsync可能是最好的选择.复制高度冗余数据(例如虚拟机图像)时,重复数据删除意识非常有价值,但当涉及到独特的数字内容(音频,视频,照片)时,重复数据删除应该很少或没有任何好处……当然,除非用户是无意中存储了相同文件的重复副本.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


linux常用进程通信方式包括管道(pipe)、有名管道(FIFO)、信号(signal)、消息队列、共享内存、信号量、套接字(socket)。管道用于具有亲缘关系的进程间通信,有名管道的每个管道具有名字,使没有亲缘关系的进程间也可以通信。信号是比较复杂的通信方式,用于通知接受进程有某种事件发生,除
Linux性能观测工具按类别可分为系统级别和进程级别,系统级别对整个系统的性能做统计,而进程级别则具体到进程,为每个进程维护统计信息。

按实现原理分,可分为基于计数器和跟踪以及剖析。含义如下:

计数器:内核维护的统计数据,通常为无符号整型,用于对发生的事件计数,比如,网络包接收计数器,磁
本文详细介绍了curl命令基础和高级用法,包括跳过https的证书验证,详细追踪整个交互过程,可用于调用网络后端接口,诊断http和https网络服务故障。
本文包含作者工作中常用到的一些命令,用于诊断网络、磁盘占满、fd泄漏等问题。命令包括ping、fping、tcpdump、lsof、netstat、/proc/$pid/fd、du、grep、traceroute、dig。
linux的平均负载表示运行态和就绪态及不可中断状态(正在io)的进程数目,用uptime查看到负载很高,既有可能是CPU利用率高,也可能是大量在等待io的进程导致,用mpstat查看每个CPU的使用情况,查看CPU的使用率或者CPU花在等待io的时间,接着用pidstat定位具体的进程
CPU上下文频繁切换会导致系统性能下降,切换分为进程切换、线程切换及中断切换,进程切换的开销较大,除了需要保存寄存器和程序计数器中的值还需保存全局变量、栈等到内存中,以便下次运行恢复,而同一进程中的线程切换开销会小很多,只需更新寄存器和线程独有的栈,共享资源如打开的文件、全局变量等无需切换,当硬件中
1.top命令 作用:该命令可以按CPU使用.内存使用和执行时间对任务进行排序,常用来监控系统中占用CPU或内存较高的程序及CPU和内存的负载。 默认视图: 当想看系统负载时,可观察汇总的%CPU中的us用户进程和sy系统进程是否占用CPU很高,相加接近100%就说明占用很高了,有些程序可能得不到及
文章浏览阅读1.8k次,点赞63次,收藏54次。Linux下的目录权限!!!粘滞位!!!超详解!!!
文章浏览阅读1.6k次,点赞44次,收藏38次。关于Qt的安装、Windows、Linux、MacBook_mack book 安装qt
本文介绍了使用shell脚本编写一个 Hello
文章浏览阅读1.5k次,点赞37次,收藏43次。【Linux】初识Linux——了解操作系统的发展历史以及初次体验Linux编程环境
文章浏览阅读3k次,点赞34次,收藏156次。Linux超详细笔记,个人学习时很认真的记录的,觉得好的麻烦点个赞。
文章浏览阅读6.8k次,点赞109次,收藏114次。【Linux】 OpenSSH_9.3p1 升级到 OpenSSH_9.5p1(亲测无问题,建议收藏)_openssh_9.5p1
文章浏览阅读3.5k次,点赞93次,收藏78次。初识Linux中的线程,理解线程的各种概念,理解进程地址空间中的页表转换,介绍pthread线程库并理解线程库!
文章浏览阅读863次。出现此问题为Linux文件权限问题,解决方案为回到引擎目录执行命令。输入用户密码后运行./UnrealEditor。_increasing per-process limit of core file size to infinity.
文章浏览阅读2.9k次。使用文本编辑器:打开CSV文件,并使用文本编辑器(如Notepad++、Sublime Text、Visual Studio Code等)来查看文件的字符编码格式。通常在编辑器的底部状态栏或设置中可以找到当前编码的显示。请注意,上述方法并非绝对准确,特别是当文件没有明确的编码标识时。因此,如果你发现CSV文件在不同的工具或方法中显示不同的编码格式,可能需要进行进一步的分析和判断,或者尝试使用不同的编码转换方法。该命令将输出文件的MIME类型和编码信息。使用命令行工具:在命令行中,你可以使用。_shell读取csv文件逐行处理
本文介绍了如何在Linux系统中升级gcc版本,以便更好地支持C++11及以上版本的新特性。通过升级gcc,可以提升编译器的功能和性能,获得更好的开发体验。详细的步骤和方法请参考原文链接。
文章浏览阅读4.4k次,点赞6次,收藏19次。Mosquitto是一个开源的MQTT消息代理服务器。MQTT是一个轻量级的、基于发布/订阅模式的消息传输协议。 mosquitto的安装使用比较简单,可以方便的来进行一些测试。_linux mosquitto
文章浏览阅读7.2k次,点赞2次,收藏12次。Linux中,用于根目录下有一个.ssh目录,保存了ssh相关的key和一些记录文件。_~/.ssh/
文章浏览阅读4.5k次,点赞5次,收藏18次。首先需要安装 snmp ,使用下面的命令进行安装安装完毕之后,使用下面的命令查看是否安装成功当命令行显示如图即为安装成功。_snmp工具