我们有一组机器(大约50台并且还在增长).每台计算机都有一个搜索索引,需要每天多次更新.我们目前单独更新每台计算机上的索引,但理想情况下,我们可以在一台计算机上更新它,然后将新文件同步到群集的其余部分.我们最初使用rsync来处理这个问题,但随着机器数量的增加,很明显这个解决方案无法扩展.我刚开始研究多播文件传输.在这里有经验的人可以建议一些地方看吗?
解决方法
对我来说,这是一个面试问题……
多播选项:
BitTorrent的
使用pub / sub消息传递的其他协议.
另一种方法……使用分发树:
发送给N个主机,每个主机将发送给N个主机;并以这种方式在树上工作.这当然需要一些开发工作,但它可能是更具可扩展性的方法.
其中大部分取决于您实际需要满足的系统数量,索引大小和网络基础架构.
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。