如何解决Spark的非Hadoop基准
我不是专家,出于各种原因,我也不希望将Hadoop用于Spark。我写了一些简单的Spark代码,这些代码在独立模式下似乎可以很好地扩展。
我们计划购买在外部NFS上运行的具有大量内核(> = 64)的新服务器。但是,服务器还具有不错的本地存储(约20 TB)。在购买之前,我打算询问一些对数据科学有用的基准。但是,像英特尔的Hibench这样的服务器则需要Hadoop。
能否请您提出一些可以在要求Linux兼容的fs(例如ext4,XFS等)上运行的Spark基准测试?我试图找到优秀的候选人,但找不到很多。任何反馈将不胜感激。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。