如何解决级联可以重写/替换 Apache Spark 和 Scala 吗?它更优化吗?
我必须尽可能地将用 pig 和 java 编写的 map reduce 代码替换为 Apache Spark 和 Scala,并在不可能的情况下重用或找到替代方案。 我可以找到大部分猪转换为火花。现在,我遇到了我所知甚少的 java 级联代码。 我研究了级联并了解管道的工作原理,但我无法得出是否用火花代替它的结论。以下是我的一些基本疑问。
- 在 Apache Spark 中可以完全重写级联 Java 代码吗?
- 如果可能,应该用 Apache Spark 替换级联代码吗?它是否更优化和更快?(考虑到 RAM 不是 RDD 的问题)
- Scalding 是一个构建在 Cascading 之上的 Scala 库。这是否应该用于将 java 代码转换为 Scala 代码,这将删除 java 源代码依赖?这会更优化吗?
- 级联适用于 mapreduce,它读取 I/O 流,而 Spark 从内存中读取。这是唯一的区别,还是有任何限制或特殊功能只能由其中一个执行?
我对大数据领域很陌生,对所有大数据相关术语 Hadoop、Spark、Map-Reduce、Hive、Flink 等的概念/比较非常不成熟。我掌握了这些大数据责任与我的新工作简介和最少的高级知识/经验。如果可能,请提供解释性的答案。谢谢
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。