如何解决R中的Collect函数将Spark数据帧强制转换为R Data帧
我有一个包含2900万行的数据集,并且我正在使用Azure Databricks和SparkR来处理数据和建立预测器模型。
collect(df)命令的问题在于,它占用了群集上大量的内存空间和时间,因此,我在考虑是否有人可以通过可用于转换a的方法来帮助我Spark数据帧到R数据帧;比收集命令更有效。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。