如何解决哪些选项可以传递到AWS Glue DynamicFrame.toDF?
toDF()方法的文档指定我们可以将options参数传递给此方法。但是它没有指定这些选项可以是(https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-crawler-pyspark-extensions-dynamic-frame.html)。有谁知道是否还有进一步的文档? 我特别想在从DynamicFrame创建DataFrame时传递模式。
解决方法
不幸的是,没有太多可用的文档,但是dynamicframe的研发和源代码分析显示以下内容:
-
与toDF本身相比,toDF中可用的
- 选项与ResolveOption类有更多关系,因为ResolveOption类为参数增加了含义(请阅读代码)。
- ResolveOption类将ChoiceType作为参数。
- 文档中提供的选项示例与ResolveChoice中提供的
specs
类似,其中也提到ChoiceType。 - 选项进一步转换为序列,并从_jdf here引用到DF函数。
从spark看到specs
,dynamicFrame和toDF的toDF实现之后,我的理解是,从DynamicFrame创建DataFrame时我们无法传递模式,但是只能进行较小的列操作。 / p>
这么说,一种可行的方法是从动态框架中获取一个数据框架,然后对其进行操作以更改其架构。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。