如何解决创建具有可变架构的Pyspark数据框
我想创建一个pyspark数据框,其中有一列具有可变模式。所以我的数据框看起来像这样:
| Id | Variable_Column |
|----|----------------------------------|
| 1 | [{"col1":"val1"}] |
| 2 | [{"col1":"val2","col2":"val3"}] |
因此要实现这一目标。我是这样开始的:
schema = StructType([StructField("Id",IntegerType(),True),\
StructField("Variable_Column",ArrayType(StructType()),True)\
])
valdict = dict()
valdict["col1"] = "val1"
values = [(1,[valdict])]
df = spark.createDataFrame(values,schema)
display(df)
| Id | Variable_Column |
|----|-----------------|
| 1 | [{}] |
这样做,我正在创建一个空数组。同样感觉不对,我也希望保留内部列的类型。请提出插入数据的正确方法。
对于我的变量列,我使用的是“ ArrayType(StructType())
”,这是要使用的正确列类型吗?
解决方法
您可以如下定义架构:
.checkbox-style {
border-width: 2px;
border-color: #ff7255;
}
这将给出如下输出:
schema = StructType([StructField("Id",IntegerType(),True),\
StructField("Variable_Column",ArrayType(MapType(StringType(),StringType())),True)\
])
,
解决方案1
如果只想创建具有可变数量的值的列,则可以使用ArrayType
中的StructType
。在您的情况下,您定义了一个空的StructType
,因此得到的结果。
您可以这样定义一个数据框:
df1 = spark.createDataFrame([ (1,[('name1','val1'),('name2','val2')]),(2,[('name3','val3')])],['Id','Variable_Column'])
df1.show(truncate=False)
与您提供的示例相对应:
+---+----------------------------+
|Id |Variable_Column |
+---+----------------------------+
|1 |[[name1,val1],[name2,val2]]|
|2 |[[name3,val3]] |
+---+----------------------------+
请注意,在这种情况下,您无需显式定义架构,但如果需要,它将看起来像这样(可以调用df1.schema进行打印):
schema = StructType([
StructField('Id',LongType()),StructField('Variable_Column',ArrayType(StructType([
StructField('name',StringType()),StructField('value',StringType())
])))
])
解决方案2
非常相似,您可以像这样使用MapType
类型:
df2 = spark.createDataFrame([ (1,dict([('name1','val2')])),dict([('name3','val3')]) )
],'Variable_Column'])
df2.show(truncate=False)
+---+---------------------------------+
|Id |Variable_Column |
+---+---------------------------------+
|1 |Map(name2 -> val2,name1 -> val1)|
|2 |Map(name3 -> val3) |
+---+---------------------------------+
解决方案3
在评论中,您说您还需要变量类型。使用数据框是不可能的。如果这确实是您想要的,那么您可能没有使用正确的工具。但是,如果只是一个极端的情况,您可以将数据类型的记录保存在这样的字符串中:
df3 = spark.createDataFrame([ (1,'val1','string'),'0.6','double')]),'3','integer')])],'Variable_Column'])
df3.show(truncate=False)
+---+-----------------------------------------+
|Id |Variable_Column |
+---+-----------------------------------------+
|1 |[[name1,val1,string],0.6,double]]|
|2 |[[name3,3,integer]] |
+---+-----------------------------------------+
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。