如何解决仅当数据帧中存在列时才应用withColumn
我在Java 8中使用spark-sql-2.4.1v。我有一种情况,我会将列名作为list / Seq传递给我,对于那些列,我只需要执行某些操作,例如sum,avg,百分比等。
在我的情况下,假设我有column1,column2,column3列。第一次,我将传递column1名称。
将拉/选择“ column1”数据并基于“ column1”执行一些操作。第二次,我将传递column2名称,但是这次没有拉出更早的column1,因此我的数据集不包含“ column1”,因此较早的条件因错误“ AnalysisException:给定输入列无法解析'column1
'”而中断。 >
因此,我需要检查列,如果存在某些列,则仅执行与列相关的操作,否则忽略这些操作。
如何在Spark中执行此操作?
对数据库中的数据进行采样。
val data = List(
("20","score","school","2018-03-31",14,12,20),("21",13,21),("22","rate",11,22),23)
)
val df = data.toDF("id","code","entity","date","column1","column2","column3")
.select("id","column2") /// these are passed for each run....this set will keep changing.
Dataset<Row> enrichedDs = df
.withColumn("column1_org",col("column1"))
.withColumn("column1",when(col("column1").isNotNull(),functions.callUDF("lookUpData",col("column1").cast(DataTypes.StringType)))
);
以上逻辑仅在选择列“ column1”可用时适用。这在第二个集合中失败,因为未选择“ column1”,因此我需要一些理解,为什么这仅在选定的列作为“ column1”可用时才适用。我需要一些逻辑来实现这一目标。
解决方法
检查是否有帮助-
you can filter out columns,and process only valid columns
df.show(false)
/**
* +---+-----+------+----------+-------+-------+-------+
* |id |code |entity|date |column1|column2|column3|
* +---+-----+------+----------+-------+-------+-------+
* |20 |score|school|2018-03-31|14 |12 |20 |
* |21 |score|school|2018-03-31|13 |13 |21 |
* |22 |rate |school|2018-03-31|11 |14 |22 |
* |21 |rate |school|2018-03-31|13 |12 |23 |
* +---+-----+------+----------+-------+-------+-------+
*/
// list of columns
val cols = Seq("column1","column2","column3","column4")
val processColumns = cols.filter(df.columns.contains).map(sqrt)
df.select(processColumns: _*).show(false)
/**
* +------------------+------------------+-----------------+
* |SQRT(column1) |SQRT(column2) |SQRT(column3) |
* +------------------+------------------+-----------------+
* |3.7416573867739413|3.4641016151377544|4.47213595499958 |
* |3.605551275463989 |3.605551275463989 |4.58257569495584 |
* |3.3166247903554 |3.7416573867739413|4.69041575982343 |
* |3.605551275463989 |3.4641016151377544|4.795831523312719|
* +------------------+------------------+-----------------+
*/
,
不确定我是否完全理解您的要求,但是您是否只是根据数据框中可用的哪些列(在执行之前不知道)来尝试执行一些条件操作?
如果是这样,Dataframe.columns将返回您可以解析并相应选择的列的列表
即
df.columns.foreach { println }
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。