使用expr函数无法对相反方向的2列进行排序

如何解决使用expr函数无法对相反方向的2列进行排序

我有一个这样的数据框：

rows = [("Ali",[100]),("Barbara",1,[300,250,100]),("Cesar",[350,("Dongmei",[400,("Eli",2,[250]),("Florita",[500,300,("Gatimu",3,100])] 

df=spark.createDataFrame(rows,["name","department","score"])

我运行下面显示的命令，但是数据未按降序在“名称”列上排序。我也没有得到任何错误。

df.orderBy(expr('department'),expr('name desc')).show()

这是一个错误吗？

解决方法

如果我们看一下expr(...)的文档，它用于从sql之类的语义中创建列。 expr仅支持selectClause only支持的表达式，因此不能将order by表达式放在expr内。

/**
   * Parses the expression string into the column that it represents,similar to
   * [[Dataset#selectExpr]].
   * {{{
   *   // get the number of words of each length
   *   df.groupBy(expr("length(word)")).count()
   * }}}
   *
   * @group normal_funcs
   */
  def expr(expr: String): Column = { ...
}

关于您在expr('name desc')中使用的表达式，它将被翻译为

name AS `desc`

这是不正确的。

截至Dataframe#orderBy-

有2.4.5的2个变体

1. 一个人接受字符串列，没有下面的任何排序顺序-

def orderBy(sortCol: String,sortCols: String*): Dataset[T] = sort(sortCol,sortCols : _*)

1. 另一个接受列，您可以在其中指定以下排序顺序-

/**
   * Returns a new Dataset sorted by the given expressions. For example:
   * {{{
   *   ds.sort($"col1",$"col2".desc)
   * }}}
   *
   * @group typedrel
   * @since 2.0.0
   */
  @scala.annotation.varargs
  def sort(sortExprs: Column*): Dataset[T] = {

尝试使用以下2种优化方式-

// otption-1
df.orderBy($"department",$"name".desc).show(false) // works
// option-2
    df.createOrReplaceTempView("df")
    spark.sql("select * from df order by department,name desc") // works
      .show(false)

,

我真的不知道这是否是一个错误，我更愿意使用dateObject和col函数来实现预期的行为：

desc