比较PySpark中的文件

如何解决比较PySpark中的文件

我正在使用PySpark，我需要比较两个文件的内容-进行diffcheck。所以我将测试分为2：

我正在使用文件之间的连接列，并检查记录是否相同
我要从每个文件中提取唯一列，并保存它们（以进行手动测试）

第一步是通过

joined_columns = set(tbl1.columns).intersection(set(tbl2.columns))
joined_columns_str = str(joined_columns)[1:-1].replace("'","")

tbl1_set = spark.sql("SELECT " + joined_columns_str + " FROM tbl1")
tbl2_set = spark.sql("SELECT " + joined_columns_str + " FROM tbl2")

sql = "SELECT * FROM tbl1_set " \
          "EXCEPT " \
          "SELECT * FROM tbl2_set "
different_records = spark.sql(sql)

但是，在这些文件中，我有map列-因此出现此错误：

org.apache.spark.sql.AnalysisException: Cannot have map type columns in DataFrame which calls set operations(intersect,except,etc.)

有人知道如何解决它，只获得不相同的记录吗？我曾考虑过使用udf，但只有在引用特定字段时，才在“ select *”上找不到如何使用它的方法。

任何帮助将不胜感激。

谢谢！