如何解决如何在Spark中用视图替换某些表名
我有如下所示的spark sql:
select * from db::table;
但是火花不能识别db::table
,所以我尝试以下策略
- 使用自定义函数将
db::table
加载到DataFrame
中val str = "db::table" val Array(db,table) = str.split("::") val df:DataFrame = mySelfDefinedFunction(str)
- 从
df
创建视图df.createOrReplaceTempView(s"${db}_${table}")
- 将所有出现的
db::table
替换为db_table
我发现可能存在一些解决方案,可以通过编写扩展ParserInterface
的类并覆盖它的某些方法来解决。但是我不知道该怎么做。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。