如何解决PySpark数据框下推
我在SQLServer中有下表
CREATE TABLE test (
id smallint,val,varchar(200)
);
我正在尝试使用Python中的SparkSQL的DataFrame API来查询它,
df = sql.read.format("jdbc")
.option("url",url)
.option("query","SELECT * FROM test")
.option("driver",driver)
.load()
我希望能够使用id
将过滤器下推到数据库中的isin()
列,如下所示:
df = df.filter(df['id'].isin([1,2,3]))
但是,由于id列在数据库中是smallint
,因此谓词不会被下推。如果我尝试使用相同的语法来过滤val
列,则谓词将成功下推。
有人知道是否有可能将smallint
列的谓词从Python下推到数据库吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。