如何解决在PySpark中执行Postgresql存储过程
我正在使用AWS Glue中的Pyspark 我想在Postgresql数据库上执行存储过程/函数 可能吗? 语法是什么?是否需要任何特殊包装?
安库尔
解决方法
- 您可以尝试使用pg8000之类的模块来运行此功能
- 您还可以尝试调用postgres函数,就像使用jdbc作为格式的spark读取函数从特定表中选择数据一样。考虑到胶水在后端使用pyspark,我想只是给函数名而不是表名就可以了。只需记住将jdbc驱动程序添加到您的粘合工作中即可。
例如:您可以在火花中完成
jdbcDF = spark.read.format("jdbc").option("url","jdbc:postgresql://host:5432/db").option("driver","org.postgresql.Driver").option("query","SELECT * from function()").option("user","user").option("password","password").load()
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。