如何解决在pyathena中选择数据目录?
我正在尝试使用pyathena(看上去比本地的boto3简单)执行一些查询。 但是,我找不到如何定义要使用的数据目录。 例如,使用boto3执行查询:
athena_client = boto3.client('athena')
start_execution_response = athena_client.start_query_execution(
QueryString='SELECT * FROM test_table',QueryExecutionContext={
'Database': 'default','Catalog': 'AwsDataCatalog'
},ResultConfiguration={
'OutputLocation': 's3://some_bucket/query_results/'
}
)
使用pyathena,我可以做类似的事情(并且有效):
cursor = connect(s3_staging_dir='s3://some_bucket/query_results/',schema_name="some_db",).cursor()
cursor.execute("SELECT * FROM table1")
但是当我有多个目录时如何工作?我想念什么吗?
谢谢, 尼尔。
解决方法
我假设您也可以使用完全限定的表名编写查询
SELECT * FROM AwsDataCatalog.default.test_table
然后引用不同的目录。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。