如何解决与从雅典娜查询相比,Pyathena超级慢
我从AWS Athena控制台运行查询,耗时10秒。 使用 PyAthena 从 Sagemaker 运行相同的查询需要155秒。 PyAthena会减慢速度还是从Athena到Sagemaker的数据传输如此耗时?
该如何加快速度?
解决方法
只需找出提高查询量的方法:
在尝试之前:
import pandas as pd
from pyathena import connect
conn = connect(s3_staging_dir=STAGIN_DIR,region_name=REGION)
pd.read_sql(QUERY,conn)
# takes 160s
发现使用 PandasCursor 代替 connection 会更快
import pandas as pd
pyathena import connect
cursor = connect(s3_staging_dir=STAGIN_DIR,region_name=REGION).cursor()
df = cursor.execute(QUERY).as_pandas()
# takes 12s
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。