雅典娜查询执行结果后如何获取S3网址

如何解决雅典娜查询执行结果后如何获取S3网址

我正在尝试将雅典娜查询结果存储在S3存储桶中。 我能够将查询结果存储在S3中,并且可以在S3中看到数据。 但是我需要在查询执行回调之后返回存储数据的S3 URL。

请在下面找到我的代码

const getQueryResults = async (QueryExecutionId) => {
  await sleep(5000);
  const { QueryExecution } = await athena
    .getQueryExecution({ QueryExecutionId })
    .promise();
  if (
    QueryExecution.Status.State !== "SUCCEEDED" &&
    QueryExecution.Status.State !== "FAILED" &&
    QueryExecution.Status.State !== "CANCELLED"
  ) {
    console.log(`Not ready yet: ${JSON.stringify(QueryExecution,null,2)}`);

    return getQueryResults(QueryExecutionId);
  }

  console.info(`(${QueryExecutionId}) Results ready,download started`);

  const data = await athena.getQueryResults({ QueryExecutionId }).promise();

**// **Here I need to get S3 url instead of results rows instead of data.ResultSet.Rows****

  return data.ResultSet.Rows;
};

解决方法

没有API调用可直接给出此信息。但是您可以通过将查询运行的年,月和日附加到输出位置来获取确切的输出CSV文件。

  1. 使用脚本中的getQueryExecution()获取输出位置,您已经具有以下内容:

s3://aws-athena-query-results-XXXXXXXXX-us-west-2/

  1. 如果您查询的不是命名查询,则以其他方式追加未保存的查询名称,如下所示:

s3://aws-athena-query-results-XXXXXXXXX-us-west-2/Unsaved->如果未命名查询

s3://aws-athena-query-results-XXXXXXXXX-us-west-2/<QueryName>

  1. 现在只需通过获取当前日期并对其进行解析即可将年,月和日追加到您的输出位置,这样应该会有所帮助。

s3://aws-athena-query-results-XXXXXXXXX-us-west-2/2020/07/22/

  1. 作为最后一步,您需要将查询ID末尾连接.CSV,如下所示:

s3://aws-athena-query-results-XXXXXXXXXX-us-west-2/Unsaved/2020/07/22/<query_id>.csv

现在,您拥有由查询生成的确切S3文件。

,

查询执行响应包含查询完成时结果的S3 URI。当QueryExecution.Status.StateSUCCEEDED时,QueryExecution.ResultConfiguration.OutputLocation将包含URI。

如果您只需要CSV,则无需进行getQueryResults API调用。

下面是一个基于您的代码的示例,该示例返回结果URI:

const getQueryResultsUri = async (QueryExecutionId) => {
  const {QueryExecution} = await athena.getQueryExecution({QueryExecutionId}).promise()
  const state = QueryExecution.Status.State
  while (state !== "SUCCEEDED" && state !== "FAILED" && state !== "CANCELLED") {
    await sleep(5000)
  }
  if (state === "SUCCEEDED") {
    return QueryExecution.ResultConfiguration.OutputLocation
  } else {
    throw new Error("Execution failed or was cancelled")
  }
}

我还重写了它,以使用循环而不是递归。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其他元素将获得点击?
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。)
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbcDriver发生异常。为什么?
这是用Java进行XML解析的最佳库。
Java的PriorityQueue的内置迭代器不会以任何特定顺序遍历数据结构。为什么?
如何在Java中聆听按键时移动图像。
Java“Program to an interface”。这是什么意思?
Java在半透明框架/面板/组件上重新绘画。
Java“ Class.forName()”和“ Class.forName()。newInstance()”之间有什么区别?
在此环境中不提供编译器。也许是在JRE而不是JDK上运行?
Java用相同的方法在一个类中实现两个接口。哪种接口方法被覆盖?
Java 什么是Runtime.getRuntime()。totalMemory()和freeMemory()?
java.library.path中的java.lang.UnsatisfiedLinkError否*****。dll
JavaFX“位置是必需的。” 即使在同一包装中
Java 导入两个具有相同名称的类。怎么处理?
Java 是否应该在HttpServletResponse.getOutputStream()/。getWriter()上调用.close()?
Java RegEx元字符(。)和普通点?