使用AWS Glue Table时Athena产生奇怪的结果

如何解决使用AWS Glue Table时Athena产生奇怪的结果

我最近开始在AWS上探索一些ETL解决方案，并发现了AWS胶水。到目前为止，事实证明这是一个主要的时间浪费，没有任何实际结果，但是希望这是因为我缺乏经验。

我在S3存储桶中有大量数据，它们都驻留在.json文件中。单个文件包含对象数组。我创建了一个搜寻器，以使用json分类器（$ [*]）对其进行检查。我运行搜寻器，然后表被创建/更新。

这是我的问题开始的地方-尝试通过Athena查询此数据时出现以下问题

Athena将整个json对象放在表定义的每一列中。我到处搜索，尝试在表定义中使用不同的序列化程序，似乎没有任何帮助。我一直在阅读雅典娜要求对象必须在一行中，但是我无法控制aws胶如何将数据打包到表中。

如果有人遇到类似问题或知道这可能是什么，我将永远感激。谢谢！

编辑1：

根据评论的要求，表SHOW CREATE TABLE的外观如下

CREATE EXTERNAL TABLE `calcal`(
  `id` string COMMENT 'from deserializer',`status` string COMMENT 'from deserializer',`active` string COMMENT 'from deserializer',`title` string COMMENT 'from deserializer',`minimum_value` string COMMENT 'from deserializer',`maximum_value` string COMMENT 'from deserializer',`value_operator` string COMMENT 'from deserializer',`value_notes` string COMMENT 'from deserializer',`sector` string COMMENT 'from deserializer',`construction_type` string COMMENT 'from deserializer',`early_planning_and_development_date` string COMMENT 'from deserializer',`bidding_date` string COMMENT 'from deserializer',`pre_construction_date` string COMMENT 'from deserializer',`construction_date` string COMMENT 'from deserializer',`project_schedule` string COMMENT 'from deserializer',`bid_due_date` string COMMENT 'from deserializer',`bidding_information` string COMMENT 'from deserializer',`start_date` string COMMENT 'from deserializer',`start_date_notes` string COMMENT 'from deserializer',`end_date` string COMMENT 'from deserializer',`end_date_notes` string COMMENT 'from deserializer',`address1` string COMMENT 'from deserializer',`address2` string COMMENT 'from deserializer',`city` string COMMENT 'from deserializer',`state` string COMMENT 'from deserializer',`zip` string COMMENT 'from deserializer',`county` string COMMENT 'from deserializer',`other_info` string COMMENT 'from deserializer',`details` string COMMENT 'from deserializer',`update_notes` string COMMENT 'from deserializer',`material_classification` string COMMENT 'from deserializer',`submitted_by` string COMMENT 'from deserializer',`created_at` string COMMENT 'from deserializer',`updated_at` string COMMENT 'from deserializer',`deleted_at` string COMMENT 'from deserializer',`types` array<struct<id:string,name:string,code:string,pivot:struct<project_id:string,project_type_id:string>>> COMMENT 'from deserializer',`user` string COMMENT 'from deserializer',`stage` struct<id:string,name:string> COMMENT 'from deserializer')
PARTITIONED BY ( 
  `partition_0` string)
ROW FORMAT SERDE 
  'org.openx.data.jsonserde.JsonSerDe' 
WITH SERDEPROPERTIES ( 
  'paths'='active,address1,address2,bid_due_date,bidding_date,bidding_information,city,construction_date,construction_type,county,created_at,deleted_at,details,early_planning_and_development_date,end_date,end_date_notes,id,material_classification,maximum_value,minimum_value,other_info,pre_construction_date,project_schedule,sector,stage,start_date,start_date_notes,state,status,submitted_by,title,types,update_notes,updated_at,user,value_notes,value_operator,zip') 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://dev-smart-dw/Construction/CAL/'
TBLPROPERTIES (
  'CrawlerSchemaDeserializerVersion'='1.0','CrawlerSchemaSerializerVersion'='1.0','UPDATED_BY_CRAWLER'='CAL-Test-2','averageRecordSize'='1261','classification'='json','compressionType'='none','jsonPath'='$[*]','objectCount'='36','recordCount'='1800','sizeKey'='2285975','typeOfData'='file')

s3数据只是一堆json文件，其中包含一个数组，其中包含50个这些对象。每个文件1个数组，多个文件分成多个文件夹。