将嵌套的xml标记加载到BQ数组类型中

如何解决将嵌套的xml标记加载到BQ数组类型中

我调用一个API来获取一个请求中某些ID的更新详细信息。 API响应格式为XML。取决于id，xml的方案可能会略有不同。此数据存储在Bigquery中，并且在最终表中有一些字段作为“记录重复”类型，例如：

 title 
      title.size
      title.type
      title.subtype
      title.lang
 cast 
      cast.name
      cast.lang
      cast.text

用于API调用的XML如下所示：

<id id='id1'>
 <titles lang="en"> 
     <title size="120" type="full" subType="Main" lang="en">Mom</title> 
     <title size="70" type="red" lang="en">Mom</title> 
     <title size="40" type="red" lang="en">Mom</title>
     <title size="20" type="red" lang="en">Mom</title>
     <title size="10" type="red" lang="en">Mom</title> 
</titles>
<abc> </abc>
<description></description>
</id>
<id id='id2'>
<casts lang="en"> 
     <cast name="abcd" lang="en">abcs</cast> 
     <cast name="acbbb" lang="en">abcs33</cast> 
     <cast name="abcs" lang="en">abcs45</cast> 
     <cast name="abcsd" lang="en">abcs56</cast> 
     <cast name="abcwe" lang="en">abcs67</cast> 
</casts>
<abc> </abc>
<description></description>
</id>

我首先尝试将xml文件转换为json并将其加载到BQ，但是由于该方案无法解决，因此无法利用此方法。据我搜索，使用pandas数据框也不太有效，如果我错了，请纠正我。

如何在python中将数据加载到BQ？

解决方法

我将打印出数据并自己组装：）

from simplified_scrapy import SimplifiedDoc
html = '''
<id id='id1'>
 <titles lang="en"> 
     <title size="120" type="full" subType="Main" lang="en">Mom</title> 
     <title size="70" type="red" lang="en">Mom</title> 
     <title size="40" type="red" lang="en">Mom</title>
     <title size="20" type="red" lang="en">Mom</title>
     <title size="10" type="red" lang="en">Mom</title> 
</titles>
<abc> </abc>
<description></description>
</id>
<id id='id2'>
<casts lang="en"> 
     <cast name="abcd" lang="en">abcs</cast> 
     <cast name="acbbb" lang="en">abcs33</cast> 
     <cast name="abcs" lang="en">abcs45</cast> 
     <cast name="abcsd" lang="en">abcs56</cast> 
     <cast name="abcwe" lang="en">abcs67</cast> 
</casts>
<abc> </abc>
<description></description>
</id>
'''
dic = {}
doc = SimplifiedDoc(html)
# ids = doc.selects('id') # Get all ids
# child = ids.child # Gets the first child node of each id
# children = child.children # Gets all child nodes
ids = doc.selects('id').child.children
for id in ids:
  for item in id:
    print ({i:item[i] for i in item if i != 'html'},item.text)

结果：

{'tag': 'title','size': '120','type': 'full','subType': 'Main','lang': 'en'} Mom
{'tag': 'title','size': '70','type': 'red','size': '40','size': '20','size': '10','lang': 'en'} Mom
{'tag': 'cast','name': 'abcd','lang': 'en'} abcs
{'tag': 'cast','name': 'acbbb','lang': 'en'} abcs33
{'tag': 'cast','name': 'abcs','lang': 'en'} abcs45
{'tag': 'cast','name': 'abcsd','lang': 'en'} abcs56
{'tag': 'cast','name': 'abcwe','lang': 'en'} abcs67

还有更多示例：https://github.com/yiyedata/simplified-scrapy-demo/tree/master/doc_examples