如何解决读取使用pyarrow保存为实木复合地板的DataFrame,将文件名保存在列中
我想读取一个充满包含pandas DataFrames的镶木地板文件的文件夹。除了要读取的数据外,我还想将要从中读取数据的文件名存储在“ file_origin”列中。在大熊猫中,我可以这样:
import pandas as pd
from pathlib import Path
data_dir = Path("path_of_folder_with_files")
df = pd.concat(
pd.read_parquet(parquet_file).assign(file_origin=parquet_file.name)
for parquet_file in data_dir.glob("*")
)
不幸的是,这很慢。 pyarrow(或其他任何有效的软件包)有类似的方法吗?
import pyarrow.parquet as pq
table = pq.read_table(data_dir,use_threads=True)
df = table.to_pandas()
解决方法
您可以使用箭头而不是熊猫来实现它:
batches = []
for file_name in data_dir.glob("*"):
table = pq.read_table(file_name)
table = table.append_column("file_name",pa.array([file_name]*len(table),pa.string()))
batches.extend(table.to_batches())
return pa.Table.from_batches(batches)
除非您的表中有很多字符串和对象(在熊猫中很慢),否则我认为它不会显着提高速度。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。