是否有任何脚本可用于导入多个csv文件并按日期缝合数据并将其导出到n个excel文件

如何解决是否有任何脚本可用于导入多个csv文件并按日期缝合数据并将其导出到n个excel文件

我想编写一个python脚本来从存储在多个csv文件（每天）中的每日数据（温度，湿度与时间（15分钟间隔））绘制图表，我想读取整个月度数据（30个csv文件） ），过滤列，然后将整个月度数据存储在单个文件中（根据时间和日期），以绘制一个月的图形。

这是我用来从单个csv文件打开，过滤和绘制图形的代码。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from tkinter import filedialog
from tkinter import *

root = Tk()
root.filename =  filedialog.askopenfilename(initialdir = "/home/hebin/Documents/PV/Mitsui",title = "Select file",filetypes = (("jpeg files","*.jpg"),("all files","*.*")))
print(root.filename)
f = open(root.filename)
df= pd.read_csv(root.filename)
df.drop([0,1,2,3,4,5,6,7,8],inplace=True)
df_new = df.rename(columns={'Location': 'Date','Unnamed: 1':'Time','testo 160 IAQ_51602514 [°C]':'Temperature [°C]','testo 160 IAQ_51602514 [%RH]':'Relative Humidity[%RH]'},index={'ONE': 'one','ONE': 'one','ONE': 'one'})
%matplotlib inline
plt.figure(figsize=(100,50))
fig,Ax1 = plt.subplots(figsize=(25,20))
Ax2 = Ax1.twinx()
Ax3 = Ax1.twinx()
Ax1.plot('Time','Temperature [°C]',data=df_new,linewidth=2,color='g' )
Ax2.plot('Time','Relative Humidity[%RH]',color='b')
Ax1.grid(True)
Ax1.set_xlabel('Time')
Ax1.set_ylabel('Temperature [°C]',color='g')
Ax2.set_ylabel('Relative Humidity[%RH]',color='b')

这是我数据的图像 （https://i.stack.imgur.com/tHeug.png）

实际数据从第9行开始。每个数据从上午12:00到第二天上午12:00开始。

解决方法

在看不到数据的情况下，很难提供确切的详细信息，但这应该有助于加载文件，然后您将可以在这里进行绘图。请让我知道这是否是您的想法。您可以使用熊猫和水珠。

import pandas as pd
import glob

path = r'INSERT_PATHHERE' # path to foler including all the files
all_files = glob.glob(path + "/*.csv")

allWeather= []

for filename in all_files:
    df = pd.read_csv(filename,index_col=None,header=0)
    allWeather.append(df)

df = pd.concat(allWeather,axis=0,ignore_index=True)

,

您可以读取所有.csv文件，并通过以下代码将它们组合到一个.csv或.xlsx文件中：（由于您没有提到所需的过滤类型，因此我无法为该部分提供任何解决方案）：

import os
import glob
import pandas as pd
import sys
import csv
maxInt = sys.maxsize

while True:
# decrease the maxInt value by factor 10
# as long as the OverflowError occurs.

try:
    csv.field_size_limit(maxInt)
    break
except OverflowError:
    maxInt = int(maxInt / 10)

# Define the path including all csv files
os.chdir(os.path.abspath("C:\Data"))

extension = 'csv'
files = [i for i in glob.glob('*.csv'.format(extension))]

#combine all files in the list (by skiprows,you can identify how many rows 
#should be discarded during reading files)
combined_files = pd.concat([pd.read_csv(f,skiprows=8) for f in files],ignore_index=True,sort=False)

#Then you can filter your columns and after that export as a single excel file
combined_files.to_excel("C:\Data\combined_files.xlsx",index=False)