如何解决如何在 .log 扩展名中合并来自 zip 文件的数据并将它们合并
我已经下载了 zip 文件并从中提取了日志文件,但是,我无法打开 .log 文件格式并将数据合并到数据框中。
import fnmatch
with ZipFile("path/HTWebLog_p1.zip") as zipfiles:
file_list = zipfiles.namelist()
#get only the .log files
csv_files = fnmatch.filter(file_list,"*.log")
#iterate with a list comprehension to get the individual dataframes
data = [pd.read_csv(zipfiles.open(file_name),delimiter=',',header=0) for file_name in csv_files]
#combine into one dataframe
df = pd.concat(data)
df.head()
csv_files 数据框的输出以 .log 格式显示 zip 文件的名称。 我收到以下错误。 ParserError:标记数据时出错。 C 错误:第 5 行应为 1 个字段,看到 3
数据:
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2006-11-01 00:00:08
#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) cs(Referer) sc-status sc-substatus sc-win32-status
2006-11-01 00:00:08 W3SVC1 127.0.0.1 GET /Default.aspx - 80 - 70.80.84.76 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) http://www.google.com/search?sourceid=navclient&aq=t&ie=UTF-8&rls=GGLD,GGLD:2005-19,GGLD:en&q=Tulip+hotel 200 0 0
2006-11-01 00:00:08 W3SVC1 127.0.0.1 GET /Tulip/home/en-us/home_index.aspx - 80 - 70.80.84.76 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) - 200 0 0
2006-11-01 00:00:08 W3SVC1 127.0.0.1 GET /Tulip/includes/js/CommonUtil.js - 80 - 70.80.84.76 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) http://www.hotelTulip.com.hk/Tulip/home/en-us/home_index.aspx 200 0 0
解决方法
日志文件不是 CSV 文件(逗号分隔值),因此 CSV 解析器当然会阻塞它们。
在不知道您想从日志文件中提取什么的情况下,尝试类似的操作
import fnmatch
data = []
with ZipFile("path/HTWebLog_p1.zip") as zipfiles:
file_list = zipfiles.namelist()
log_files = fnmatch.filter(file_list,"*.log")
for file_name in log_files:
with zipfiles.open(file_name) as lines:
data.extend(lines.readlines())
这只会将原始行读入 data
。如果您想从中解析出单个字段,您可能需要一些更复杂的东西,但至少这有望让您朝着正确的方向开始。
更详细地说,错误消息告诉您 CSV 解析器检查了前几行,并观察到它们都不包含逗号,因此它们都被解析为单列文本。但是现在第 5 行突然有一行包含几个逗号,这违反了格式定义(CSV 文件中的每条记录都需要包含相同数量的列)。但当然,如果您查看数据,这些逗号实际上根本不是列分隔符。
数据似乎有固定数量的列,所以如果您跳过前几行,也许您可以使用 CSV 阅读器,而是使用 delimiter=' '
(列是空格-分隔,而不是逗号分隔)。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。