如何解决Python数据记录器导致Windows错误地报告驱动器已满
我正在通过Web套接字连接监视数据流,然后进行少量处理,然后将消息记录到磁盘。邮件会根据标签进行过滤,并附加到给定标签的相应csv文件的末尾。共有6000-9000个标签,每天监控8小时。每天添加的磁盘总大小通常在800 MB到3 GB之间。另外请注意,每天都会创建一组新文件
(我意识到这时我可能应该搬到HDF商店之类的地方。但是我想知道是什么导致当前设置中的磁盘使用问题...)
当我终止通过CTR-C的日志记录并出现所产生的KeyboardInterrupt异常时,Windows突然显示我唯一的硬盘(C :)已接近或完全满,而实际上我应该还剩60-70 GB。重新启动计算机即可解决问题。
深入研究发现,在“ C:\ ProgramData \ Microsoft \ Search \ Data \ Applications \ Windows”中找到的Windows索引器数据库“ Windows.edb”已增长为占用67.6 GB的空间 (这样就可以了...)
为什么?
创建9000个csv文件是否会使索引数据库陷入困境? 而是频繁地对每个导致其膨胀的open()write()close()?
我认为后者更可能是问题所在,但由于以下两个原因,我在持久性文件描述符方面没有取得巨大成功:
- 首先,我不知道所有标签是否在手,而且它们每天都会更改为 天
- 第二,我想在记录过程中深入研究文件(可能是 由主机随时终止),所以我更喜欢刷新消息 每次都磁盘。我正在使用ThreadPoolExecutor处理 时间安排,而且在开销方面也不是问题。我做了 尝试使用永久性文件描述符,甚至手动设置 缓冲或强制刷新似乎没有得到我想要的结果。
下面是消息监视器:
def threadedMonitor(self):
print("Launching threads")
with ThreadPoolExecutor(max_workers = 1000) as threadExecutor:
num_replies = 0
while self.monitoring:
try:
rawReply = self.ws.recv()
threadExecutor.submit(self.processRecieved,rawReply)
num_replies+=1
if num_replies == self.printUpdateAt:
self.writeLog('{} replies recieved. '.format(num_replies)+rawReply)
print('Update: ',rawReply)
num_replies=0
except:
self.monitoring = False
self.unsubscribe()
和消息处理器:
def processRecieved(self,rawReply):
if self.monitoring:
update = loadParser(rawReply)
if update['messageType'] == 'A':
if update['data'][0] in ['T','Q']:
if not update['data'][3] in self.symDict:
self.addSymbol(update['data'][3])
self.writeLog('Adding {} to symDict.'.format(update['data'][3]))
out_str = ','.join([str(value) for value in update['data']])+'\n'
fOut = open(self.symDict[update['data'][3]]['fName'],'a')
fOut.write(out_str)
fOut.close()
else:
self.writeLog(str(update))
感谢您提供的任何见解。我知道我可以关闭索引,删除和重建索引数据库,甚至可以从索引器中隐藏此文件夹。但是,我更愿意在python方面理解并解决该问题。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。