如何解决python比pypy读取/迭代文件快两倍
通常,对于常规的简单python代码,使用pypy会更快。但是,当我读取文件并仅拆分字符串并执行非常简单的逻辑时,结果却比常规python慢得多。
采用以下代码作为参考。
首先让我们使用下面的代码创建一个伪文件:
NUM_ROWS = 10000000
FILENAME = "testing.txt"
def create_file():
data = []
for x in range(NUM_ROWS):
data.append("AA BB CC DD EE FF GG HH II JJ KK LL MM NN OO\n")
with open(FILENAME,"w") as f:
for d in data:
f.write(d)
f.close()
这只会创建一个名为testing.txt
的文件。
然后我们有一个sample.py
:
import datetime
FILENAME = "testing.txt"
start = datetime.datetime.now()
with open(FILENAME) as f:
for i,line in enumerate(f):
data = line.split(" ")
if data[0] != "AA":
print(i,line)
print(datetime.datetime.now() - start)
C:\pypy3.6-v7.3.1-win32\pypy3.exe sample.py
仅需42s
,而python sample.py
仅需18s
我在Windows 10计算机上使用python3.7。有没有办法使用pypy来加速像上面这样的简单脚本?我用错了吗?
----------更新:
显然,它是pypy中速度较慢的文件的“读取”或迭代过程。
使用sample.py作为:
import datetime
FILENAME = "testing.txt"
start = datetime.datetime.now()
with open(FILENAME,"r") as f:
for line in f:
pass
print(datetime.datetime.now() - start)
我尝试使用截至20200818的最新pypy3版本。这是我对上述简单代码的发现(只是简单地逐行迭代一千万行的文件)。在Windows中,常规python(3.8)需要2.3秒的时间来执行上述代码,而使用pypy3则需要30秒的时间。在Ubuntu中,常规python用pypy3需要1.2秒,而用pypy3需要3.4秒。 linux版本绝对可以接受,但是Windows绝对需要一些工作
有没有一种方法可以加快使用pypy for Windows读取/迭代文件的速度?
解决方法
问题已更新,所以我更新了答案:
与每次优化一样,您需要分析每个零件。 当然,您应该专注于循环中的命令。
通过相同测试的我的解决方案(无配置文件)将是:
import datetime
FILENAME = "testing.txt"
start = datetime.datetime.now()
with open(FILENAME) as f:
i = 0
data = f.readline()
while data:
if not data.startswith('AA '):
print(i,line)
i += 1
data = f.readline()
print(datetime.datetime.now() - start)
但是,这不是解决方案@ user1179317预期的 更新后的问题@ user1179317中的用户现在知道文件数据块的读取是个问题。
您可以尝试使用yield读取大块数据:
def read_in_chunks(file_object,chunk_size=1024):
"""generator to read file in chunks"""
while True:
data = file_object.read(chunk_size)
if not data:
break
yield data
with open('big_file.data') as f:
for piece in read_in_chunks(f):
process_data(piece)
另一种选择是使用iter和一个辅助函数:
f = open('big_file.dat')
def read_chunk(chunk_size=1024):
return f.read(chunk_size)
for piece in iter(read_chunk,''):
process_data(piece)
再次-这不是ready to use past & copy
的答案-您需要进行分析和测试,因为结果将取决于文件大小,可用内存,硬盘块大小,IP数据包大小等。
由于该操作是受I / O约束的,所以多线程方法可能很好-您可能会尝试在单独的线程中读取文件的下一个块。
所以-您需要使用不同的块大小进行剖析
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。