如何解决为什么PyPy翻译这么慢?
| 将pypy实施转换为c文件并在配备2G内存和Intel Core2 2GHz CPU的现代笔记本电脑上构建pypy-c会花费数小时。 我知道这是一个CPU密集型任务,但是它必须这么慢吗?是否有任何机会或空间来减少计算,重新安排计算顺序并将时间缩短到数十分钟?解决方法
免责声明:我不是PyPy的专家-特别是,我不了解RPython转换的详细信息,我仅引用文档以及在邮件列表和博客中听到的内容。
“ CPU密集型任务”?因该月的轻描淡写而被提名。我本人不太了解翻译过程的细节,但是即使我可以告诉您,它的多个分析和优化过程中的每一个都对大量代码进行了很多非常复杂的工作。
它开始正常运行Python代码,例如导入模块,执行模块级变量定义,定义函数和类,为其应用装饰器等。在某些时候,当应该达到“足够的静态性”时,它将停止并继续实际的翻译过程。
它采用冻结的内存中正在进行的Python程序,并在一个特殊的对象空间中运行所有程序,该对象空间可模拟流量控制,变量的可能值等。它实际上是在象征性地运行解释器!它执行此操作以执行类型推断(在Python这样的语言中,一切都很容易,但很容易)和附加分析。
结果转换为低级代码。
可以选择进行很多优化(默认情况下启用),并进行复杂的无堆栈支持转换(默认情况下禁用)。
然后,将所有内容降低到适合指定后端的类型系统中,生成数百万行代码(从最近的邮件列表条目中看来,至少有19个.c文件,其中至少一个包含至少247,560行-以便您大致了解我们正在谈论的数量级)。
所有这些代码都是用ѭ0或类似的语言编译的,当然要进行大量的分析和检查,并且本身还要进行许多分析和优化操作。
是的,这是一个非常庞大的任务。难怪您的CPU丢失了。作为参考,PyPy团队在2010年11月对转换过程进行基准测试时使用了Intel Xeon W3580(3.33 GHz)。尽管它们还具有12 GB的RAM,但仍花费了大约76分钟的时间-这导致了下一个问题:在此过程中需要大量RAM(那时,在64位Ubuntu上为2.3 GB,不知道数字如何转换为您的情况)。我很确定您最终会超出物理RAM,请输入过多的交换空间以及与性能相关的障碍。
结合您可能正在运行其他几个程序窃取CPU时间和RAM的事实,我认为您的体验很好。翻译PyPy保留给功能更强大的计算机使用。如果有什么可以从根本上改善现在的情况,那么像我们这样的局外人不太可能找到它。我会将这些烦恼留给开发人员。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。