如何解决PHP数组中的内存优化
| 我正在使用一个大数组,它是一个高度图,1024x1024,当然,我受内存限制的限制。在我的测试机上,如果需要,我可以将内存限制增加到1GB,但是在只有256 RAM的微型VPS中,这不是一个选择。 我一直在堆栈和Google中进行搜索,发现有几个“好吧,您使用PHP并不是因为内存效率高,放弃它并用c ++重写”,老实说,没关系,我认识到PHP喜欢内存。 但是,在深入研究PHP内存管理时,我没有发现哪种内存消耗每种数据类型。或者,如果强制转换为其他类型的数据可以减少内存消耗。 我发现的唯一“优化”技术就是取消设置变量和数组,仅此而已。 使用某些PHP解析器将代码转换为c ++可以解决问题? 谢谢!解决方法
如果您想要一个真正的索引数组,请使用SplFixedArray。它使用较少的内存。另外,PHP 5.3具有更好的垃圾回收器。
除此之外,PHP将比更仔细地编写的C / C ++等效项使用更多的内存。
1024x1024整数数组的内存使用情况:
标准阵列:218,756,848
SplFixedArray:92,914,208
由
memory_get_peak_usage()
测得
$array = new SplFixedArray(1024 * 1024); // array();
for ($i = 0; $i < 1024 * 1024; ++$i)
$array[$i] = 0;
echo memory_get_peak_usage();
请注意,在C中使用64位整数的相同数组将为8M。
正如其他人所建议的,您可以将数据打包到一个字符串中。这比较慢,但内存效率更高。如果使用8位值,则超级简单:
$x = str_repeat(chr(0),1024*1024);
$x[$i] = chr($v & 0xff); // store value $v into $x[$i]
$v = ord($x[$i]); // get value $v from $x[$i]
这里的内存仅为1.5MB(也就是说,仅考虑使用此整数字符串数组的PHP的全部开销)。
出于乐趣,我创建了一个简单的基准测试,即创建1024x1024个8位整数,然后将它们循环一次。打包版本均使用“ 3”,因此用户代码看起来相同。
mem write read
array 218M 0.589s 0.176s
packed array 32.7M 1.85s 1.13s
packed spl array 13.8M 1.91s 1.18s
packed string 1.72M 1.11s 1.08s
打包数组使用本机64位整数(仅打包7个字节以避免处理带符号数据),打包字符串使用ord
和chr
。显然,实现细节和计算机规格会稍微影响某些事情,但是我希望您能得到类似的结果。
因此,虽然阵列的速度提高了6倍,但它还是使用了125倍的内存作为次佳的选择:打包字符串。显然,如果内存不足,速度是无关紧要的。 (当我不使用ArrayAccess
类而直接使用打包字符串时,它们仅比本地数组慢3倍。)
简而言之,总而言之,如果需要考虑速度,我将使用纯PHP以外的方法来处理此数据。
, 除了评论中可接受的答案和建议之外,我还建议PHP Judy数组实现。
快速测试显示出有趣的结果。使用常规PHP数组数据结构的具有1百万个条目的数组大约需要200 MB。 SplFixedArray使用大约90兆字节。朱迪用了8兆。权衡是在性能上,Judy花费的时间大约是常规php数组实现时间的两倍。
, 聚会晚了一点,但是如果您有多维数组,则将完整的数组存储为json时可以节省大量RAM。
$array = [];
$data = [];
$data[\"a\"] = \"hello\";
$data[\"b\"] = \"world\";
要存储此数组,只需使用:
$array[] = json_encode($data);
代替
$array[] = $data;
如果您想收回欠款,只需使用以下方法:
$myData = json_decode($array[0],true);
我有一个包含275.000套的大型阵列,并节省了约36%的RAM消耗。
编辑:
当您压缩json字符串时,我发现了一种更好的方法:
$array[] = gzencode(json_encode($data));
并在需要时解压缩:
$myData = json_decode(gzdecode($array[0],true));
这为我节省了将近75%的RAM峰值使用率。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。