如何解决在PHP中并行处理/下载一组网页的最快方法
|| 我有一组Justin.tv/livestream URL，从中既可以获取流状态，也可以获取缩略图。在任何给定时间点，最有可能出现的此类URL最多不超过50个 我尝试过的- 1）天真的串行下载/过程，显然很糟糕。 2）cURL多，但是除非我做的非常错误，否则它似乎仍然很慢-有时一页仅花费一段时间来加载和瓶颈所有内容。 原则上，以上两种方法似乎都是受限制的，并且“不好”，因为我正在加载另一个页面以便加载主要内容。由于我同时加载了许多页面，因此似乎随机会出现一个缓慢的url，从而造成瓶颈。 我考虑过在后台运行一个PHP脚本，该脚本会用流状态和缩略图连续更新数据库表，然后在加载页面时我只是查询数据库，这应该快得多。这是最有效的解决方案，还是有更好的解决方案？ 我最担心这样一个连续运行的脚本可能引起的窃听，因为我确实希望更新尽可能“实时”进行。我认为负担没有什么可担心的，因为每个页面本身都不那么大，所以我可以想象HTTP握手时间在传输时间中占主导地位。 有什么建议吗？解决方法
justin.tv有一个API：http://www.justin.tv/p/api，您可能需要调查一下，而不是尝试screenscrapp
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。