多个HTTP请求的异步状态检查

如何解决多个HTTP请求的异步状态检查

我有一个列表，其中包含数千个指向远程服务器上的图像/视频的URL。像这样：

urls = ['https://foo.bar/baz.jpeg','https://foo.bar/jaz.mp4',...]

通过获取这些url，一些响应会以 404 Not Found 的形式出现，这是可以的，因为服务器上的数据可能已过时或已删除。我要尝试做的事情是快速确定哪些网址会给我 404 。

当我打开浏览器并在地址栏上输入错误的网址之一时，未找到错误大约需要200毫秒才能被检索到。通过进行一些无辜的计算，我预计，如果以异步方式进行，〜1.000调用将花费不超过4秒的时间。

但是，通过使用此代码，我认为它在某种程度上是合适的：

def async_check(urls):

    async def fetch(session,url):
        async with session.get(url) as response:
            if response.status != 200:
                return False
            else:
                return True

    async def run(urls):
        async with ClientSession() as session:
            return await asyncio.gather(*[fetch(session,url) for url in urls])

    return asyncio.get_event_loop().run_until_complete(run(urls))

经过的时间更长，有时实际上是超时。

我认为这是由于列表内的非故障网址所导致，这些网址指向的图像和视频可能需要很长时间才能加载为响应对象，最终会花费大量时间为了完成任务。

考虑了如何实现对 404 的验证后，我想到了一个看起来或多或少像这样的流程：

对于每个URL，使用get方法异步获取它，并且还异步睡眠相对长的时间（例如1秒）。休眠完成后，尝试查看响应是否为“就绪”，如果是，则将状态代码404（或不同于200）添加到我的错误网址列表中。如果在睡眠后响应还不是“就绪”，那么我将认为这是由于加载了沉重的图像/视频而导致的，因此将其视为“无故障”。

由于每个呼叫的等待时间上限为1秒，所以我希望一堆网址的等待时间相对较快。

这将被视为解决此问题的一种巧妙方法，还是有更聪明的解决方法？

解决方法

我认为这是由于列表内的非故障网址所导致，这些网址指向的图像和视频可能需要很长时间才能加载为响应对象，最终会花费大量时间为了完成任务。

很难预先知道这是否真的正确，但是您可以通过添加使用time.time()来测量每个请求所经过的时间并显示其状态的代码来进行测试。

请注意，除非您await response.read()或同等身份的人，否则客户端不会“加载”响应正文，只有标题是。尽管如此，某些无故障的URL仍可能需要很长时间才能返回标头。某些故障故障也可能需要很长时间才能返回错误状态，也许是那些您没有手动检查的故障故障。 asyncio.gather()将花费列表中最长的URL，因此如果您有成千上万个URL，则至少其中一些会滞后。

但是假设前提是正确的，则可以通过将fetch包装在wait_for中来实现限制：

    async def fetch_with_limit(session,url):
        try:
            return await asyncio.wait_for(fetch(session,url),1)
        except asyncio.TimeoutError:
            return True  # took more than 1s,probably non-faulty

现在您可以使用fetch_with_limit代替fetch。