如何解决登录到instagram刮取用户信息
我需要从instagram用户页面上抓取信息,更多,我需要使用以下网址页面:"https://www.instagram.com/cristiano/?__a=1"
问题是我需要使用instagram帐户登录才能执行此脚本
from requests import get
from bs4 import BeautifulSoup
import json
import re
import requests
url_user = "https://www.instagram.com/cristiano/?__a=1"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/79.0.3945.74 Safari/537.36 Edg/79.0.309.43'}
response = get(url_user,headers=headers)
print(response)
# print(page.text)
soup = BeautifulSoup(response.text,'html.parser')
# print(soup)
jsondata=json.loads(str(soup))
我收到此错误:
JSONDecodeError:期望值:第1行第1列(字符0)
我该如何避免刮擦信息和访问数据的连接问题?
谢谢
解决方法
添加!docker exec -ti {container name} bash
参数会为您提供JSON响应,因此您无需通过BeautifulSoup就可以直接加载JSON。
__a=1
或者,您可以使用json()
函数来加载JSON:
response = get(url_user,headers=headers)
jsondata=json.loads(response.text)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。