使用网络抓取从互联网获取股票价格

如何解决使用网络抓取从互联网获取股票价格

我的代码输出：

<Response [200]>
https://www.tradingview.com/symbols/NSE-RELIANCE
1
[<div class="tv-symbol-price-quote__value js-symbol-last"></div>]

Process Finished with exit code 0

我正在尝试从 excel 文件中读取股票名称，并使用此代码在我的 excel 表中更新它们的最新价格。运行这段代码后，我得到了一个数组（数据）中的输出，但它不包含任何股票价格，我以后可以在我的列表中检索和更新。有人可以帮助我吗？The html tag highlighted containing the price of stock

import openpyxl
import time
import requests
from bs4 import BeautifulSoup
wb = openpyxl.load_workbook("try.xlsx")
sheets = wb.sheetnames
#print(sheets)
sh = wb['Stock']
data = sh['F4'].value
#print(data)
s_row = 4
s_col = 6
c_list = []
while sh.cell(row=s_row,column= s_col).value != None:
    c_name = sh.cell(row=s_row,column=s_col).value
    c_list.append(c_name)
    s_row += 1
#print("Company name available in Database")
#[print('    ->',name) for name in c_list]
time.sleep(2)
for stock_symbol in c_list:
    url = 'https://www.tradingview.com/symbols/NSE-' + stock_symbol
    response = requests.get(url)
    print(response)
    print(url)
    soup = BeautifulSoup(response.text,'html.parser')
    #print(soup)
    data = soup.find_all('div',attrs={'class': 'tv-symbol-price-quote__value js-symbol-last'})
    print(len(data))
    print(data)

解决方法

正如我在评论中所说，这些数据是在页面加载后从脚本生成的，requests 不运行脚本。处理这个问题的一种方法是使用类似 selenium 的东西，它也会运行脚本，另一种方法是直接查询它们的 API。
在查看了如何从站点查询数据后，我得到了它的工作：

r = requests.post(r"https://scanner.tradingview.com/america/scan",data=json.dumps({"symbols":{"tickers":["NYSE:GME"],"query":{"types":[]}},"columns":["close"]}))
print(r.json())

返回的数据看起来像这样：

{'data': [{'s': 'NYSE:GME','d': [52.4]}],'totalCount': 1}

注意 "tickers" 和 "columns"
中的值 如果您需要更多数据，这里有一个更广泛的列列表

['Recommend.All','RSI','RSI[1]','Stoch.K','Stoch.D','Stoch.K[1]','Stoch.D[1]','CCI20','CCI20[1]','ADX','ADX+DI','ADX-DI','ADX+DI[1]','ADX-DI[1]','AO','AO[1]','Mom','Mom[1]','MACD.macd','MACD.signal','Rec.Stoch.RSI','Stoch.RSI.K','Rec.WR','W.R','Rec.BBPower','BBPower','Rec.UO','UO','EMA10','close','SMA10','EMA20','SMA20','EMA30','SMA30','EMA50','SMA50','EMA100','SMA100','EMA200','SMA200','Rec.Ichimoku','Ichimoku.BLine','Rec.VWMA','VWMA','Rec.HullMA9','HullMA9']