如何解决在Parallel.ForEach中运行更新查询时,在.NET中取消了雪花SQL执行
我正在使用.NET连接器在雪花中执行更新操作。对于并行执行更新操作,我使用的是import urllib.request,sys,time
from bs4 import BeautifulSoup
import requests
import pandas as pd
pagesToGet= 1
upperframe=[]
for page in range(1,pagesToGet+1):
print('processing page :',page)
url = 'https://ingatlan.com/lista/elado+lakas+ii-ker?page='+str(page)
print(url)
try:
page=requests.get(url)
except Exception as e:
error_type,error_obj,error_info = sys.exc_info()
print ('ERROR FOR LINK:',url)
print (error_type,'Line:',error_info.tb_lineno)
continue
time.sleep(2)
soup=BeautifulSoup(page.text,'html.parser')
frame=[]
links=soup.find_all('div',attrs={'class':'listing js-listing '})
print(len(links))
filename="NEWS.csv"
f=open(filename,"w",encoding = 'utf-8')
headers="Price\n"
f.write(headers)
for j in links:
Price = j.find("div",attrs={'class':'price'})
frame.append((Price))
upperframe.extend(frame)
f.close()
data=pd.DataFrame(upperframe,columns=['Price'])
data.head()
,但它抛出“ SQL执行已取消”
以下是代码
Parallel.Foreach()
运行代码后,登录雪花显示“ SQL执行已取消”。
如果我在简单的for循环中执行更新,则永远需要更新一百万行。还有其他方法可以执行此任务吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。