如何解决如何配置配置单元URL来阻止临时丢失的连接?
从Red Hat 7机器上的Hive服务器下载大量请求的结果时,有时会出现连接问题,这会导致错误。
我正在将jaydebeapi软件包与JDBC一起使用。
import jaydebeapi
import pandas as pd
KNOX_HOST = "myserverurl"
KNOX_GATEWAY = "gateway/op02/hive"
KNOX_PORT = "8443"
JDBC_LIB_PATH = "hive-jdbc-3.1.0.3.1.5.0-152-standalone.jar"
cred = ['user','passw']
connector = jaydebeapi.connect("org.apache.hive.jdbc.HiveDriver","jdbc:hive2://" + KNOX_HOST + ":" + KNOX_PORT + "/;ssl=true;transportMode=http;httpPath=" + KNOX_GATEWAY,cred,JDBC_LIB_PATH)
query = "select * from mydb"
df = pd.DataFrame()
l = []
i = 0
for chunk in pd.read_sql(query,cnxn,chunksize=10000):
print(i)
i = i+chunk.shape[0]
l.append(chunk)
df = pd.concat(l,axis=0,sort=False)
jpype._jexception.HiveSQLExceptionPyRaisable: org.apache.hive.service.cli.HiveSQLException: Invalid OperationHandle: OperationHandle
该错误发生在for循环中,发生这种情况时,我目前的解决方案是第二次运行查询,并希望它运行没有问题。
是否可以配置连接器,使其能够抵抗暂时丢失的连接?
谢谢
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。