如何解决Pandas 数据帧插入到 SQL Server 中执行和执行多次耗时太长
我有一个包含 27 列和约 45k 行的 Pandas 数据框,我需要将其插入到 SQL Server 表中。
我目前正在使用以下代码,插入需要 90 分钟:
conn = pyodbc.connect('Driver={ODBC Driver 17 for SQL Server};\
Server=@servername;\
Database=dbtest;\
Trusted_Connection=yes;')
cursor = conn.cursor() #Create cursor
for index,row in t6.iterrows():
cursor.execute("insert into dbtest.dbo.test( col1,col2,col3,col4,col5,col6,col7,col8,col9,col10,col11,col12,col13,col14,col27)\
values (?,?,?)",row['col1'],row['col2'],row['col3'],row['col27'])
我也尝试过使用 executemany 加载,这需要更长的时间才能完成,将近 120 分钟。
我真的在寻找更快的加载时间,因为我需要每天运行它。
解决方法
您可以在pyodbc本身中为版本>=4.0.19设置fast_executemany。默认关闭。
import pyodbc
server_name = 'localhost'
database_name = 'AdventureWorks2019'
table_name = 'MyTable'
driver = 'ODBC Driver 17 for SQL Server'
connection = pyodbc.connect(driver='{'+driver+'}',server=server_name,database=database_name,trusted_connection='yes')
cursor = connection.cursor()
cursor.fast_executemany = True # reduce number of calls to server on inserts
# form SQL statement
columns = ",".join(df.columns)
values = '('+','.join(['?']*len(df.columns))+')'
statement = "INSERT INTO "+table_name+" ("+columns+") VALUES "+values
# extract values from DataFrame into list of tuples
insert = [tuple(x) for x in df.values]
cursor.executemany(statement,insert)
或者如果您更喜欢直接使用 sqlalchemy 和数据框。
import sqlalchemy as db
engine = db.create_engine('mssql+pyodbc://@'+server_name+'/'+database_name+'?trusted_connection=yes&driver='+driver,fast_executemany=True)
df.to_sql(table_name,engine,if_exists='append',index=False)
请参阅此链接中的 fast_executemany。
https://github.com/mkleehammer/pyodbc/wiki/Features-beyond-the-DB-API
,我过去曾解决过这个问题,这是我使用 sqlalchemy
让它工作的最快速度。
import sqlalchemy as sa
engine = (sa.create_engine(f'mssql://@{server}/{database}
?trusted_connection=yes&driver={driver_name}',fast_executemany=True)) #windows authentication
df.to_sql('Daily_Report',con=engine,index=False)
如果引擎不适合您,那么您可能有不同的设置,请参阅:https://docs.sqlalchemy.org/en/13/core/engines.html
您应该能够创建上述所需的变量,但我可以通过以下方式获得 driver
:
driver_name = ''
driver_names = [x for x in pyodbc.drivers() if x.endswith(' for SQL Server')]
if driver_names:
driver_name = driver_names[-1] #You may need to change the [-1] if wrong driver to [-2] or a different option in the driver_names list.
if driver_name:
conn_str = f'''DRIVER={driver_name};SERVER='''
else:
print('(No suitable driver found. Cannot connect.)')
,
你可以尝试使用pandas to_sql内置的'multi'方法。
df.to_sql('table_name',if_exists='replace',index=False,method='multi')
multi 方法允许您“在单个 INSERT 子句中传递多个值”。根据文档。 我发现它非常有效。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。