如何解决使用pyodbc的过滤器.in_list出现“最大参数数”错误
我们在Python 2 + mxODBC中工作的查询之一在Python 3 + pyodbc中工作;它会在连接到SQL Server时引发如下错误:Maximum number of parameters in the sql query is 2100.
。由于两个打印的查询都具有3000个参数,因此我认为这在两种环境下均应失败,但显然情况并非如此。在Python 2环境中,MSODBC 11或MSODBC 17均可工作,因此我立即排除了与驱动程序有关的问题。
所以我的问题是:
- 在SQLAlchemy中将
list
作为多个参数发送是否正确,因为参数列表将与list
的长度成比例?我认为这看起来有些奇怪。我宁愿将list
连接到单个string
中,因为DB无法理解list
数据类型。 - 是否有任何暗示为什么它可以在mxODBC中运行但不能在pyodbc中运行? mxODBC是否优化了pyodbc无法做到的事情?请让我知道是否有任何指针-我可以尝试在此处粘贴更多信息。 (我还是调试SQLAlchemy的新手。)
脚注:我看到了很多建议,建议对数据进行分组,但是由于 1和2 ,我想知道我是否在做正确的事情第一名。
(由于它似乎与pyodbc有关,因此我在官方存储库中提出了internal issue。)
import sqlalchemy
import sqlalchemy.orm
from sqlalchemy import MetaData,Table
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm.session import Session
Base = declarative_base()
create_tables = """
CREATE TABLE products(
idn NUMERIC(8) PRIMARY KEY
);
"""
check_tables = """
SELECT * FROM products;
"""
insert_values = """
INSERT INTO products
(idn)
values
(1),(2);
"""
delete_tables = """
DROP TABLE products;
"""
engine = sqlalchemy.create_engine('mssql+pyodbc://user:password@dsn')
connection = engine.connect()
cursor = engine.raw_connection().cursor()
Session = sqlalchemy.orm.sessionmaker(bind=connection)
session = Session()
session.execute(create_tables)
metadata = MetaData(connection)
class Products(Base):
__table__ = Table('products',metadata,autoload=True)
try:
session.execute(check_tables)
session.execute(insert_values)
session.commit()
query = session.query(Products).filter(
Products.idn.in_(list(range(0,3000)))
)
query.all()
f = open("query.sql","w")
f.write(str(query))
f.close()
finally:
session.execute(delete_tables)
session.commit()
解决方法
当您执行简单的.in_(list_of_values)
时,SQLAlchemy会呈现以下SQL ...
SELECT team.prov AS team_prov,team.city AS team_city
FROM team
WHERE team.prov IN (?,?)
...,其中IN子句中的每个值都指定为单独的参数值。 pyodbc将其作为...发送给SQL Server。
exec sp_prepexec @p1 output,N'@P1 nvarchar(4),@P2 nvarchar(4)',N'SELECT team.prov AS team_prov,team.city AS team_city,team.team_name AS team_team_name
FROM team
WHERE team.prov IN (@P1,@P2)',N'AB',N'ON'
...因此如果列表很长,则会达到2100个参数的限制。大概是,mxODBC在将参数值发送到SQL Server(例如
)之前,已内联插入参数值SELECT team.prov AS team_prov,team.city AS team_city
FROM team
WHERE team.prov IN ('AB','ON')
您可以使用SQLAlchemy通过
provinces = ["AB","ON"]
stmt = (
session.query(Team)
.filter(
Team.prov.in_(sa.bindparam("p1",expanding=True,literal_execute=True))
)
.statement
)
result = list(session.query(Team).params(p1=provinces).from_statement(stmt))
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。