如何解决有没有办法在临时表上保留生成的 ID
我发布了这个问题
INSERT Statement Expensive Queries on Activity Monitor
正如您将看到的 XML 结构具有不同的级别。
我创建了不同的表
Organisation = organisation_id (PRIMARY_KEY)
Contacts = organisation_id (FOREIGN_KEY)
Roles = organisation_id (FOREIGN_KEY)
Rels = organisation_id (FOREIGN_KEY)
Succs = organisation_id (FOREIGN_KEY)
我想要的是生成 organisation_id 并以级联方式在每个表上插入。目前，300k 的过程需要将近 2 个小时。我有 3 种方法
-
将 XML 转换为列表对象并通过批处理 (1000) 作为 JSON 文本发送并发送到使用 OPENJSON 的存储过程
将 XML 转换为列表对象并按批次 (1000) 发送，并将批次保存为 JSON 文件，SQL Server 可以读取该文件，并在存储过程中传递文件路径，然后使用 OPENROWSET 和 OPENJSON 打开 JSON 文件
-
将 XML 的路径发送到存储过程，然后使用 OPENROWSET 和 OPENXML。
所有进程 (1-3) 将数据插入到 FLAT 临时表中，然后迭代每一行以对每个表调用不同的 INSERT 存储过程。方法 #3 似乎在 300k 上失败并出现错误，但对 4 条记录有效。
另一个问题是，如果我使用物理表比使用临时表会快很多吗？
-------更新------- 正如链接上所解释的，我正在做 while 循环。有人建议/评论对每个表进行批量插入。问题是，例如，联系人只有在我知道组织 ID 时才能执行此操作
select
organisation_id = IDENTITY( bigint ) -- IF I CAN GENERATE THE ACTUAL ORGANISATION ID,name = Col.value('.','nvarchar(20)'),contact_type = c.value('(./@type)[1]','nvarchar(50)'),contact_value= c.value('(./@value)[1]','nvarchar(50)')
into
#temporganisations
from
@xml.nodes('ns1:OrgRefData/Organisations/Organisation') as Orgs(Col)
outer apply Orgs.Col.nodes('Contacts/Contact') as Cs(c)
然后当我做批量插入
insert into contacts
(
organisation_id,type,value
)
select
torg.organisation_id -- if this is the actual id then perfect,torg.type,torg.value
from #temporg torg
解决方法
您可以尝试使用以下概念性示例。
SQL
-- DDL and sample data population,start
USE tempdb;
GO
DROP TABLE IF EXISTS #city;
DROP TABLE IF EXISTS #state;
-- parent table
CREATE TABLE #state (
stateID INT IDENTITY PRIMARY KEY,stateName VARCHAR(30),abbr CHAR(2),capital VARCHAR(30)
);
-- child table (1-to-many)
CREATE TABLE #city (
cityID INT IDENTITY,stateID INT NOT NULL FOREIGN KEY REFERENCES #state(stateID),city VARCHAR(30),[population] INT,PRIMARY KEY (cityID,stateID,city)
);
-- mapping table to preserve IDENTITY ids
DECLARE @idmapping TABLE (GeneratedID INT PRIMARY KEY,NaturalID VARCHAR(20) NOT NULL UNIQUE);
DECLARE @xml XML =
N'<root>
<state>
<StateName>Florida</StateName>
<Abbr>FL</Abbr>
<Capital>Tallahassee</Capital>
<cities>
<city>
<city>Miami</city>
<population>470194</population>
</city>
<city>
<city>Orlando</city>
<population>285713</population>
</city>
</cities>
</state>
<state>
<StateName>Texas</StateName>
<Abbr>TX</Abbr>
<Capital>Austin</Capital>
<cities>
<city>
<city>Houston</city>
<population>2100263</population>
</city>
<city>
<city>Dallas</city>
<population>5560892</population>
</city>
</cities>
</state>
</root>';
-- DDL and sample data population,end
;WITH rs AS
(
SELECT stateName = p.value('(StateName/text())[1]','VARCHAR(30)'),abbr = p.value('(Abbr/text())[1]','CHAR(2)'),capital = p.value('(Capital/text())[1]','VARCHAR(30)')
FROM @xml.nodes('/root/state') AS t(p)
)
MERGE #state AS o
USING rs ON 1 = 0
WHEN NOT MATCHED THEN
INSERT(stateName,abbr,capital)
VALUES(rs.stateName,rs.Abbr,rs.Capital)
OUTPUT inserted.stateID,rs.stateName
INTO @idmapping (GeneratedID,NaturalID);
;WITH Details AS
(
SELECT NaturalID = p.value('(StateName/text())[1]',city = c.value('(city/text())[1]',[population] = c.value('(population/text())[1]','INT')
FROM @xml.nodes('/root/state') AS A(p) -- parent
CROSS APPLY A.p.nodes('cities/city') AS B(c) -- child
)
INSERT #city (stateID,city,[Population])
SELECT m.GeneratedID,d.city,d.[Population]
FROM Details AS d
INNER JOIN @idmapping AS m ON d.NaturalID = m.NaturalID;
-- test
SELECT * FROM #state;
SELECT * FROM @idmapping;
SELECT * FROM #city;
我建议您将 XML 客户端切碎，并切换到进行某种批量复制，这通常会表现得更好。
目前，您不能执行普通的 bcp 或 SqlBulkCopy，因为您还需要外键。您需要一种方法来唯一标识批次中的 Organisation，并且您说这很困难，因为需要的列数太多。
相反，您需要在客户端生成某种唯一 ID，一个递增的整数就可以了。然后，在将 XML 分解为 Datatables / IEnumerables / CSV 文件时，将此 ID 分配给子对象。
您有两个选择：
-
在许多方面最简单的方法是不使用
IDENTITY中的OrganisationId，而直接插入您生成的 ID。这意味着您可以利用标准的SqlBulkCopy程序。
缺点是您失去了自动分配 IDENTITY 的好处，但您可以改为使用仅适用于此插入的 SqlBulkCopyOptions.KeepIdentity 选项，并继续使用 IDENTITY for其他插入。您需要估计不会发生冲突的正确 ID 批次。
对此的一种变体是使用 GUID，它们始终是唯一的。我真的不推荐这个选项。
- 如果您不想这样做，那么它会变得相当复杂。
您需要为每个表定义等效的表类型。每个都有一列用于 Organisation
CREATE TYPE OrganisationType AS TABLE
(TempOrganisationID int PRIMARY KEY,SomeData varchar...
通过粉碎的 XML 作为表值参数。你会有@Organisations、@Contacts等
那么您将拥有以下几行的 SQL：
-- This stores the real IDs
DECLARE @OrganisationIDs TABLE
(TempOrganisationID int PRIMARY KEY,OrganisationId int NOT NULL);
-- We need a hack to get OUTPUT to work with non-inserted columns,so we use a weird MERGE
MERGE INTO Organisation t
USING @Organisations s
ON 1 = 0 -- never match
WHEN NOT MATCHED THEN
INSERT (SomeData,...)
VALUES (s.SomeData,...)
OUTPUT
s.TempOrganisationID,inserted.OrganisationID
INTO @OrganisationIDs
(TempOrganisationID,OrganisationID);
-- We now have each TempOrganisationID matched up with a real OrganisationID
-- Now we can insert the child tables
INSERT Contact
(OrganisationID,[Type],[Value]...)
SELECT o.OrganisationID,c.[Type],c.[Value]
FROM @Contact c
JOIN @OrganisationIDs o ON o.TempOrganisationID = c.TempOrganisationID;
-- and so on for all the child tables
- 不是将 ID 保存到表变量，而是将
OUTPUT流回客户端，让客户端将 ID 加入子表，然后将它们作为子表的一部分再次批量复制回来.
这使得 SQL 更简单，但是您仍然需要MERGE，并且您可能会显着使客户端代码复杂化。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。