LinqToSql DeleteAllOnSubmit从foreach循环开始变慢

如何解决LinqToSql DeleteAllOnSubmit从foreach循环开始变慢

想做一些SQL处理，并通过在我的项目中添加dbml来尝试LinqToSql功能。它是一个foreach循环（大约3k条目），在这里我打算在其中执行一个简单的where子句，并在随后的2个表上执行deleteallonsubmit。（分别记录23万和540万）。

根据我对火花延迟计算工作的理解和假设。我以为在我调用 SubmitChanges（）之前，它不会在每次foreach迭代中或更简单的话中对实际表执行DB调用并执行“某些操作”。我从SQL事件探查器中注意到，它确实在每次迭代中都进入SQL服务器，并且每次迭代大约需要 1秒。

下面是代码

  internal static void RemoveAllDataStartingFrom()
  {
     HistoricalRefreshDateCheckerDataContext dbContext = new HistoricalRefreshDateCheckerDataContext();
     logger = (ILog)LogManager.GetLogger("HDP.allMins");
     var counter = 0;
     allMins.ToList().ForEach((v) =>
     {
        logger.Info("For each started");
        var toBeDeletedDaily = dbContext.DailyIntervalDatas.Where(x => x.Date >= v.Value && x.Id == v.Key);
        logger.Info("Daily where completed");

        dbContext.DailyIntervalDatas.DeleteAllOnSubmit(toBeDeletedDaily);
        logger.Info("Daily deleteall completed");

        var toBeDeletedFifteenMinute = dbContext.FifteenMinuteDatas.Where(x => x.Date >= v.Value && x.Id == v.Key);
        logger.Info("Fifteen Where completed");

        dbContext.FifteenMinuteDatas.DeleteAllOnSubmit(toBeDeletedFifteenMinute);
        logger.Info("Fifteen deleteall completed ");

        logger.Info("ended. counter = " + counter++);

     });
     dbContext.SubmitChanges();
  }

我的意图

我想将整个过程作为一个批处理命令运行（通过进行1或2个数据库调用）。我本可以编写一个动态内联脚本并将其在DB上触发。但是我想我使用的LinqToSql功能不正确。

下面是我的日志文件

编辑

allMins的代码

 internal static void FetchIndividualStartDates(DateTime startDate)
  {

     HistoricalRefreshDateCheckerDataContext refDBData = new HistoricalRefreshDateCheckerDataContext();
     var allMaxes = refDBData.DailyIntervalDatas
           .GroupBy(x => x.Id)
           .Select(
           row =>
              new
              {
                 row.Key,MaxDate = row.Max(r => r.Date)
              });
     allMaxes.ToList().ForEach((a) =>
     {         
        allMins[a.Key] = Convert.ToDateTime(a.MaxDate);
     });
  }

其他探查器日志

在下面的每个DeleteAllOnSubmit上都称为

exec sp_executesql N'SELECT [t0].[x],[t0].[y],[t0].[z],[t0].[a],[t0].[b],[t0].[c],[t0].[e],[t0].[Date],[t0].[Id],[t0].[_ID] AS [_ID]
FROM [dbo].[FifteenMinuteData] AS [t0]
WHERE ([t0].[Date] >= @p0) AND ([t0].[Id] = @p1)',N'@p0 datetime,@p1 varchar(8000)',@p0='2020-08-10 00:00:00',@p1='1365'

调用SubmitChanges（）时会触发以下内容

我出于数据安全目的编辑了一些信息

解决方法

您的日志仅指示正在执行指定的行，而不指示实际的SQL执行在何处进行。对于SQL执行，您需要执行类似dbContext.Log = Console.Out的操作。

使用Linq to SQL，带有SubmitChanges的工作单元模式会等待语句排队，但是会为每个记录向数据库发出单独的查询。它不会将语句批处理到单个数据库请求中。为此，您将需要第三方扩展或升级到支持批处理的EF Core之类的东西。

更好的是，对于批量操作，您可能要考虑使用存储的proc或自定义SQL进行删除，而使用SqlBulkCopy进行插入。 LINQ非常适合于加载对象，处理内存中的对象并将其保存回去，但对于DELETE FROM table WHERE parentId = @ParentId之类的批量操作而言并不是理想选择。

编辑：根据其他信息，您在调用DeleteAllOnSubmit时不会看到发出删除状态，而是选择通过传递toBeDeletedDaily和toBeDeletedFifteenMinute的可查询对象而引起的选择语句，这些查询在将项目列表添加到DeleteAllOnSubmit内部时执行被删除。与其循环遍历allmins，不如考虑如何将allMins与delete操作结合在一起，并可能删除forEach迭代以将选择包装到单个通道中。考虑一下如何创建一个单独的DELETE FROM语句，该语句在SQL本机的where / join子句中包括All Mins的逻辑，这可能有助于指导您解决问题的那一部分。

LinqToSql DeleteAllOnSubmit从foreach循环开始变慢

如何解决LinqToSql DeleteAllOnSubmit从foreach循环开始变慢

解决方法

相关推荐