从文件加载的字符串上的 IndexOf - dotnet 5.0 的速度是 dotnetcore 3.1 的一半

如何解决从文件加载的字符串上的 IndexOf - dotnet 5.0 的速度是 dotnetcore 3.1 的一半

我刚刚发现我的一个文件扫描器在 dotnetcore 3.1 中运行得非常快，但在 dotnet 5 上运行速度非常慢。它的处理方式略有不同，但 dotTrace 将我指向了我使用的 IndexOf 方法。

我对此做了一个小测试：

var str = System.IO.File.ReadAllText("A text file of 125MB not containing hello in it");
start = DateTime.Now;
var result = str.IndexOf("hello");
var end = DateTime.Now;
Console.WriteLine("Done in " + end.Subtract(start).TotalSeconds + " seconds");

执行时间dotnet 3.1：2秒

执行时间 dotnet 5：3.6 秒

无论我在发布版本还是调试版本中运行都没有区别。

在我的真实案例中，差异要大得多，但我认为这仍然表明了问题所在。

需要注意的是，如果我只是在内存中创建一个相同大小的字符串，例如 new string('a',size125mb) 那么它在两个运行时都非常快。

dotTrace 显示在 dotnet 5 中对字符串使用 indexOf 的情况下，堆栈跟踪变为：

Dotnet 5：

System.String.IndexOf(String,Int32)
System.String.IndexOf(String,Int32,StringComparison)
System.Globalization.CompareInfo.IndexOf(String,String,IndexOf  •  4,327 msSystem.Globalization.CompareInfo.IndexOf(ReadOnlySpan,ReadOnlySpan,CompareOptions)
IcuIndexOfCore

Dotnet 3.1：

System.String.IndexOf(String,CompareOptions)
System.Globalization.CompareInfo.IndexOfCore(String,CompareOptions,Int32*)
System.Globalization.CompareInfo.FindString(UInt32,Int32*)

这实际上显示了在两种情况下执行的不同代码。结果是我的扫描仪在 5 秒内运行了整个加载的文本，并在 dotnet 3.1 上找到了 12k 个条目，但它在 dotnet 5 中每秒只扫描 2 行。

谁能告诉我这是否只是因为我必须在 dotnet 5 中以另一种方式做事，还是我犯了一个小错误，导致这在 dotnet 5 上如此缓慢？

更新 1：

在 dotnet 5 上调用 System.IO.File.ReadAllText 似乎也慢了很多（它是在两种情况下加载的相同文件）

更新 2：

我做了另一个例子，显示了 x10 的性能差异：

var stopwatch = new Stopwatch();
stopwatch.Start();
var str = System.IO.File.ReadAllText("125mb txt file");
Console.WriteLine($"File loaded in {stopwatch.Elapsed.TotalSeconds} seconds");
stopwatch.Restart();

int index = 0;
int foo = 0;
int counter = 0;
while(index < str.Length - 10)
{
    counter++;
    foo = str.IndexOf("AW()=DAW=)DA=)WDUAOWIDJAOWID",index,10);
    index += 10;
    if (foo > 0)
       throw new Exception("Will never happen but dotnet does not know so it cannot remove the body as part of code optimization");
}

Console.WriteLine($"File iterated in {stopwatch.Elapsed.TotalSeconds} seconds," + counter + " iterations");

使用 dotnet 5 输出：

使用 dotnet 3.1 输出