C＃内存不足

如何解决C＃内存不足

这是C＃代码：

string file = File.ReadAllText(@"C:\repos\BigTextSearch\Codes.txt");

我正在尝试在.Net核心C＃的内存中加载10GB文件。我的PC中有32GB的RAM，其中20GB是免费的。 Codes.txt包含大约十亿个代码。我不想根据自己的问题进行分组。

运行控制台应用程序时，出现错误“内存不足”。有没有增加堆大小的方法？显然，根据一些答案，该进程允许的内存分配约为3GB。我想知道是否可以增加它，以便可以将10GB的文件加载到内存中。

解决方法

因此C＃似乎每个字符https://social.msdn.microsoft.com/Forums/vstudio/en-US/053aa028-774c-4a81-9586-16cb0e469177/how-to-know-the-byte-size-of-a-string?forum=csharpgeneral使用2个字节，这可以解释为什么20GB的可用空间不足以存储10GB的文件。我认为这是必须做的，因为它已作为Unicode读取。

也许.NET默认为UTF-16之类的

修改

是的，所以它是UTF-16 https://docs.microsoft.com/en-us/dotnet/api/system.char?view=netcore-3.1

,

方案1： 在磁盘上，char以ASCII格式存储，每个字符1个字节在txt文件中。在内存中，C＃char作为Unicode存储，每个字符2个字节。话虽如此，如果使用C＃从磁盘加载Y MB文本文件，则将占用2 * Y MB以上的内存或两倍多的内存。因此，请确保您有足够的可用内存。 （但这不是我的情况）

方案2： 此外，您可能有足够的内存，但没有足够的连续内存。例如，您可能有20 GB的可用内存，但单个块可能只有1 GB可用。内存碎片化。 在这种情况下，如果您尝试创建一个大于1 GB的字符串或字符数组，则会出现“内存不足”的情况。 （这是我的情况）

解决方案：

1. 如果您真的想在内存中工作，请按块或逐行加载文件，并将这些块存储在链接列表之类的数据结构中，以避免分配连续的块。链接列表或类似数据结构将分配分布式但链接的内存。诸如String，List，Dictionary，HashSet之类的数据结构分配全部和/或部分连续的块，因此避免使用它们。
2. 取决于问题，但是如果您的问题允许，请将文件流式传输到数据库中以进行进一步的处理，搜索，更新，删除等。您将不得不处理一些IO延迟，尽管除非使用完全内存的数据库。