如何解决有多个线程时如何减少文件写入次数?
| 这是情况。 在Java Web App中,我被要求负责管理,我被要求改善QA期间压力测试的总体响应时间。该Web应用程序不使用数据库,因为它本来应该很简单。 (我不能改变那个决定) 为了持久化配置,我发现,每次更改配置时,包含配置对象列表的常规对象都会序列化到文件中。 通过使用Jmeter,我发现在给定的测试用例中,有2个请求最多。这两个请求都添加或更改了一些配置对象。由于必须同步访问文件,因此,当许多用户更改配置时,必须在几秒钟内将文件完全写入几次,并且请求正在等待文件写入发生。 我认为所有这些序列化都是根本不需要的,因为我们一次又一次地重写大多数对象,每个请求中的更改都针对一个对象,但是每次都将文件整体写入。 因此,有没有办法减少实际文件的写入次数,但仍保证所有更改最终都被序列化? 任何建议表示赞赏解决方法
一种选择是更改内存,并在后台保持一个线程,以给定的间隔运行,并将更改刷新到磁盘。请记住,在崩溃的情况下,您将丢失未刷新的数据。
可以使用ScheduledExecutorService调度后台线程。
IMO,最好使用数据库。您不能使用Java,H2或HSQLDB等嵌入式DB吗?这些数据库支持并发访问,并且在崩溃时也可以保证数据的一致性。
,如果您绝对不能使用数据库,那么显而易见的解决方案是将您的单个文件分成多个文件,每个配置对象一个文件。这将加快序列化和输出过程,并减少锁争用(更改不同配置对象的请求可能会同时写入其文件,尽管可能会成为IO绑定)。
,一种方法是执行Lucene的操作,而实际上根本不覆盖旧文件,而是写一个仅包含“ updates”的新文件。这取决于您的更新是否具有关联性,但是无论如何通常都是这种情况。
这个想法是,如果您的旧文件包含\“ 8 \”并且您有3个更新,则将\“ 3 \”写入新文件,而新状态为\“ 11 \”,接下来您将写入\“-2 \ “,您现在有了\” 9 \“。您可以定期汇总旧版本和更新版本。您写入的任何物理文件都不会更新,但是一旦不再使用可能会被删除。
为了使这个想法更有意义,请考虑上面的数字是否是某种记录。 \“ 3 \”可以转换为\“添加三个新记录\”,而\“-2 \”可以转换为\“删除这两个记录\”。
Lucene是一个非常成功地使用这种风格的附加更新策略的项目示例。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。