中大型结果集的Hibernate,JDBC和Java性能

如何解决中大型结果集的Hibernate,JDBC和Java性能

您能否使用简单查询进行冒烟测试,例如:

SELECT current_timestamp()

要么

SELECT 1 + 1

这将告诉您实际的JDBC驱动程序开销是多少。同样也不清楚两个测试是否都在同一台机器上执行。

有没有一种方法可以优化JDBC驱动程序的性能?

在Java中运行相同的查询数千次。JVM需要一些时间进行热身(类加载,JIT)。我还假设SimpleJDBC.getConnection()使用C3P0连接池- 建立连接的成本很高,因此前几次执行可能会很慢。

与临时查询或条件查询相比,还更喜欢命名查询。

Hibernate会从这种优化中受益吗?

Hibernate是一个非常复杂的框架。如您所见,与原始JDBC相比,它消耗了总执行时间的75%。如果您需要原始ORM(无需延迟加载,脏检查,高级缓存),请考虑使用mybatis。甚至可能JdbcTemplate带有RowMapper抽象。

转换结果集时,是否有一种方法可以优化Hibernate性能?

并不是的。请查阅Hibernate文档中的第19章 。那里 有很多 反思+类生成。再一次,当您想从数据库中压缩每一毫秒时,Hibernate可能不是最佳解决方案。

,由于要提供广泛的缓存支持,因此要提高整体用户体验时,这是一个不错的选择。再次查看性能 文档。它主要谈论缓存。有一级缓存,二级缓存,查询缓存…在这里,Hibernate实际上可能胜过简单的JDBC- 它可以以您甚至无法想象的方式缓存很多内容。另一方面,糟糕的缓存配置将导致安装速度更慢。

由于Java基本对象和内存管理,我们是否面临无法调整的问题?

JVM(特别是在 服务器 配置中)非常快。在堆上创建对象的速度与在C语言中在堆栈上的创建速度一样快,垃圾回收已得到极大地优化。我认为与纯本地连接相比,运行纯JDBC的Java版本不会慢很多。因此,我建议您对基准进行一些改进。

我们是否遗漏了一点,我们愚蠢而所有这些都是徒劳的?

我相信,如果性能是最大的问题,那么JDBC是一个不错的选择。Java已成功用于许多数据库繁多的应用程序中。

解决方法

问题

我们正在尝试优化我们的数据服务器应用程序。它通过mysql数据库存储股票和报价。而且我们对获取性能不满意。

语境

- database
    - table stock : around 500 lines
    - table quote : 3 000 000 to 10 000 000 lines
    - one-to-many association : one stock owns n quotes
    - fetching around 1000 quotes per request
    - there is an index on (stockId,date) in the quote table
    - no cache,because in production,querys are always different
- Hibernate 3
- mysql 5.5
- Java 6
- JDBC mysql Connector 5.1.13
- c3p0 pooling

测试与结果

协议

  • 通过在mysql命令行bin中运行生成的sql查询,可以获得mysql服务器上的执行时间。
  • 服务器处于测试环境中:没有其他数据库读数,没有数据库书写
  • 我们获取AAPL股票的857报价

案例1:与关联hibernate

这用857个报价对象填充了我们的库存对象(所有正确映射在hibernate.xml中的对象)

session.enableFilter("after").setParameter("after",1322910573000L);
Stock stock = (Stock) session.createCriteria(Stock.class).
add(Restrictions.eq("stockId",stockId)).
setFetchMode("quotes",FetchMode.JOIN).uniqueResult();

SQL生成:

SELECT this_.stockId AS stockId1_1_,this_.symbol AS symbol1_1_,this_.name AS name1_1_,quotes2_.stockId AS stockId1_3_,quotes2_.quoteId AS quoteId3_,quotes2_.quoteId AS quoteId0_0_,quotes2_.value AS value0_0_,quotes2_.stockId AS stockId0_0_,quotes2_.volume AS volume0_0_,quotes2_.quality AS quality0_0_,quotes2_.date AS date0_0_,quotes2_.createdDate AS createdD7_0_0_,quotes2_.fetcher AS fetcher0_0_
FROM stock this_
LEFT OUTER JOIN quote quotes2_ ON this_.stockId=quotes2_.stockId
AND quotes2_.date > 1322910573000
WHERE this_.stockId='AAPL'
ORDER BY quotes2_.date ASC

结果:

  • mysql服务器上的执行时间: 〜10 ms
  • Java中的执行时间: 〜400ms

情况2:无HQL关联的hibernate状态

为了提高性能,我们使用了仅获取报价对象的代码,并将其手动添加到库存中(因此,我们不会获取每一行的库存重复信息)。我们使用createSQLQuery来最小化别名和HQL混乱的影响。

String filter = " AND q.date>1322910573000";
filter += " ORDER BY q.date DESC";
Stock stock = new Stock(stockId);
stock.addQuotes((ArrayList<Quote>) session.createSQLQuery("select * from quote q where stockId='" + stockId + "' " + filter).addEntity(Quote.class).list());

SQL生成:

SELECT *
FROM quote q
WHERE stockId='AAPL'
  AND q.date>1322910573000
ORDER BY q.date ASC

结果:

  • mysql服务器上的执行时间: 〜10 ms
  • Java中的执行时间: 〜370ms

情况3:没有Hibernate的JDBC

String filter = " AND q.date>1322910573000";
filter += " ORDER BY q.date DESC";
Stock stock = new Stock(stockId);
Connection conn = SimpleJDBC.getConnection();
Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery("select * from quote q where stockId='" + stockId + "' " + filter);
while(rs.next())
{
    stock.addQuote(new Quote(rs.getInt("volume"),rs.getLong("date"),rs.getFloat("value"),rs.getByte("fetcher")));
}
stmt.close();
conn.close();

结果:

  • mysql服务器上的执行时间: 〜10 ms
  • Java中的执行时间: 〜100ms

我们的理解

  • JDBC驱动程序在所有情况下都是通用的
  • JDBC驱动存在基本的时间成本
  • 使用类似的SQL查询,Hibernate在转换对象中的结果集上比纯JDBC代码花费更多的时间。
  • Hibernate createCriteria,createSQLQuery或createQuery的时间成本相似
  • 在生产中,我们要同时进行大量编写工作,因此纯JDBC解决方案似乎比hibernate的解决方案要慢(也许是因为我们的JDBC解决方案未合并)
  • mysql明智的做法是,服务器的性能似乎很好,并且时间成本是可以接受的

我们的问题

  • 有没有一种方法可以优化JDBC驱动程序的性能?
  • Hibernate会从这种优化中受益吗?
  • 转换结果集时,是否有一种方法可以优化Hibernate性能?
  • 由于Java基本对象和内存管理,我们是否面临无法调整的问题?
  • 我们是否遗漏了一点,我们愚蠢而所有这些都是徒劳的?
  • 我们是法国人吗?是。

非常欢迎您的帮助。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其他元素将获得点击?
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。)
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbcDriver发生异常。为什么?
这是用Java进行XML解析的最佳库。
Java的PriorityQueue的内置迭代器不会以任何特定顺序遍历数据结构。为什么?
如何在Java中聆听按键时移动图像。
Java“Program to an interface”。这是什么意思?
Java在半透明框架/面板/组件上重新绘画。
Java“ Class.forName()”和“ Class.forName()。newInstance()”之间有什么区别?
在此环境中不提供编译器。也许是在JRE而不是JDK上运行?
Java用相同的方法在一个类中实现两个接口。哪种接口方法被覆盖?
Java 什么是Runtime.getRuntime()。totalMemory()和freeMemory()?
java.library.path中的java.lang.UnsatisfiedLinkError否*****。dll
JavaFX“位置是必需的。” 即使在同一包装中
Java 导入两个具有相同名称的类。怎么处理?
Java 是否应该在HttpServletResponse.getOutputStream()/。getWriter()上调用.close()?
Java RegEx元字符(。)和普通点?