我想弄清楚如何使用流畅的流媒体.我使用光滑3.0.0与postgres驱动程序
情况如下:服务器必须将客户端的数据序列分割成大小限制(以字节为单位).所以,我写了以下光滑的查询:
val sequences = TableQuery[Sequences] def find(userId: Long,timestamp: Long) = sequences.filter(s ⇒ s.userId === userId && s.timestamp > timestamp).sortBy(_.timestamp.asc).result val seq = db.stream(find(0L,0L))
我将seq与akka-streams Source相结合,写了自定义PushPullStage,限制数据大小(以字节为单位),并在达到大小限制时完成上游.它的工作很好.问题是 – 当我查看postgres日志时,我会看到这样的查询
select * from sequence_id = 0和timestamp> 0 order by timestamp;
所以,乍看起来,它似乎是很多(而且不必要的)数据库查询,只在每个查询中使用几个字节.使用Slick进行流式传输的正确方法是什么,以最小化数据库查询并最大限度地利用每个查询中传输的数据?
使用Slick和Postgres进行流式传输的“正确方法”包括三件事:
>必须使用db.stream()
>必须在JDBC驱动程序中禁用autoCommit.一种方法是使查询在事务中通过后缀来实现.
>必须将fetchSize设置为0以外的其他位置,否则postgres将一次性将整个结果集推送到客户端.
例如:
DB.stream( find(0L,0L) .transactionally .withStatementParameters(fetchSize = 1000) ).foreach(println)
有用链接:
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。