赞助商

如何把8千多万日志数据入库?---同事的分享[开发篇]

发布时间:2019-03-02 发布网站:脚本之家
脚本之家收集整理的这篇文章主要介绍了如何把8千多万日志数据入库?---同事的分享[开发篇]脚本之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

    平时自己做开发,都是小打小闹,今天同事来了个分享,说他是怎么把8千多万日志数据入库的,瞬间感觉自己太弱爆了。记录一下其所讲的要点,找个时间自己试验一下吧。

    项目需求:简单的三个字段,r,ggid,show,统计一个r对应的ggid数据,ggid多个之间用'|'分隔,当然,这不重要。重要的是,这样的日志文件有1900多个,日志行数是8000w+。下面是解决过程:

    1、分表操作,建立1024个表;

    2、开启多进程(16),往数据库中进行导入数据,耗时为12小时;

    3、原因分析,myisam引擎存储过慢,等表锁时间过长。

    4、改变存储引擎,使用innodb进行储存,速度是变得非常快了(约两小时),但是数据完成不正确,因为innodb当发生表数据重复时,直接抛弃该数据的操作,因此,不行。

    5、使用glob()避免表锁竞争,每隔1小时重新开启16个进程,运行数据入库;

    6、使用linux中的内存目录,/dev/shm/ 提升存取速度,由此得到的结果是约两小时,如此看来,确实挺牛的。

    7、使用fgetscsv,fputcsv时,注意‘“号的情况!

    有好些东西,没有自己去实践过,终究纸上得来终学浅,有空就去试验一下吧。

    一个好的开发人员,应该既是开发,更是测试,也是产品,天下大事,必成于细,却要你通所有的技能。

总结

以上是脚本之家为你收集整理的如何把8千多万日志数据入库?---同事的分享[开发篇]全部内容,希望文章能够帮你解决如何把8千多万日志数据入库?---同事的分享[开发篇]所遇到的程序开发问题。

如果觉得脚本之家网站内容还不错,欢迎将脚本之家网站推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:76874919,请注明来意。
标签: