平时自己做开发,都是小打小闹,今天同事来了个分享,说他是怎么把8千多万日志数据入库的,瞬间感觉自己太弱爆了。记录一下其所讲的要点,找个时间自己试验一下吧。
项目需求:简单的三个字段,r,ggid,show,统计一个r对应的ggid数据,ggid多个之间用'|'分隔,当然,这不重要。重要的是,这样的日志文件有1900多个,日志行数是8000w+。下面是解决过程:
1、分表操作,建立1024个表;
2、开启多进程(16),往数据库中进行导入数据,耗时为12小时;
3、原因分析,myisam引擎存储过慢,等表锁时间过长。
4、改变存储引擎,使用innodb进行储存,速度是变得非常快了(约两小时),但是数据完成不正确,因为innodb当发生表数据重复时,直接抛弃该数据的操作,因此,不行。
5、使用glob()避免表锁竞争,每隔1小时重新开启16个进程,运行数据入库;
6、使用linux中的内存目录,/dev/shm/ 提升存取速度,由此得到的结果是约两小时,如此看来,确实挺牛的。
7、使用fgetscsv,fputcsv时,注意‘“号的情况!
有好些东西,没有自己去实践过,终究纸上得来终学浅,有空就去试验一下吧。
一个好的开发人员,应该既是开发,更是测试,也是产品,天下大事,必成于细,却要你通所有的技能。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。