如何用Perl对Excel的数据进行提取并分析

巡检类工作经常会出具日报,最近在原有日报的基础上又新增了一个表的数据量统计日报,主要是针对数据库中使用较频繁,数据量又较大的31张表。该日报有两个sheet组成,第一个sheet是数据填写,第二个sheet则是基于第一个sheet的数据进行的文字描述和图表展示。

文字描述主要包括两部分:一、呈现该31张表中数据量最大的9张表。呈现结果类似于:emp(约14万),dept(约100万)。。。当然,这个只是举例,为了避免引起不必要的麻烦(主要是企业信息安全方面的考虑),我这里不可能将具体日报的内容贴出来。毕竟,这个会涉及到表名和数据量大小。二、相对于昨日,这31张表中有哪些表的数据量在今日有所增长。

对于这种机械类的工作,每次做起来都比较繁琐,头疼。Perl之父Larry Wall说过,懒惰、急躁、傲慢是程序员的三大美德。于是就着手写了一个perl程序,每次只要把当天的数据量copy到Excel中,执行该程序即可。

程序内容如下:

use strict;
use Spreadsheet::XLSX;
use Unicode::UTF8simple;
 DateTime;
my ($col1,$col2,1)">%hash1,1)">%hash2,1)">@tabname,1)">$num,1)">$num1);
my $dt=DateTime->from_epoch(epoch=>time$duration=DateTime::Duration->new(days=>-1$dt1=$dt+$duration;
$date=$dt->month.'-'.$dt->day.'.substr($dt->year,1)">2,1)">2$date1=$dt1->month.$dt1->day.$dt1->year,1)">$uref =new Unicode::$file=C:\Users\Victor\Desktop\需做数据迁移的数据表数据量巡检日报-20150713.xlsx;
$file=$uref->fromUTF8(gb2312',1)">$file$workbook  = Spreadsheet::XLSX -> new ($worksheet = $workbook->worksheet(数据填写my ( $row_min,1)">$row_max ) = $worksheet->row_range();
$col_min,1)">$col_max ) = col_range();
for $col ( $col_min .. $col_max ){
    $cell = $worksheet-> get_cell( 0,1)">$col );
    next unless $cell;
    $col1=$col if ($cell->value() eq $date1);
    $col2=$date);
}
$row (1..$row_max){
    $worksheet->get_cell($row,1)">);
    $cell1= $col1$cell2= $col2$hash1{$cell->value()}=$cell1->value();
    $hash2{$cell2->value();
    push $cell->value();
}
print "(1)需做数据迁移的数据表当前数据量较大的依次为(不计日志表):\n$str2=$str3=$str4=foreach $key(sort {$b}<=>$a}} keys %hash2){
       printf %s(%s%d%s)%s",1)">$key,1)">$str2,1)">$key}/10000,1)">$str3,1)">$str4;
       $num++;
       last if $num == 11;   
}
print \n(2)务开通定单调度关键数据表数据量增长趋势:\nforeach(@tabnameif($_} < $_}){
        $_.;
        $num1++;
    }
}
这$num1张表相对昨日有所增长。\n")

说明如下:

1> 在这里,用了三个模块,其中Spreadsheet::XLSX用于读取2007及以上版本的Excel。可惜的是,CPAN中貌似没有一个模块支持对已有Excel进行写操作。具体在本例中,第二个sheet中的文字描述完全可以在第一个sheet中数据基础上生成。但因找不到对既有Excel进行写的模块,所以生成的文字描述无法插入到第二个sheet中。于是只能退而求其次,只生成文字描述,然后再手动粘贴到第二个sheet中。第二个模块是Unicode::UTF8simple,主要用于UTF8和其它字符集的转换,在本例中,即中文字符集gb2312。第三个模块是DateTime,用于构造今天的日期和昨日的日期。

2> 

2);

用于构造今天的日期和昨日的日期,其中$date是今天的日期,$date1是昨天的日期。

3>

);
}

第一个sheet的名字是“数据填写”,首先获取该sheet行、列的范围。

第一行的内容如下:

所以上面这个for语句用于获取今日日期和昨日日期所在的列。

注意上面for语句中的next unless $cell,它的意思是如果$cell为空,则继续下一个循环。因第一列第一行为空,所以该语句尤为必要。

4> 

value();
}

分别构造两个哈希表,键均是第一列的表名,值是对应的数据量大小。其中hash1对应的是昨日的数据量,hash2对应的是今日的数据量。

将表名放到数组中,用于后续今日和昨日数据量的比较。

5> 

;   
}

对hash2,即今天的数据量进行排序,打印出31个表中排名前11位的表,输入结果形式如下:

EMP(约1100万)、DEPT(约1000万)、location(约812万)、sales(约123万)...

因“约”、“万”、“、”均是中文字符,所以需要转换。因数据量的单位是万,在这里,我们将$hash2{$key}的值除以10000。

6>

")

构造文字描述的第二部分,将今日相对于昨日数据量有所增加的表打印处理。输出结果类似于:

emp、dept、location、sales这4张表相对昨日有所增长。

原文地址:https://www.cnblogs.com/ivictor

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


1. 如何去重 #!/usr/bin/perl use strict; my %hash; while(&lt;&gt;){ chomp; print &quot;$_n&quot; unless
最近写了一个perl脚本,实现的功能是将表格中其中两列的数据进行拼凑,然后将拼凑后的数据用“|”连接在一起。表格内容如下: 员工号码员工姓名职位入职日期1001张三销售1980/12/17 0:00:
表的数据字典格式如下:如果手动写MySQL建表语句,确认麻烦,还不能保证书写一定正确。写了个Perl脚本,可快速构造MySQL脚本语句。脚本如下:#!/usr/bin/perluse strict;m
巡检类工作经常会出具日报,最近在原有日报的基础上又新增了一个表的数据量统计日报,主要是针对数据库中使用较频繁,数据量又较大的31张表。该日报有两个sheet组成,第一个sheet是数据填写,第二个sh
在实际生产环境中,常常需要从后台日志中截取报文,报文的形式类似于.........一个后台日志有多个报文,每个报文可由操作流水唯一确定。以前用AWK写过一个,程序如下:beginline=`awk &
最近写的一个perl程序,通过关键词匹配统计其出现的频率,让人领略到perl正则表达式的强大,程序如下:#!/usr/bin/perluse strict;my (%hash,%hash1,@arra
忍不住在 PerlChina 邮件列表中盘点了一下 Perl 里的 Web 应用框架(巧的是 PerlBuzz 最近也有一篇相关的讨论帖),于是乎,决定在我自己的 blog 上也贴一下 :) 原生 CGI/FastCGI 的 web app 对于较小的应用非常合适,但稍复杂一些就有些痛苦,但运行效率是最高的 ;) 如果是自己用 Perl 开发高性能的站,多推荐之。 Catalyst, CGI::A
bless有两个参数:对象的引用、类的名称。 类的名称是一个字符串,代表了类的类型信息,这是理解bless的关键。 所谓bless就是把 类型信息 赋予 实例变量。 程序包括5个文件: person.pm :实现了person类 dog.pm :实现了dog类 bless.pl : 正确的使用bless bless.wrong.pl : 错误的使用bless bless.cc : 使用C++语言实
gb2312转Utf的方法: use Encode; my $str = "中文"; $str_cnsoftware = encode("utf-8", decode("gb2312", $str));   Utf转 gb2312的方法: use Encode; my $str = "utf8中文"; $str_cnsoftware = encode("gb2312", decode("utf-8
  perl 计算硬盘利用率, 以%来查看硬盘资源是否存在IO消耗cpu资源情况; 部份代码参考了iostat源码;     #!/usr/bin/perl use Time::HiRes qw(gettimeofday); use POSIX; $SLEEPTIME=3; sub getDiskUtl() { $clock_ticks = POSIX::sysconf( &POSIX::_SC_
1 简单变量 Perl 的 Hello World 是怎么写的呢?请看下面的程序: #!/usr/bin/perl print "Hello World" 这个程序和前面 BASH 的 Hello World 程序几乎相同,只是第一行换成了 #!/usr/bin/perl ,还有显示的时候用的是 print,而不是 echo。有了前面 BASH 基础和 C 语言的基础,许多 Perl 的知识可以很
本文介绍Perl的Perl的简单语法,包括基本输入输出、分支循环控制结构、函数、常用系统调用和文件操作,以及进程管理几部分。 1 基本输入输出 在 BASH 脚本程序中,我们用 read var 来实现从键盘的输入,用 echo $var 来实现输出。那么在 Perl 中将有一点变化。Perl 中将标准输入用关键词 表示;标准输出用 表示,标准错误输出用 表示。故而从标准输入读取数据可以写成: $
正则表达式是 Perl 语言的一大特色,也是 Perl 程序中的一点难点,不过如果大家能够很好的掌握他,就可以轻易地用正则表达式来完成字符串处理的任务,当然在 CGI 程序设计中就更能得心应手了。下面我们列出一些正则表达式书写时的一些基本语法规则。 1 正则表达式的三种形式 首先我们应该知道 Perl 程序中,正则表达式有三种存在形式,他们分别是: 匹配:m/<regexp>/ (还可以简写为 /
在学习Perl和Shell时,有很多人可能会问这样一个问题,到底先学习哪个或者学习哪个更好! 每个人都有自己的想法,以下是个人愚见,请多多指教! Perl是larry wall为解决日常工作中的一个编程问题而产生的,它最初的主要功能是用于分析基于文本的数据和生成这些数据的统计和结果;尽管初衷很简单,但是后来发展了很多特点: 1、Perl是一种借鉴了awk、C、sed、shell、C++、Java等
Perl 有很多命令行参数. 通过它, 我们有机会写出更简单的程序. 在这篇文章里我们来了解一些常用的参数. (重点提示:在window下执行命令行程序的方式为 : perl -e "some code", 注意:是双引号啊,不是单引号,linux下执行时单引号) Safety Net Options 在使用 Perl 尝试一些聪明( 或 stupid) 的想法时, 错误难免会发生. 有经验的 P
转自: http://bbs.chinaunix.net/thread-1191868-1-1.html# 让你的perl代码看起来更像perl代码,而不是像C或者BASIC代码,最好的办法就是去了解perl的内置变量。perl可以通过这些内置变量可以控制程序运行时的诸多方面。 本文中,我们一起领略一下众多内置变量在文件的输入输出控制上的出色表现。 行计数 我决定写这篇文章的一个原因就是,当我发现
2009-02-02 13:07 #!/usr/bin/perl # D.O.M TEAM - 2007 # anonyph; arp; ka0x; xarnuz # 2005 - 2007 # BackConnectShell + Rootlab t00l # priv8! # 3sk0rbut0@gmail.com # # Backconnect by data cha0s (modifica
转自: http://bbs.chinaunix.net/thread-1191868-1-1.html# 让你的perl代码看起来更像perl代码,而不是像C或者BASIC代码,最好的办法就是去了解perl的内置变量。perl可以通过这些内置变量可以控制程序运行时的诸多方面。 本文中,我们一起领略一下众多内置变量在文件的输入输出控制上的出色表现。 行计数 我决定写这篇文章的一个原因就是,当我发现
黑莓 手机 屏幕发展历程对比 blackberry 各型号屏幕大小   黑莓手 机 一直在不断发展且新机型 也在不断上市. 因此,不同黑莓机型的屏幕分辨率也在不断变化着. 总的来说,屏幕分辨率一直在提高并且越来越清晰.我们对所有的黑莓 机型的屏幕分辨率做了个对比.~51blackberry ~com     可能大家特别感兴趣是新发布的黑莓机型,它的分辨率也是黑莓 机型中前所未有的.   黑莓 b
      公司里没有我用惯的UltraEdit的lisence了, 只能无奈转向开源的Notepad++, 找了半天才知道配置运行Perl的办法。         1,用Notepad++打开.pl文件,         2, F5或者Run->Run,打开运行窗口,在下面的框框里输入:Perl -w "$(FULL_CURRENT_PATH)", 然后Save,保存成一个命令就行,名字比如叫R