解析某个接口程序生成的日志

下面是编程之家 jb51.cc 通过网络收集整理的代码片段。

编程之家小编现在分享给大家,也给大家做个参考。

#!/bin/bash
##########################################################################################
# NOTE:
# The test system is Ubuntu12.04
# 
# This Scripts all rights reserved deserved by MickeyZZC
# Copyright © 2013
#
##########################################################################################
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH

clear;

function c_socket_log_cut()
{
	for i in $(cd $log_path ; echo * )
	do
		echo "processing folder $i,please wait a moment!"
		if test $(date +"%Y%m%d") != $i 
		then
			ls -lh $log_path/$i |awk '{print $NF,$5}' |sort > $file_path/$i\.report1
			for j in $(cd $log_path/$i ; echo * )
			do
				echo "processing file $j,please wait a moment!"
				cd $log_path/$i
				wc -l $j|awk '{print $2,$1}' >>$file_path/$i\.report2
				if [ "getBlackList.txt" = $j -o "Timetick.txt" = $j ] ; then
#					awk '/ask=0/ {split($2,S,"&");print S[1]}' $j |awk '{++S[$NF]} END {for(a in S) print a,S[a]}'
#					awk -F '\&|\=' '/ask=0/ {++S[$2]} END {for(a in S) print a,S[a]}' $j
					awk -F '\&|\=|-' '{++S[$2]} END {for(a in S) printf "%s,%s\n",a,S[a]}' $j|sort |sed '1 i\Devid,Times' > $file_path/${j%%.*}$i\.csv
				elif [ "getTime.txt" = $j -o "getTrackPriceWithID.txt" = $j] ; then
					awk -F '\=|-' '{++S[$2]} END {for(a in S) printf "%s,Times'> $file_path/${j%%.*}$i\.csv
				elif [ "cardSectionPrice.do.txt" = $j ] ; then
					awk -F '\=|-|#' '/data/ {if(/html/){printf "%s,false\n",$2}else{printf "%s,\"%s\",succeed\n",$2,$4}}' $j|sed '1 i\Devid,Data,Stats'>$file_path/${j%%.*}$i\.csv
				elif [ "trans.txt" = $j -o "InceptData.txt" = $j ] ; then
					awk -F '\&|\=|-' '{if(/T|true/){printf "%s,%s,T\n",$4}else{printf "%s,F\n",$4}}' $j|sed '1 i\Data,Userid,Stats'> $file_path/${j%%.*}$i\.txt
				elif [ "txt" = "${j##*.}" ] ;then
					cp $j $file_path/${j%%.*}\_$i\.txt
				fi
			done
			sort $file_path/$i\.report2 >$file_path/$i\.report3
			join $file_path/$i\.report1 $file_path/$i\.report3 |sort |sed '1 i\fuck' |sed "s/fuck/${sockets[$num]}/">>$home_path/socketlog/${logs[3]}/report$i\.txt
			rm $file_path/$i\.report1 $file_path/$i\.report2 $file_path/$i\.report3
			rm -R $log_path/$i
		fi
	done
}
function c2_socket_log_cut()
{
for i in $(cd $log_path ; echo * )
do
 echo "processing folder $i,please wait a moment!"
 if test $(date +"%Y%m%d") != $i
 then
 touch $file_path/$i.report
 ls -lh $log_path/$i |awk '{print $NF,$5}' |sort > $file_path/$i\.report1
 for j in $(cd $log_path/$i ; echo * )
 do
	echo "processing file $j,please wait a moment!"
	cd $log_path/$i
	wc -l $j|awk '{print $2,$1}' >>$file_path/$i\.report2
		if test "blaNamLiReq.txt" = $j -o "getTime.txt" = $j
		then
			awk -F '\=|-' '{++S[$2]} END {for(a in S) printf "%s,Times' > $file_path/${j%%.*}$i\.csv
		elif test "blaNamLisDown.txt" = $j
		then
			awk -F '\=|-' '/pid/ {++S[$2]} END {for(a in S) printf "%s,Times'> $file_path/${j%%.*}$i\.csv
		elif test "timetickEvent.txt" = $j
		then
			awk -F '\&|\=|-' '{++S[$2]} END {for(a in S) printf "%s,Times'> $file_path/${j%%.*}$i\.csv
		elif test "corpCostData.txt" = $j
		then
			awk '{printf "%s\n",$2}' $j |sed '1 i\Devid'> $file_path/${j%%.*}$i\.txt
		elif test "txt" = "${j##*.}"
		then
			cp $j $file_path/${j%%.*}\_$i\.txt
		fi
 done
 sort $file_path/$i\.report2 >$file_path/$i\.report3
 join $file_path/$i\.report1 $file_path/$i\.report3 |sort |sed '1 i\fuckk' |sed "s/fuckk/${sockets[$num]}/">>$home_path/socketlog/${logs[3]}/report$i\.txt
 rm $file_path/$i\.report1 $file_path/$i\.report2 $file_path/$i\.report3
 rm -R $log_path/$i
 fi
done
}

function mymail()
{
	mailuser="[email protected]"
	day=$(date -d "yesterday" +"%Y%m%d")
	txt=$(cat $home_path/socketlog/report/report$day\.txt |awk '{if(/txt/){printf "%s request %s times.<br> \n",$1,$3}else if(!/hlog/){printf "<br>\n%s<br>",$1}}'|sed 's/.txt//g')
	logfile="$home_path/socketlog/${logs[1]}/*$day.csv /home/ecadmin/mail/Readme.txt"
	echo $txt |mutt -s "About the state of the interface from $day " -e 'set content_type="text/html"' $mailuser -a $logfile
}

sockets=(c1_socket c2_socket)
logs=(l1 l2 l3 report)
home_path="/path"
for num in 0 1 2
do
	log_path="$home_path/${sockets[$num]}/LOG"
	file_path="$home_path/socketlog/${logs[$num]}"
	if test "c2_socket" != ${sockets[$num]}
	then
		c_socket_log_cut
	else
		c2_socket_log_cut
	fi
done
mymail

以上是编程之家(jb51.cc)为你收集整理的全部代码内容,希望文章能够帮你解决所遇到的程序开发问题。

如果觉得编程之家网站内容还不错,欢迎将编程之家网站推荐给程序员好友。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


系ubuntu 下面打开终端输入:sudo apt-get install sendmail一般就安装完成噶啦跟住进入 /etc/mail/目录输入:m4 sendmail.mc &gt; sendmail.cf意思系跟住.mc文件 生成 sendmial.cf文件输入呢个命令:ps aux | g
依家我有1个软件goagent目录(大家懂得) 放在/home/gateman/Programs/ 下 1. proxy.py 入面有1个 proxy.py 文件 放在/home/gateman/Programs/goagent/local/ 入面 2.breakwall.sh 我在 proxy.p
其实我想讲的是 cp -L关于-L参数的解释:-L, --dereference always follow symbolic links in SOURCE意思是如果复制目标是1个软链接,则复制链接的目标 不是链接本身做个例子: 例如 ~/tmp/fo1 入面有1个c.txt 文件 和 指向他的软
原地址:http://www.rjgc.net/control/content/content.php?nid=4418 1、将文件checkout到本地目录svn checkout path(path是服务器上的目录)例如:svn checkout svn://192.168.1.1/pro/do
chroot,即 change root directory (更改 root 目录)。在 linux 系统中,系统默认的目录结构都是以 `/`,即是以根 (root) 开始的。而在使用 chroot 之后,系统的目录结构将以指定的位置作为 `/` 位置。实例:用live CD ubuntu假设你的
简单解析下, stdin就是标准输入, stdout就是标准。举个例子, 在当前我要打包1个文件夹 /var/log/ 到当前目录下,并用zip压缩,那么我们可以分步执行#tar -cvf log.tar /var/log/#zip -r log.tar.zip log.tar#rm -rf log
转自:http://man.ddvip.com/linux/Mandrakelinuxref/process-priority.html系统中运行的每个进程都有一个优先级(亦称“nice 值”),其范围从 -20 (最高优先级)到 19 (最低优先级)。默认情况下,进程的优先级是 0 (“基本”调度
str=&quot;/home/gateman&quot; if [ ${str:0:1} = &quot;/&quot; ]; then echo &quot;yes&#39;fi ${str:0:1} 中0表示从第几个字符开始,1表示截取多长
转自:http://kwokchivu.blog.51cto.com/1128937/694347 在RedHat系统下用usermod 命令可把某用户添加进多个附属组,默认情况下,一次性添加多个附属组可用以下方式来添加: usermod -G 附属组1,附属组2,...,附属组X 用户名 但在添加
有个文件 test.txt 内容如下:bash-3.00$ cat test.txt user user user_hiuser #注:呢行系空行T JGATEMANGATTTTTEMANGABBEMANAAABbash-3.00$下面介绍下常用的通配符 配合grep 命令:1. &quot;.&q
linux系统为每1个文件都分配有i索引节点(inode),系统根据呢d节点从磁盘找出数据。 一般来讲,每1个文件名(包含全路径)实际上都链接住1个i索引节点。inode实际上系乜咧? 其实可以算系1个指向磁盘具体位置(柱面,扇区之类)的指针, 系统分析某个文件的inode,得出磁盘柱面,扇区等数据
grep 可以立即为筛选, 一般的用法系 grep + 要查询的字段 + 文件(或者内容 例如| 传递既内容)1.grep + 要查询的字段 + 文件gateman@GPC:~/shell/SQL_GSI$ grep OID a.sqlWHERE OID=@BuildNOWHERE OID INWH
原文转自:http://www.ibm.com/developerworks/cn/linux/l-cn-vimcolumn/index.html开始之前人类大脑对文字的处理是平面式的,所以我们浏览文章、查找资料或者重构代码,要么是横向读,要么是纵向读,要么使用搜索功能,将文字作为一个平面整体。而在
PS:偶很喜欢用scp这个命令来传输数据。scp命令跟cp命令类似,只不过cp命令是在同一台机器上用的,scp是在两台机器上复制传输数据的命令。scp实质相当于利用SSH协议来传输数据的cp命令。 用法举例: 1、复制远程服务器的文件到本地: scp -P888 root@120.18.50.33:
打开终端,进入/bin/ls 一下会见到 bash sh 呢两个文件。其实距地系两个唔同既shell 解析器。如果在脚本a.sh 开头写入#!/bin/sh那么执行./a.sh 时候 就相当于 sh a.sh同理 开头写入#!/bin/bash执行./a.sh 时候 就相当于 bash a.sh如果
find查找文件的时候排除某个或几个文件或目录转自:http://www.cnblogs.com/starspace/archive/2008/10/20/1315380.html比如要在/usr/sam目录下查找不在dir1子目录之内的所有文件find /usr/sam -path &quot;/
假设有变量 var=http://www.google.com/test.htm一 # 号截取,删除左边字符,保留右边字符。echo ${var#*//}其中 var 是变量名,# 号是运算符,*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http://结果是 :www.goog
转自: http://edyfox.codecarver.org/html/_vimrc_for_beginners.htmlVIM 中可供用户定制的选项非常非常多,作为初学者,我们没有必要了解这么多东西。下面,滇狐简单列出了一些最常用的配置项,大家可以根据自己的需要将这些内容添加到自己的 .vim
转自:http://www.einit.com/user1/11/archives/2006/3603.htmlUnix/Linux下一般想让某个程序在后台运行,很多都是使用 &amp; 在程序结尾来让程序自动运行。比如我们要运行mysql在后台: /usr/local/mysql/bin/mysq
首先, mount是类unix系统, 挂载设备到1个文件夹的操作命令, 注意系设备阿正常来讲,mount 是不能挂在文件夹到文件夹的。例如, 在我的~/tmp/ 目录中有两个文件夹fo1 fo2其中fo1 中有3个文件a.txt b.txt c.txt fo2 有4个 e.txt d.txt e.t