使用ATS中的regex_remap插件实现正则匹配的url重定向

要点总结如下:
1.正向和反向代理可以同时并存,并且remap可以兼容这两种模式。
2.在使用regex_map时,是借助remap的配置来设置,而且remap.so和regex_remap.so已经事先安装进系统了,启用remap或是regex_remap功能只需要搞好配置就可以了。
3.使用浏览器时,反向代理在地址栏中输入ATS的ip地址,正向代理时需要事先设置浏览器使用代理上网,但是地址栏的地址不变

一、反向代理模式

remap是ATS做URL rewrite的方式,也是ATS在配置文件设计方面的特殊部分。从功能上来讲,ATS的remap更像一个精简版本的Apache Httpd的rewrite模块。remap之所以重要,是因为它定义了一个很方便的API入口,我们可以通过remap系统,编写remap插件。

remap.config定义映射规则,用于请求的重写(rewrite),反向代理即在此配置。
在remap.config中做如下配置
map http://d1.sina.com.cn http://192.168.90.26 @plugin=regex_remap.so @pparam=maps.reg @pparam=profile @pparam=method

@profile是将打印信息输入/usr/local/var/log/trafficserver/traffic.out
@method是匹配http方法

动态库的默认存放路径/usr/local/libexec/trafficserver/regex_remap.so
注意在默认安装ATS时,它已经被安装到指定的路径下面了,你可以使用下面的命令验证
locate regex_remap.so
是否可以找到该so文件

config file的默认存放路径是/usr/local/etc/regex_remap/maps.reg(需要事先手动创建),它里面存放着我们设置的匹配规则,内容如下
^/pfpghc/(.*).swf$ http://www.baidu.com/image/in_011.png @status=302

下面是搭建反向代理的方法
在默认的ATS配置的基础上,关闭host header透传,修改如下配置项为
CONFIG proxy.config.url_remap.pristine_host_hdr INT 1 改成0

然后在remap.config中做如下配置:
map http://10.10.110.31:8080/ http://news.sina.com.cn/
reverse_map http://news.sina.com.cn/ http://10.10.110.31:8080/

这里map的第一个http表示是User-Agent去访问网页的请求url,第二个http表示ATS去获取源的url,整行的意思是,将dns的ip解析为新浪新闻主页;

这里reverse_map的这一行表示将新浪新闻源站返回的域名转成ip再响应给代理用户


对一个正常的如下网址:
http://news.sina.com.cn/s/2014-01-26/150729350128.shtml
使用下面的方式之一访问反向代理服务器
http://10.10.110.39:8080/s/2014-01-26/150729350128.shtml(公司)
http://192.168.0.106:8080/s/2014-01-26/150729350128.shtml(家里)

使用下面的方法来使重定向生效。
使用下面的方法使remap.config中的配置值生效,避免重启机器
$ sudo touch /usr/local/etc/trafficserver/remap.config(如果没有变动,再更新一下文件创建时间,如果刚修改文件,不用命令)

$ sudo traffic_line -x(这个命令使所有的配置文件重新加载,当修改了集群中的某一个节点的配置的时候,Traffic server会自动将更改应用到集群的其他节点。


通常的请求
http://d9.sina.com.cn/pfpghc/3106401f1783439d90720d6a2ead52bc.swf
变为如下请求
http://192.168.0.106:8080/pfpghc/3106401f1783439d90720d6a2ead52bc.swf
最终重定向到指定的图片地址
http://www.baidu.com/image/in_011.png

打开任意一个浏览器,在地址栏中输入上面的请求,可以看到swf变为一个图片的请求了

二、正向和反向代理同时共存
最终我得到的结论是,对广告必须使用正向代理加上remap方法。因为你必须确保一个网站所有的链接都经过ATS代理,如果这样的设置
map http://10.10.110.31:8080/ http://news.sina.com.cn/
只能定向news.sina.com.cn这个域名,对d9.sina.com.cn这样的域名没有办法。所以,这里我只希望对极个别链接做重定向。
如何在正向代理的同时做remap替换?
下面是我的实现方法:使用正向代理+remap正则匹配重定向,主要是配置。
在默认安装ATS的records.config中修改如下选项
CONFIG proxy.config.url_remap.pristine_host_hdr INT 1 改成0
CONFIG proxy.config.url_remap.remap_required INT 1 改成0,代表同时开启正向代理和反向代理

下面配置remap.conf,我的主要目的是借助remap实现regex_remap的功能,来实现对特定url的重定向或是改写
在remap.conf加入如下内容
map http://d1.sina.com.cn/ http://d1.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d2.sina.com.cn/ http://d2.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d3.sina.com.cn/ http://d3.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d4.sina.com.cn/ http://d4.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d5.sina.com.cn/ http://d5.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d6.sina.com.cn/ http://d6.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d7.sina.com.cn/ http://d7.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d8.sina.com.cn/ http://d8.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
map http://d9.sina.com.cn/ http://d9.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile

接着在regs.map中加入如下匹配规则
^/(.*).swf$ http://www.baidu.com/image/in_011.png @status=302
这里status表示使用302重定向
重启服务器

选择一个浏览器,比如firefox,设置正向代理为该ATS的ip和端口,这里是192.168.0.106:8080
然后输入目的网站,比如我要测试的news.sina.com.cn,就可以看到我要的重定向的结果了。

三、对remap和regex_remap规则的说明
map http://d9.sina.com.cn/ http://d9.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile
表示将客户端User-Agent发送的host域以同样的方式发送给源站Original Sever(简作OS),但是对path和query部分做正则匹配,匹配的规则是
^/(.*).swf$ http://www.baidu.com/image/in_011.png @status=302
也就是将以http://d9.sina.com.cn/开头,以.swf尾结尾的url映射到你指定的后一个地址,这里是http://www.baidu.com/image/in_011.png,并以302的http status显示。当然,你可以映射到其它的地址,结合这个匹配规则。


下面摘自赵永明在CU上的帖子(链接见参考网址1):

regex_remap是从master上port过来的,用来解决去问号,以及其他变态的rewrite规则等,简单说明如下:
如我们希望忽略cdn.zymlinux.net上的?后面的query,我们只要配置remap.config
配置如下:
map http://cdn.zymlinux.net/ http://zymlinux.net/ @plugin=regex_remap.so @pparam=/tmp/regex_remap.config

并把regex_remap.config配置为:
.* http://source.zymlinux.net/$P

其中$P是URL中的path,后面不跟query
当然,这里前面的".*"是可以再进一步细化的,以达成精细控制的目的. 而这个配置是可以给每个remap规则配置一个不同的配置文件,极大的了增强了大家掌控的便利性.

这里面 cdn.zymlinux.net和zymlinux.net分别是什么?regex_remap.config里的source.zymlinux.net又是什么呢?
我们需要搞清楚这个关系,就是
cdn.zymlinux.net 是用户在浏览器地址栏中输入的host部分,也称域名
zymlinux.net 是ATS对上url重写后的url的host部分,比如重写的url是http://zymlinux.net/img/a.png?size=230*450
source.zymlinux.net 是上面重写url重定向后的url的host部分,比如重定向url是http://source.zymlinux.net/$P,这里做了正则匹配,那么就是http://source.zymlinux.net/img/a.png

更详细的说明,请参照:
https://git-wip-us.apache.org/re ... emap/README;hb=HEAD

四、remap.config配置文件的说明(部分翻译)

使用remap.config允许你完成两件事情:

1)在发送给源服务器(Origin Server)之前,重写客户端发送的URL,

2)保护你的代理服务器,只允许某些请求通过

使用ATS默认的配置文件,至少要求配置一个remap规则,但是,这可以通过修改records.config中的下面的配置选项放松条件:

CONFIG proxy.config.url_remap.remap_required INT 0

支持的6种mapping规则如下:

map

map_with_referer

map_with_recv_port

reverse_map

redirect

redirect_temporary

这几种map类型都支持正则表达式匹配,同时使用regex_的前缀,但是有一些限制:

1)只有host域支持正则表达式,scheme,port和其它的field不支持

2)子模式的匹配个数只能最大到9,这意味着$0-$9能用于替换占位符,$0表示整个输入字符串

3)扩展字符串中的替换个数限制到10

下面是map支持正则表达式的一个例子:

上面的9条规则可以用下面的一条正则匹配表示:

regex_map http://d([1-9]).sina.com.cn/ http://d$1.sina.com.cn/ @plugin=regex_remap.so @pparam=maps.reg @pparam=profile

这里http://d([1-9]).sina.com.cn/可以表示上面的9个域名,$1表示匹配到的1-9中的某个数字

参考网址 http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=3758890 http://bbs.chinaunix.net/thread-3768941-1-1.html

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


jquery.validate使用攻略(表单校验) 目录 jquery.validate使用攻略1 第一章 jquery.validate使用攻略1 第二章 jQuery.validate.js API7 Custom selectors7 Utilities8 Validato
/\s+/g和/\s/g的区别 正则表达式/\s+/g和/\s/g,目的均是找出目标字符串中的所有空白字符,但两者到底有什么区别呢? 我们先来看下面一个例子: let name = 'ye wen jun';let ans = name.replace(/\s/g, '&#3
自整理几个jquery.Validate验证正则: 1. 只能输入数字和字母 /^[0-9a-zA-Z]*$/g jQuery.validator.addMethod("letters", function (value, element) { return this.optio
this.optional(element)的用法 this.optional(element)是jquery.validator.js表单验证框架中的一个函数,用于表单控件的值不为空时才触发验证。 简单来说,就是当表单控件值为空的时候不会进行表单校验,此函数会返回true,表示校验通过,当表单控件
jQuery.validate 表单动态验证 实际上jQuery.validate提供了动态校验的方法。而动态拼JSON串的方式是不支持动态校验的。牺牲jQuery.validate的性能优化可以实现(jQuery.validate的性能优化见图1.2 jQuery.validate源码 )。 也可
自定义验证之这能输入数字(包括小数 负数 ) <script type="text/javascript"> function onlyNumber(obj){ //得到第一个字符是否为负号 var t = obj.value.charAt(0); //先把非数字的都
// 引入了外部的验证规则 import { validateAccountNumber } from "@/utils/validate"; validator.js /*是否合法IP地址*/ export function validateIP(rule, value,cal
VUE开发--表单验证(六十三) 一、常用验证方式 vue 中表单字段验证的写法和方式有多种,常用的验证方式有3种: data 中验证 表单内容: <!-- 表单 --> <el-form ref="rulesForm" :rules="formRul
正则表达式 座机的: 例子: 座机有效写法: 0316-8418331 (010)-67433539 (010)67433539 010-67433539 (0316)-8418331 (0316)8418331 正则表达式写法 0\d{2,3}-\d{7,8}|\(?0\d{2,3}[)-]?\d
var reg = /^0\.[1-9]{0,2}$/;var linka = 0.1;console.log (reg.test (linka)); 0到1两位小数正则 ^(0\.(0[1-9]|[1-9]{1,2}|[1-9]0)$)|^1$ 不含0、0.0、0.00 // 验证是否是[1-10
input最大长度限制问题 <input type="text" maxlength="5" /> //可以 <input type="number" maxlength="5" /> //没有效
js输入验证是否为空、是否为null、是否都是空格 目录 1.截头去尾 trim 2.截头去尾 会去掉开始和结束的空格,类似于trim 3.会去掉所有的空格,包括开始,结束,中间 1.截头去尾 trim str=str.trim(); // 强烈推荐 最常用、最实用 or $.trim(str);
正则表达式语法大全 字符串.match(正则):返回符合的字符串,若不满足返回null 字符串.search(正则):返回搜索到的位置,若非一个字符,则返回第一个字母的下标,若不匹配则返回-1 字符串.replace(正则,新的字符串):找到符合正则的内容并替换 正则.test(字符串):在字符串中
正整数正则表达式正数的正则表达式(包括0,小数保留两位): ^((0{1}.\d{1,2})|([1-9]\d.{1}\d{1,2})|([1-9]+\d)|0)$正数的正则表达式(不包括0,小数保留两位): ^((0{1}.\d{1,2})|([1-9]\d.{1}\d{1,2})|([1-9]+
JS 正则验证 test() /*用途:检查输入手机号码是否正确输入:s:字符串返回:如果通过验证返回true,否则返回false /function checkMobile(s){var regu =/[1][3][0-9]{9}$/;var re = new RegExp(regu);if (r
请输入保留两位小数的销售价的正则: /(^[1-9]([0-9]+)?(\.[0-9]{1,2})?$)|(^(0){1}$)|(^[0-9]\.[0-9]([0-9])?$)/ 1.只能输入英文 <input type="text" onkeyup="value
判断价格的正则表达式 价格的正则表达式 /(^[1-9]\d*(\.\d{1,2})?$)|(^0(\.\d{1,2})?$)/; 1 解析:价格符合两种格式 ^ [1-9]\d*(.\d{1,2})?$ : 1-9 开头,后跟是 0-9,可以跟小数点,但小数点后要带上 1-2 位小数,类似 2,2
文章浏览阅读106次。这篇文章主要介绍了最实用的正则表达式整理,比如校验邮箱的正则,号码相关,数字相关等等,本文给大家列举的比较多,需要的朋友可以参考下。_/^(?:[1-9]d*)$/ 手机号
文章浏览阅读1.2k次。4、匹配中的==、an==、== an9、i9 == "9i"和99p==请注意下面这部分的作用,它在匹配中间内容的时候排除了说明:当html字符串如下时,可以匹配到两处,表示匹配的字符串不包含and且不包含空白字符。说明:在上面的正则表达式中,_gvim正则表达式匹配不包含某个字符串
文章浏览阅读897次。【代码】正则表达式匹配a标签的href。_auto.js 正则匹配herf