正则表达式引擎的构建——基于编译原理DFA龙书第三章——3 计算4个函数

分类：正则表达式作者：编程之家用户

整个引擎代码在github上，地址为：https://github.com/sun2043430/RegularExpression_Engine.git


nullable,firstpos,lastpos,followpos函数介绍

接着上两篇文章

《正则表达式引擎的构建——基于编译原理DFA（龙书第三章）——1 概述》

《正则表达式引擎的构建——基于编译原理DFA（龙书第三章）——2 构造抽象语法树》

本篇将讲解对抽象语法树上的每一个节点计算对应的4个函数：nullable,followpos。

鉴于龙书已经对这一部分的理论和实现步骤进行了详细文字、图表描述。我就不在赘述了。只摘取其中一些重要的概念、难点谈谈我的理解。并结合具体的例子来演示一下函数的计算过程。


nullable,followpos这4 个函数在龙书上是这样解释的：


这4个函数里面，其中nullable函数是为计算firstpos,lastpos函数而做准备的。而firstpos,lastpos函数又是为计算followpos函数而做准备的。

实际上在DFA中，只有对于星号运算符的节点nullable函数才返回TRUE，因为星号运算符可以匹配空串。

对于nullable,firstpos函数的求法，龙书上给出的表格如下：


对于lastpos的求法，和firstpos的求法类似，差别只在对于cat结点时候，求法为

if( nullable(c2) )

{ lastpos(c1) 并上 lastpos(c2) }

else { lastpos(c2)}。

计算完firstpos和lastpos函数后，就可以计算最后的followpos函数了。followpos函数的简单理解就是，对于一个结点P，哪些结点是可能出现在节点P后面的，所有可能出现在P后面（紧随其后，相邻）的节点构成的集合就是followpos。

只有在遇到cat节点和star节点（星号节点）才有必要计算followpos值：

1. cat节点表示两个节点的连接，所以两个节点中，后一个节点的firstpos集合是前一个节点的lastpos集合中每一个节点的followpos集合。

2. 对于star节点，考虑到其后可以跟随自身，所以自身节点的firstpos集合是自身节点的lastpos集合中每一个节点的followpos集合。


在具体代码实现中，nullable可以用一个布尔变量表示，firstpos,followpos为3个向量（或链表）：

    BOOL                    m_bNullAble;
    vector<CNodeInTree*>    m_vecFirstPos;
    vector<CNodeInTree*>    m_vecLastPos;
    vector<CNodeInTree*>    m_vecFollowPos;


结合具体实例讲解4个函数的计算方法

上面说的都很抽象，我们结合具体的实例来说明对应的值和集合，对于正则表达式（a|b)*abb，共有5个叶子节点，5个非叶子节点。构成的语法树如下：


我们来填写一下对应的集合，需要说明的一点是，在计算这些值和集合的时候，是对整个语法树进行深度优先遍历的，所以会先处理叶子节点再处理中间节点，最后才到整个树的根节点。

我们按照遍历过程中节点被处理的先后顺序列出下表：


请注意，在表中，处理完 a1,a2,或3 这3个节点后，这3个节点的followpos集合都是空的，因为可以跟随的节点还不知道。


接下来在处理*4节点时，因为在前面我们说过star节点需要计算followpos集合。具体的计算方法是这样的，遍历*4节点的lastpos集合，对其中的每一个节点N（也就是a1,a2两个节点），设置N的followpos节点为*4节点的firstpos集合。也就是说a1节点的followpso集合为{a1,a2}，a2节点的followpso集合也是{a1,a2}。处理完成之后的结果如下表：


可以看出，在处理followpos集合时，并不是处理 *4 节点本身的followpos集合，而是对*4 节点的firstpos集合中每一个节点进行处理。我们接着往下处理，看看cat节点的情况。

当处理到cat6节点时，其firstpos集合和lastpos集合如下：


因为cat6节点表示*4节点和a5节点的连接。所以cat6节点的firstpos集合首先要包含*4节点的firstpos集合（也就是a1,a2)，然后又因为*4节点的nullable函数为TRUE(star运算符可匹配空串)，所以还得加上a5节点的firstpos集合（a5节点）。所以cat6节点的firstpos集合为{a1，a2，a5}。

cat6节点的lastpos集合就是a5节点的lastpos集合。且因为a5节点的nullable函数为FALSE，所以不用再加上*4节点的lastpos集合了。最终得到的结果就是上面的表格。


下面我们在来看如何在cat节点处处理followpos集合。

还是根据我们前面提到的，"cat节点表示两个节点的连接，所以两个节点中，后一个节点的firstpos集合是前一个节点的lastpos集合中每一个节点的followpos集合。"

具体在这里，也就是对于cat6节点所连接的两个节点来说，将前一个节点*4节点的lastpos集合（{a1,a2}）取过来，对里面的每一个节点（a1,a2）设置followpos集合。用什么来设置followpos集合呢？用后一个节点（a5节点）的firstpos集合({a5})来设置。也就是说，在a1节点和a2节点的followpos集合中再加入a5节点。处理完毕后的结果见下表：


可以看出，在对cat6进行followpos函数的处理时，改变的是*4节点的firstpos集合中的节点（a1,a2）的followpos集合，和cat6节点自身的followpos集合无关。

接下来的节点处理情况和以上过程类似，最终得到的结果如下表：



至此，结合实例讲解的4个函数计算方法就讲完了。下一章将介绍DFA的构建。

整个引擎代码在github上，地址为：https://github.com/sun2043430/RegularExpression_Engine.git


关键代码

以下是计算本文中4个函数的关键代码

BOOL CNodeInTree::CalculateFunction(CNodeInTree *pNode)
{
    BOOL bRet = FALSE;
    if (!pNode)
        return TRUE;

    CHECK_BOOL ( CalculateFunction(pNode->m_Node1) );
    CHECK_BOOL ( CalculateFunction(pNode->m_Node2) );
    
    switch (pNode->m_pToken->GetType())
    {
    case eType_END:
    case eType_NORMAL:
    case eType_WILDCARD:
        pNode->m_bNullAble = FALSE;
        try 
        {
            pNode->m_vecFirstPos.push_back(pNode);
            pNode->m_vecLastPos.push_back(pNode);
        }
        catch (...)
        {
            goto Exit0;
        }
    	break;
    case eType_STAR:
        pNode->m_bNullAble = TRUE;
        CHECK_BOOL ( AppendVector(pNode->m_vecFirstPos,pNode->m_Node1->m_vecFirstPos) );
        CHECK_BOOL ( AppendVector(pNode->m_vecLastPos,pNode->m_Node1->m_vecLastPos) );
        CHECK_BOOL ( CalcFollowPos(pNode) );
        break;
    case eType_UNION:
        pNode->m_bNullAble = pNode->m_Node1->m_bNullAble || pNode->m_Node2->m_bNullAble;
        CHECK_BOOL ( AppendVector(pNode->m_vecFirstPos,pNode->m_Node1->m_vecFirstPos) );
        CHECK_BOOL ( AppendVector(pNode->m_vecFirstPos,pNode->m_Node2->m_vecFirstPos) );
        CHECK_BOOL ( AppendVector(pNode->m_vecLastPos,pNode->m_Node1->m_vecLastPos) );
        CHECK_BOOL ( AppendVector(pNode->m_vecLastPos,pNode->m_Node2->m_vecLastPos) );
        break;
    case eType_CONCAT:
        pNode->m_bNullAble = pNode->m_Node1->m_bNullAble && pNode->m_Node2->m_bNullAble;
        // firstpos(n)
        CHECK_BOOL ( AppendVector(pNode->m_vecFirstPos,pNode->m_Node1->m_vecFirstPos) );
        if (pNode->m_Node1->m_bNullAble)
        {
            CHECK_BOOL ( AppendVector(pNode->m_vecFirstPos,pNode->m_Node2->m_vecFirstPos) );
        }
        // lastpos(n)
        if (pNode->m_Node2->m_bNullAble)
        {
            CHECK_BOOL ( AppendVector(pNode->m_vecLastPos,pNode->m_Node1->m_vecLastPos) );
        }
        CHECK_BOOL ( AppendVector(pNode->m_vecLastPos,pNode->m_Node2->m_vecLastPos) );
        CHECK_BOOL ( CalcFollowPos(pNode) );
        break;
    default:
        goto Exit0;
    }

    bRet = TRUE;
Exit0:
    return bRet;
}

BOOL CNodeInTree::CalcFollowPos(CNodeInTree *pNode)
{
    BOOL bRet = FALSE;

    switch (pNode->m_pToken->GetType())
    {
    case eType_STAR:
        for (vector<CNodeInTree*>::iterator it = pNode->m_vecLastPos.begin();
             it != pNode->m_vecLastPos.end();
             it++)
        {
            AppendVector((*it)->m_vecFollowPos,pNode->m_vecFirstPos);
        }
    	break;
    case eType_CONCAT:
        for (vector<CNodeInTree*>::iterator it = pNode->m_Node1->m_vecLastPos.begin();
            it != pNode->m_Node1->m_vecLastPos.end();
            it++)
        {
            AppendVector((*it)->m_vecFollowPos,pNode->m_Node2->m_vecFirstPos);
        }
        break;
    default:
        goto Exit0;
    }

    bRet = TRUE;
Exit0:
    return bRet;
}

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

jquery.validate使用攻略（表单校验）
jquery.validate使用攻略（表单校验） 目录 jquery.validate使用攻略1 第一章&#160;jquery.validate使用攻略1 第二章&#160;jQuery.validate.js API7 Custom selectors7 Utilities8 Validato
清空字符串的空格（正则表达式）
/\s+/g和/\s/g的区别 正则表达式/\s+/g和/\s/g，目的均是找出目标字符串中的所有空白字符，但两者到底有什么区别呢？ 我们先来看下面一个例子： let name = &#39;ye wen jun&#39;;let ans = name.replace(/\s/g, &#39;&#3
自整理几个jquery.Validate验证正则
自整理几个jquery.Validate验证正则： 1. 只能输入数字和字母 /^[0-9a-zA-Z]*$/g jQuery.validator.addMethod(&quot;letters&quot;, function (value, element) { return this.optio
this.optional(element)的用法
this.optional(element)的用法 this.optional(element)是jquery.validator.js表单验证框架中的一个函数，用于表单控件的值不为空时才触发验证。 简单来说，就是当表单控件值为空的时候不会进行表单校验，此函数会返回true，表示校验通过，当表单控件
jQuery.validate 表单动态验证
jQuery.validate 表单动态验证 实际上jQuery.validate提供了动态校验的方法。而动态拼JSON串的方式是不支持动态校验的。牺牲jQuery.validate的性能优化可以实现(jQuery.validate的性能优化见图1.2 jQuery.validate源码 )。 也可
自定义验证之这能输入数字(包括小数 负数 )
自定义验证之这能输入数字(包括小数 负数 ) &lt;script type=&quot;text/javascript&quot;&gt; function onlyNumber(obj){ //得到第一个字符是否为负号 var t = obj.value.charAt(0); //先把非数字的都
validator.js——引入外部验证规则
// 引入了外部的验证规则 import { validateAccountNumber } from &quot;@/utils/validate&quot;; validator.js /*是否合法IP地址*/ export function validateIP(rule, value,cal
VUE开发--表单验证——正则
VUE开发--表单验证(六十三) 一、常用验证方式 vue 中表单字段验证的写法和方式有多种，常用的验证方式有3种： data 中验证 表单内容： &lt;!-- 表单 --&gt; &lt;el-form ref=&quot;rulesForm&quot; :rules=&quot;formRul
正则表达式—含座机的
正则表达式 座机的： 例子： 座机有效写法: 0316-8418331 (010)-67433539 (010)67433539 010-67433539 (0316)-8418331 (0316)8418331 正则表达式写法 0\d{2,3}-\d{7,8}|\(?0\d{2,3}[)-]?\d
js校验输入0-1之间的小数,最多保留小数点后两位
var reg = /^0\.[1-9]{0,2}$/;var linka = 0.1;console.log (reg.test (linka)); 0到1两位小数正则 ^(0\.(0[1-9]|[1-9]{1,2}|[1-9]0)$)|^1$ 不含0、0.0、0.00 // 验证是否是[1-10
input最大长度限制问题
input最大长度限制问题 &lt;input type=&quot;text&quot; maxlength=&quot;5&quot; /&gt; //可以 &lt;input type=&quot;number&quot; maxlength=&quot;5&quot; /&gt; //没有效
js输入验证是否为空、是否为null、是否都是空格—去掉所有空格
js输入验证是否为空、是否为null、是否都是空格 目录 1.截头去尾 trim 2.截头去尾 会去掉开始和结束的空格，类似于trim 3.会去掉所有的空格，包括开始，结束，中间 1.截头去尾 trim str=str.trim(); // 强烈推荐 最常用、最实用 or $.trim(str);
正则表达式语法大全以及match、search、replace、test的各自作用
正则表达式语法大全 字符串.match(正则)：返回符合的字符串，若不满足返回null 字符串.search(正则)：返回搜索到的位置，若非一个字符，则返回第一个字母的下标，若不匹配则返回-1 字符串.replace(正则,新的字符串)：找到符合正则的内容并替换 正则.test(字符串)：在字符串中
正整数正则表达式
正整数正则表达式正数的正则表达式(包括0，小数保留两位)： ^((0{1}.\d{1,2})|([1-9]\d.{1}\d{1,2})|([1-9]+\d)|0)$正数的正则表达式(不包括0，小数保留两位)： ^((0{1}.\d{1,2})|([1-9]\d.{1}\d{1,2})|([1-9]+
JS 正则验证 test()
JS 正则验证 test() /*用途：检查输入手机号码是否正确输入：s：字符串返回：如果通过验证返回true,否则返回false /function checkMobile(s){var regu =/[1][3][0-9]{9}$/;var re = new RegExp(regu);if (r
常用正则
请输入保留两位小数的销售价的正则： /(^[1-9]([0-9]+)?(\.[0-9]{1,2})?$)|(^(0){1}$)|(^[0-9]\.[0-9]([0-9])?$)/ 1.只能输入英文 &lt;input type=&quot;text&quot; onkeyup=&quot;value
判断价格的正则表达式
判断价格的正则表达式 价格的正则表达式 /(^[1-9]\d*(\.\d{1,2})?$)|(^0(\.\d{1,2})?$)/; 1 解析：价格符合两种格式 ^ [1-9]\d*(.\d{1,2})?$ ： 1-9 开头，后跟是 0-9，可以跟小数点，但小数点后要带上 1-2 位小数，类似 2,2
最实用的正则表达式整理
文章浏览阅读106次。这篇文章主要介绍了最实用的正则表达式整理,比如校验邮箱的正则，号码相关，数字相关等等，本文给大家列举的比较多，需要的朋友可以参考下。_/^(?:[1-9]d*)$/ 手机号
正则表达式总结，正则表达式匹配不包含某个字符串
文章浏览阅读1.2k次。4、匹配中的==、an==、== an9、i9 == "9i"和99p==请注意下面这部分的作用，它在匹配中间内容的时候排除了说明：当html字符串如下时，可以匹配到两处，表示匹配的字符串不包含and且不包含空白字符。说明：在上面的正则表达式中，_gvim正则表达式匹配不包含某个字符串
正则表达式匹配a标签的href
文章浏览阅读897次。【代码】正则表达式匹配a标签的href。_auto.js 正则匹配herf
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot