大白话Vue源码系列(03):生成AST

<div id="catalog"><div class="bq">
<div style="margin-bottom: .6rem">阅读目录


<ul class="list">
<li style="margin-bottom: .2rem !important"><a href="javascript:" scroll-to="#f_0">AST 节点定义
<li style="margin-bottom: .2rem !important"><a href="javascript:" scroll-to="#f_1">标签的正则匹配
<li style="margin-bottom: .2rem !important"><a href="javascript:" scroll-to="#f_2">解析用到的工具方法
<li style="margin-bottom: .2rem !important"><a href="javascript:" scroll-to="#f_3">解析开始标签
<li style="margin-bottom: .2rem !important"><a href="javascript:" scroll-to="#f_4">解析结束标签
<li style="margin-bottom: .2rem !important"><a href="javascript:" scroll-to="#f_5">解析文本
<li style="margin-bottom: .2rem !important"><a href="javascript:" scroll-to="#f_6">解析整块 HTML 模板
<li style="margin-bottom: .2rem !important"><a href="javascript:" scroll-to="#f_7">未提及的细节

本篇探讨 Vue 根据 html 模板片段构建出 AST 的具体过程。这对 Vue 的使用通常没什么帮助,但熟悉这个过程会对 Vue 的内部工作原理有更清晰的认识。

主代码位置:Vue 项目的 src/compiler/parser/html-parser.js 文件。

AST 是由一个个节点组成的,正如 DOM 树是由 DOM 节点组成的一样。

Vue 使用正则表达式匹配 html 标签,并将标签解析成 AST 节点,所以继续下面的内容之前最好对有一定了解。

Vue 的 AST 节点数据结构定义如下:

// 节点包含 3 种类型:标签元素、普通文本、插值表达式
declare type ASTNode = ASTElement | ASTText | ASTExpression;

declare type ASTElement = {
type: 1;
tag: string;
attrsList: [];
parent: ASTElement | void;
children: [];
}

declare type ASTExpression = {
type: 2;
expression: string;
text: string;
}

declare type ASTText = {
type: 3;
text: string;
isComment: boolean;
}

declare type 是 flow.js 的语法,用于静态类型检查。请留意 ASTElement 定义中的 children 字段,它们将是用于建立父子关系从而构成一颗树的依据。

接下来开始剖析代码细节。

下面是比较枯燥的正则式环节。

1、匹配标签名

const tagName = '([a-zA-Z_][\\w\\-\\.]*)'
 

需要注意的是,不同于[a-zA-Z_],正则式 \w 用于匹配包括下划线的任何单词字符,包括中文字符。因此上面一行正则式的意思是匹配以英文字母或下划线开头([a-zA-Z_])接若干个单词字符或下划线([\w\-\.]*)的字符串。

该正则式可匹配到 < id="index"> 名称部分。

2、匹配标签属性

const attribute = /^\s*([^\s"'<>\/=]+)(?:\s*(=)\s*(?:"([^"]*)"+|'([^']*)'+|([^\s"'=<>`]+)))?/
 

这行正则式用于匹配 key = value 这种属性键值对,虽然看起来挺复杂,但其实是挺简单的匹配,主要是兼容处理属性值的双引号,单引号和数字等写法。

该正则式可匹配到

> 属性部分。

3、匹配开始标签

const startTagOpen = new RegExp(`^<${tagName}`)
const startTagClose = /^\s*(\/?)>/
 

startTagOpen 用于匹配开始标签的左边开头部分,即

部分。 startTagClose 用于匹配开始标签的右边闭合部分,即 {{msg}}
左边开头的 部分,请注意这一点,因为 Vue 是用步步蚕食(也就是解析一点,剪掉一点)的方法一点一点进行解析的。

开始标签?结束标签? 在这里把

叫做开始标签(startTag),把
叫做结束标签(endTag)。

4、匹配结束标签

const endTag = new RegExp(`^<\\/${tagName}[^>]*>`)
 

注意正则式中 ^ 放在首位表示匹配行首。因此该正则式可匹配到

解析 html 模板主要就用到这 4 个关键的正则式,接下来开始正式解析。

1、advance 方法

该方法用于步步蚕食,也就是每解析一部分,就从待解析的模板片段中去掉一部分,直到解析完毕,html.length0

let index = 0;

function advance (n) {
index += n
html = html.substring(n)
}

比如

经过 advance(4) 就变成 id="index">index 变量也从 0 变成了 4,表示已经解析了 4 个字符。

2、createASTElement 方法

这个方法用于构造一个 AST 元素节点(对应上面的 AST 节点类型定义),每解析一个标签就要生成一个这样的 AST 元素节点。注意传入的 parent 参数,除了根元素,其它节点一般都有一个 parent 元素,还是那句话,多类比 DOM 树。

function createASTElement (tag,attrs,parent){
    return {
        type: 1,tag,lowerCasedTag: tag.toLowerCase(),attrsList: attrs,parent,children: []
    }
}
 

接下来的内容就比较消耗脑细胞了,建议先仔细了解一下,因为之后的解析里会多处用到。

老规矩,先看方法定义:

let root
let currentParent
let stack = []  // 标签元素栈

function parseStartTag () {
//-- 第一步 首先匹配开始标签的左边开头部分 --
const start = html.match(startTagOpen)
if (start) {
const match = {
tagName: start[1],attrs: [],start: index
}
advance(start[0].length)

    //-- 第二步 循环解析开始标签上的每一个属性键值对 --
    let end,attr
    while (!(end = html.match(startTagClose)) &amp;&amp; (attr = html.match(attribute))) {
        advance(attr[0].length)
        match.attrs.push({
            name: attr[1],value: attr[3]
        })
    }

    //-- 第三步 匹配到开始标签的闭合部分,至此开始标签解析结束 --
    if (end) {
        match.unarySlash = end[1]
        advance(end[0].length)
    }

    // 解析完标签创建一个 AST 节点
    let element = createASTElement(match.tagName,match.attrs,currentParent)

    if(!root){
        root = element
    }

    if(currentParent){
        currentParent.children.push(element);
    }

    // 自闭合就不用压入栈中了
    if (!match.unarySlash) {
        stack.push(element)
        currentParent = element
    }

}

}

为了在解析到结束标签时找到与之对应的开始标签,Vue 通过维护一个标签栈 stack 来匹配对应的标签。currentParent 用于指向栈顶的 AST 节点。

以解析

为例,

经过第一步解析标签名,解析的结果如下:

match = {
    tagName: "div",start: 0
}
 

此时 html 也经 advance 成了 id="index" class="content">

接着经过第二步解析属性键值对,解析的结果变成:

match = {
    tagName: "div",attrs: [
        {
            "name": "id","value": "index"
        },{
            "name": "class","value": "content"
        }
    ],start: 0
}
 

此时 html 经过多次 advance 成了 >

然后经过第三步解析开始标签闭合部分,并且生成了一个 AST 节点,最终的变量状态如下:

match = {
    tagName: "div",start: 0,end: 32,unarySlash: "",}

root = element
stack = [element]
currentParent = element

此时 html 经过 advance 已经变成了空字符串,解析完毕。

什么是栈? 类似于数组,是一种常用的线性表数据结构,可以使用数组轻松地实现。后进先出的操作方式特别适合 html 标签的这种嵌套语法结构。

解析结束标签的关键点是找到与之对应的开始标签。

先看方法定义:

function parseEndTag () {
    const end = html.match(endTag);
    if (end) {
        advance(end[0].length)
    let tagName = end[1],lowerCasedTagName = tagName.toLowerCase()
    let pos

    // 从栈顶往栈底找,直到找到栈中离的最近的同类型标签
    for (pos = stack.length - 1; pos >= 0; pos--) {
        if (stack[pos].lowerCasedTag === lowerCasedTagName) {
            break
        }
    }

    // 如果找到了就取出对应的开始标签
    if (pos >= 0) {
        stack.length = pos
        currentParent = stack[stack.length - 1]
    }
}

}

可以看到,在解析结束标签时,会去找栈中离的最近的同类型标签。在找到后会取出找到的节点并更新 currentParent 指向,也就是说假设 stack 现在为 ['div','p','a'],经过 parseEndTag 之后可能就会变成 ['div','p']currentParent 也从指向 a 变成了指向栈顶的 p

文本为什么需要解析?别忘了,Vue 是支持在文本中插值的,即

hello,{{msg}}
{{msg}}。文本解析就是解析这些混在文本中的表达式。

建议先了解一下,本段代码在遍历时使用了它,注意它与字符串的 match 方法不同。

先看方法定义:

const defaultTagRE = /\{\{((?:.|\n)+?)\}\}/g

function parseText(text){
if (defaultTagRE.test(text)) {
// tokens 用于分割普通文本和插值文本
const tokens = []
let lastIndex = defaultTagRE.lastIndex = 0
let match,index
while ((match = defaultTagRE.exec(text))) {
index = match.index

        // push 普通文本
        if (index > lastIndex) {
            tokens.push(JSON.stringify(text.slice(lastIndex,index)))
        }
        // push 插值表达式
        tokens.push(`_s(${match[1].trim()})`)

        // 游标前移
        lastIndex = index + match[0].length
    }

    // 将剩余的普通文本压入 tokens 中
    if (lastIndex < text.length) {
        tokens.push(JSON.stringify(text.slice(lastIndex)))
    }

    // 生成 ASTExpression 节点
    currentParent.children.push({
        type: 2,expression: tokens.join('+'),text
    })
}else{
    // 生成 ASTText 节点
    currentParent.children.push({
        type: 3,text
    });
}

}

可以看到,并没有什么特别的地方,只是遍历传入的字符串并将所有插值摘出来。例如 hello,{{msg}} 会被分割成 ['"hello"','_s(msg)'],注意普通文本是被 JSON.stringify 了的,这样在后面 tokens.join('+') 时才会变成 "hello"+_s(msg) 这种所期望的格式,也就是最简单的字符串和变量拼接。

文本通常就是叶子节点了,因此文本和表达式的节点定义(ASTText和ASTExpression)中并没有 parentchildren 字段。

终于到最后了,这是咱这几年写过的最长文章了o(╥﹏╥)o

html 文档的结构基本上就是 text 这类标签的各种嵌套,套来套去套出一个页面。上面解析各部分(开始标签、结束标签、文本)的方法都已经有了,接下来就是使用上面的方法将整块 html 模板一层一层剥开,从而构建出整棵 AST。

先看方法定义:

let html

function parseHTML(_html){
html = _html

while (html) {
    let textEnd = html.indexOf('<')
    if (textEnd === 0) {

        //-- 匹配开始标签 --
        const startTagMatch = html.match(startTagOpen)
        if (startTagMatch) {
            parseStartTag()
            continue
        }

        //-- 匹配结束标签 --
        const endTagMatch = html.match(endTag)
        if (endTagMatch) {
            parseEndTag()
            continue
        }
    }

    //-- 匹配文本 --
    let text,rest
    if (textEnd >= 0) {
        rest = html.slice(textEnd)
        text = html.substring(0,textEnd)
        advance(textEnd)
    }
    if (textEnd < 0) {
        text = html
        html = ''
    }
    text &amp;&amp; parseText(text)
}

return root

}

可以看到,parseHTML 是循环一截一截把整块 html 蚕食掉的。返回值 root 就是对生成的 AST 的引用,其实就是一个被精心组织的 JSON 对象,已经提到,使用 JSON 描述树形结构具有天然优势。

现在看看忙活了半天的成果:

let tpl = `
hello,{{msg}}

by DOM哥
` console.info(parseHTML(tpl))

控制台输出截图如下:

Vue 解析 HTML 的主流程基本上就是这样,由于是基于 HTML,还是比较简单的。

戳这儿查看本文的完整代码

Vue 的实际实现做了大量的兼容性处理,有针对某些浏览器(IE:看我干什么)的,也有针对 HTML 标签的,比如

标签既可以有结束标签,也可以没有结束标签,因此需要特殊处理。另外还要考虑注释的解析,特殊 html 标签如 Doctype 的处理。总之需要考虑的地方很多,因此实际实现比上面要复杂的多,但处理的思路基本上是一样的。

Vue 代码分割的很严重,因此上面的实现代码不可能全部集成在一个文件里,而是分成了好几个小模块,比如生成 AST 节点的模块是抽出来的,处理文本的模块也是单独抽出来的。

如果想要锱铢必较地咀嚼每一行代码,这是非常困难的,而且寸步难行,甚至最后会半途而废。研究源码最主要的是去学习其中的思路,而不要纠结在一字一句。

还记得 Vue 编译器编译成 render 函数的 3 个步骤吗,生成 AST,优化 AST,生成 render 函数。本篇暂告一段落,将在下篇继续研究 Vue 是如何优化 AST 的以及如何根据 AST 生成 render 函数。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


https://segmentfault.com/a/1190000022018995 https://www.jianshu.com/p/8c3599dda094 vuex教程中,有这样一句话和这样一段代码: 实践中,我们会经常用到 ES2015 的参数解构来简化代码(特别是我们需要调用commi
ES6 (ECMAScript 6)中的模块是一个包含 JavaScript 代码的文件,在这个模块中所有的变量都对其他模块是不可见的,除非我们导出它。 ES6的模块系统大致分为导出(export)和导入(import)两个模块。 1、模块导出(export) 可以 导出 所有的最外层 函数 、 类
from https://mp.weixin.qq.com/s/-rc1lYYlsfx-wR4mQmIIQQ Vue知识点汇总(含Vue3) 一、Vue 基础 1. Vue的基本原理 当一个Vue实例创建时,Vue会遍历data中的属性,用 Object.defineProperty(vue3.0使
D:\Temp&gt;npm init vite@latest vue3study --template vuenpm ERR! code ETIMEDOUTnpm ERR! errno ETIMEDOUTnpm ERR! network request to https://registry.np
文章浏览阅读1.2k次。最近自己从零撸起的甘特图组件需要子组件的滚动条同步滚动这就涉及到子组件之间的互相通信,通过 消息总线可以达到我们的需求 ,首先建立一个标志位,拖动左边滚动条的时候,右边的滚动条事件不处理,反之拖动右边滚动条时,左边的滚动条事件不做处理,建立一个公共的变量用于两者的互斥store.jsimport Vue from 'vue'export let store = Vue.observable({ scrollFlag: true})export let mutations =.._vue 能不能同时有两个滚动事件
文章浏览阅读3.3k次,点赞3次,收藏16次。静默打印是什么?简单来说就是不需要用户点击"打印",自动去打印,但是使用浏览器web打印不可避免的要弹出以下画面面对这种问题也只能用"富客户端"技术来解决,在浏览器的沙盒安全模型中无法做到,那么只能使用插件的技术,这个我们就不自己花力气去做了,我找来了 lodop 这个免费的打印组件,功能还是挺强大的,下载下图的发行包解压后安装下图两个exe如果你的系统是64位的,可以安装install_lodop64.exe上图的LodopFuncs.js 是客户端要使用的核心库文件..._this.$getlodop().then((lodop) =>{
文章浏览阅读1.7k次。个人觉得大屏展示其实很简单,噱头多过技术含量,下面使用了 DataV (不是阿里的那个DataV哈,具体链接在这里)开发了一个大屏展示,使用了css flex弹性布局,使用了DataV的一些比较酷炫的边框(SVG写的),基本上功能没有全部完成,但是模子已经刻出来了,只是后端推送的内容没有全部写出来前端<template> <dv-full-screen-container class="screen-container"> <div class="ti_用signalr做一个简单的实时大屏显示
文章浏览阅读3.4k次,点赞3次,收藏10次。【说明】导入的Excel 字体颜色和背景色只能识别【标准色】,别的如"主题颜色",exceljs 解析出来不是颜色值。导入的样式包括字体,字号,列宽,合并单元格,【部分能识别】的背景色,文字颜色。导入到 x-data-spreadsheet 如下图。原Excel样式如下。_x-data-spreadsheet
文章浏览阅读1.7k次。之前参考某文章把 router-view 放在 el-tab-pane 外面都不起作用,问题根本不是出在 el-tab-pane,而是v-for 里面有多个route-view , keep-alive 时 tab 并未销毁掉,而是缓存隐藏了起来。需要把 router-view 的 name 与路由的 index.js 名称对应起来。之前参照很多文章修改试图修正这个问题,结果都徒劳,终于让我找到。我做了如下修改,主页面 main.vue。_el-tab-pane 后面接router-view
文章浏览阅读533次。今天在一台虚拟机上面运行老项目,报各种类型上图的错误提示,一开始还以为是less的问题,结果一个个装完还是报错,后面又说webpack, webpack cli有问题,头有点大了,google 一下,发现一个命令。讨论这个命令的文章,可以了解一下。运行以后终于出现了期待已久的。_npm install 忽略依赖
文章浏览阅读8k次,点赞3次,收藏12次。从这篇文章得到启发先定义一个组件从外部接收Template,然后在组件里调用<template > <div ref="markedContent"></div></template><script>import Vue from 'vue/dist/vue.esm.js'export default { name: 'wf-marked-content', props: ['content'], mounte.._vue components 动态传入模板
文章浏览阅读5.4k次。参考上一篇知识开发的一个功能,制作一个打印模板的管理模块,如下(就是保存froala编辑后的html文本,其中包括Vue的Template,这样我们可以利用Vue的模板的优势来动态绑定一些数据源进行HTML的打印,基本上跟过去水晶报表做一个模板再绑定数据源的方法异曲同工)在 main.js 里引用 froala 组件// Import and use Vue Froala lib.import VueFroala from 'vue-froala-wysiwyg'// 引入 Fr.._vue设计网页打印模板
文章浏览阅读992次。计划是这样,公司的项目一直在持续改动,安装包总是需要频繁生成新的,由此我想到了"持续集成"!有自动化工具不用,岂不可惜?这周的主要时间就用来学习CruiseControl.Net全面实现持续集成_怎么在vue的 script部分使用 eldigloa
文章浏览阅读1.2k次。其实Element UI 只用了文字提示的 el-tooltip 组件,不喜欢可以去掉,不记得是从哪拿到的原始代码,我给加了高亮渐变显示,图标,和拖拽时只能拖拽图标的位置,效果如上图,可以水平方向拖动,也可以垂直方向拖动。样式是less写的,css写嵌套样式太繁琐了。拿来主义,改造有理!下面贴代码<template> <div ref="splitPane" class="split-pane" :class="direction" :"{ fl..._element ui拉条样式
文章浏览阅读953次,点赞2次,收藏2次。接上一篇,这次加入的是从x-speadsheet导出Excel,并且带有x-speadsheet中的样式,重点关注 exportExcel 这个方法,我加入了 tinycolor 这个库用来翻译颜色值,值得注意的是, exceljs的颜色值是 argb 不是 rgba,一定不要弄混了a 是代表的透明度放在最前面_x-data-spreadsheet 导出
文章浏览阅读5.5k次,点赞2次,收藏21次。尝试了两个连线库 jsplumb 和 leadline ,其实两个库都很强大,但是基于个人使用的习惯,决定还是用 leadline ,在Vue 下我使用它的一个包装库 leader-line-vue 下面是上图的连接线示例代码,连接线很轻松的就实现了一个渐变效果..._vue 连线
文章浏览阅读4.2k次,点赞2次,收藏5次。首先官网推荐的安装方法没有生成dist文件,导致样式表等这些文件并没有生成npm install element-plus --save以上方法是有问题的,如果不幸执行了上面的命令,那么先执行卸载npm uninstall element-plus删除 main.js文件对element ui的引用,输入以下命令vue add element-plus..._elementui3.0
文章浏览阅读3.1k次。如上图,下面贴代码<template> <div> <el-date-picker size="large" style ="width:120px" v-model="selectYear" format="yyyy 年" value-format="yyyy" type="year" :clearable = "false" placeholder="选择年">.._vue多选周
文章浏览阅读1.8k次,点赞6次,收藏6次。经过 2021年的一个春节,从年前到现在,大致撸出一个 甘特图,进度条是用SVG画的,使用了几个工具库 (interactjs 用来处理拖拽和修改尺寸,snap.svg 用来处理 svg 的dom 操作,moment.js用来处理时间的操作),其他没有依赖任何的UI组件,目前初见雏形,还比较粗糙,后面会不断更新源码地址点击期间也摸索了怎么把vs code的项目上传到 GitHub 上面进行源代码的管理,基本上是参考的这篇文章做的..._vue gantt demo
文章浏览阅读2.1k次。接上两篇vue 下使用 exceljs + x-spreadsheet 带样式导入Excelvue 下使用 exceljs + x-spreadsheet 带样式导出Excel下面封装好一个组件调用组件的页面效果如图,目前“导出Json”还没有做_x-spreadsheet导入导出