正则表达式 – 是否有可能在Attoparsec中有效地展望多个Char？

我正在尝试使用函数来扩充 Haskell的Attoparsec解析器库

takeRegex :: Regex -> Parser ByteString

使用其中一个正则表达式实现.

(动机：好的正则表达式库可以提供与输入长度成线性关系的性能,而attoparsec需要回溯.我的输入的一部分特别适合使用正则表达式进行解析,甚至回溯Text.Regex.PCRE库让我该作品的attoparsec代码加速4倍.)

Attoparsec曾经有一个getInput :: Parser ByteString函数来获取(消耗掉)剩余的输入;这可能对我的目的来说非常完美,因为我的输入是非增量的,严格且相当小的 – 我一次运行解析器获取一行日志文件.有了它,似乎我可以做类似的事情

takeRegex re = do
  input <- getInput
  m <- matchM re input
  take $length m

不幸的是,最近版本的attoparsec缺乏此功能.有没有办法实现同样的目标？为什么删除该功能？

现在有takeByteString :: Parser ByteString函数,它接受并消耗其余的输入.如果有一个函数来尝试解析并获得结果而不实际消耗任何东西,那么这可以与它一起使用,但我似乎无法找到(或弄清楚如何实现)这样的函数.

有没有办法用当前版本的attoparsec实现这一目标？

有一些解决方案,但没有一个是伟大的….

方法1-快速实现,但运行速度不快

那么,(根据http://hackage.haskell.org/package/attoparsec-0.10.1.1/docs/Data-Attoparsec-ByteString.html),attoparsec总是在失败时回溯,所以你总是可以这样做 –

parseLine1 = do
  line <- takeTill (== '\n')
  char '\n'
  case <some sort of test on line,ie- a regex> of
    Just -> return <some sort of data type>
    Nothing -> fail "Parse Error"

然后,许多链接在一起的人将按预期工作

parseLine = parseLine1 <|> parseLine2

正如你所看到的,这个解决方案存在的问题是,你仍在进行一系列的回溯,这可能会让事情变得更慢.

方法2-传统方法

处理这类事情的常用方法是重写语法,或者在解析器组合器的情况下,移动东西,使完整算法只需要一个前瞻字符.这几乎总是可以在实践中完成,虽然它有时会使逻辑更难以遵循….

例如,假设你有一个像这样的语法生成规则 –

pet = "dog" | "dolphin"

在解析任一路径之前,这需要两个前瞻字符.相反,你可以将整个事情留下这样的因素

pet => "ca" halfpet
halfpet => "g" | "lphin"

不需要并行处理,但语法更加丑陋. (虽然我把它写成了一个生产规则,但是有一对一映射到类似的解析器组合器).

方法3-正确的方法,但参与写.

你想要这样做的真正方法是直接将正则表达式编译成解析器组合….一旦编译任何常规语言,生成的算法总是只需要一个前瞻字符,因此生成的attoparsec代码应该非常简单(就像单个字符读取的方法1中的例程一样),但是工作将在编译正则表达式.

编译正则表达式在很多教科书中都有介绍,所以我不会在这里详细介绍,但它基本上等于用新状态替换正则表达式状态机中的所有模糊路径.或者换句话说,它会自动“留下因素”所有需要回溯的情况.

(我编写了一个库,在上下文无关语法中自动“留下因素”很多情况,几乎将任何上下文无关语法转换为线性解析器一次,但我还没有使它可用….有一天,当我清理它我会).

正则表达式 – 是否有可能在Attoparsec中有效地展望多个Char？

相关推荐