[转载]正则表达式说明

[转载]正则表达式说明

大体来讲,正则表达式的文法分为3种标准:BRE、ERE 和 ARE。其中 BER 和 ERE 属于 POSIX 标准,ARE 则是由各家定义的扩展。

POSIX 正则表达式

传统上,POSIX 定义了两种正则表达式语法, 即:基本正则表达式(BRE)和扩展正则表
  达式(ERE)。

  其中, BRE 定义的语法符号包括:

  .       - 匹配任意一个字符。
  []      - 字符集匹配,匹配方括号中定义的字符集之一。
  [^]     - 字符集否定匹配,匹配没有在方括号中定义的字符。
  ^       - 匹配开始位置。
  $       - 匹配结束位置。
  \(\)    - 定义子表达式。
  \n      - 子表达式向前引用,n 为 1-9 之间的数字。 由于此功能已超出正则语义,需
            要在字符串中回溯,因此需要使用 NFA 算法进行匹配。
  *       - 任意次匹配(零次或多次匹配)。
  \{m,n\} - 至少 m 次,至多 n 次匹配;\{m\} 表示 m 次精确匹配;\{m,\} 表示至少 m
            次匹配。

  ERE 修改了 BRE 中的部分语法,并增加了以下语法符号:

  ?       - 最多一次匹配(零次或一次匹配)。
  +       - 至少一次匹配(一次或更多次匹配)。
  |       - 或运算,其左右操作数均可以为一个子表达式。

  同时,ERE 取消了子表达式 "()" 和 次数匹配 "{m,n}" 语法符号的转义符引用语法,在
  使用这两种语法符号时,不在需要添加转义符。 与此同时, ERE 也取消了非正则语义的
  子表达式向前引用能力。

  BRE 和 ERE 共享同样的 POSIX 字符类定义。同时,它们还支持字符类比较操作 "[. .]"
  和字符来等效体 "[= =]" 操作,但很少被使用。
  
  f / fr / wfr / bwfr 等工具默认使用 ERE 模式,同时支持以下 perl 风格的字符类:
  
     POSIX 类        perl类     描述
    ----------------------------------------------------------------------------
    [:alnum:]                   字母和数字
    [:alpha:]       \a         字母
    [:lower:]       \l         小写字母
    [:upper:]       \u         大写字母
    [:blank:]                  空白字符(空格和制表符)
    [:space:]       \s         所有空格符(比[:blank:]包含的范围广)
    [:cntrl:]                  不可打印的控制字符(退格、删除、警铃...)
    [:digit:]       \d         十进制数字
    [:xdigit:]      \x         十六进制数字
    [:graph:]                  可打印的非空白字符
    [:print:]       \p         可打印字符
    [:punct:]                  标点符号

  - 此外,还有以下特殊字符类:

    perl类    等效POSIX表达式   描述
    ----------------------------------------------------------------------------
    \o        [0-7]             八进制数字
    \O        [^0-7]            非八进制数字
    \w        [[:alnum:]_]      单词构成字符
    \W        [^[:alnum:]_]     非单词构成字符
    \A        [^[:alpha:]]      非字母
    \L        [^[:lower:]]      非小写字母
    \U        [^[:upper:]]      非大写字母
    \S     [^[:space:]]      非空格符
    \D        [^[:digit:]]      非数字
    \X        [^[:xdigit:]]     非十六进制数字
    \P        [^[:print:]]      非可打印字符

  - 还可以使用以下特殊字符换码序列:

    \r  -  回车
    \n  -  换行
    \b  -  退格
    \t  -  制表符
    \v  -  垂直制表符
    \"  -  双引号
    \'  -  单引号

高级正则表达式

除了 POSIX BRE 和 ERE 之外,libutilitis 还支持与TCL 8.2兼容的高级正则表达式语
  法(ARE)。 通过为 stRegEx 参数增加前缀 "***:" 就可以开启 ARE 模式,这个前缀覆
  盖 bExtended 选项。基本上讲,ARE 是 ERE 的超集。 它在 ERE 的基础上进行了如下几
  项扩展:

  1. 支持"懒惰匹配"(也叫"非贪婪匹配"或"最短匹配"):在 '?', '*', '+' 或 '{m,n}'
     后追加 '?' 符号就可以启用最短匹配,使得该正则表达式子句在满足条件的前提下匹
     配尽可能少的字符(默认是匹配尽可能多的字符)。例如:将 "a.*b" 作用于 "abab"
     时,将匹配整个串("abab"),若使用 "a.*?b",则将只匹配前两个字符("ab")。

  2. 支持子表达式的向前引用匹配:在 stRegEx 中,可以使用 '\n' 向前引用曾经定义的
     子表达式。如:"(a.*)\1" 可匹配 "abcabc" 等。

  3. 无名子表达式:使用 "(?:表达式)" 的方式创建一个无名表达式, 无名表达式不返回
     到一个 '\n' 匹配。

  4. 向前预判:要命中匹配,必须向前满足指定条件。 向前预判分为肯定预判和否定预判
     两种。肯定预判的语法为:"(?=表达式)",例如:"bai.*(?=yang)" 匹配 "bai yang"
     中的前四个字符("bai "),但在匹配时保证字符串在 "bai.*" 后必须包含 "yang".
     否定判断的语法为:"(?!表达式)", 例如:"bai.*(?!yang)" 匹配 "bai shan" 的前
     四个字符,但在匹配是保证字符串在 "bai.*" 后不出现 "yang"。

  5. 支持模式切换前缀,在 "***:" 之后可以紧跟形如 "(?模式串)" 样式的模式串,模式
     串影响其后表达式的语义和行为。模式串可以是一下字符的组合:

     b - 切换至 POSIX BRE 模式,覆盖 bExtended 选项。
     e - 切换至 POSIX ERE 模式,覆盖 bExtended 选项。
     q - 切换至文本字面匹配模式, 表达式中的字符都作为文本进行搜索,取消一切正则
         语义。此模式将正则匹配退化为一次简单字符串查找。"***=" 前缀是其快捷表示
         方式,意即:"***=" 等同于 "***:(?q)"。

     c - 执行大小写敏感的匹配,覆盖 bNoCase 选项。
     i - 执行忽略大小写的匹配,覆盖 bNoCase 选项。

     n - 开启行敏感的匹配:'^' 和 '$' 匹配行首和行尾;'.' 和否定集('[^...]')不
         匹配换行符。此功能等同于 'pw' 模式串。覆盖 bNewLine 选项。
     m - 等同于 'n'。
     p - '^' 和 '$' 只匹配整个字符串的首尾,不匹配行;'.' 和否定集不匹配换行符。
         覆盖 bNewLine 选项。
     w - '^' 和 '$' 匹配行首和行尾;'.' 和否定集匹配换行符。覆盖 bNewLine 选项。
     s - '^' 和 '$' 只匹配整个字符串的首尾,不匹配行;'.' 和否定集匹配换行符。覆
         盖 bNewLine 选项。ARE 状态下默认使用此模式。

     x - 开启扩展模式:在扩展模式中,将忽略表达式中的空白符和注释符 '#' 后的内容
         例如:
         @code@
            (?x)
            \s+ ([[:graph:]]+)      # first number
            \s+ ([[:graph:]]+)      # second number
         @code@
         等同于 "\s+([[:graph:]]+)\s+([[:graph:]]+)"。
     t - 关闭扩展模式,不忽略空白符和注释符后的内容。ARE 状态下默认使用此模式。

  6. 与 BRE/ERE 模式不同的 Perl 风格字符类换码序列:

    perl类    等效POSIX表达式   描述

    ----------------------------------------------------------------------------
    \a        -                 响铃字符
    \A        -                 不论当前模式如何,仅匹配整个串的最开头
    \b        -                 退格字符 ('\x08')
    \B        -                 转义字符本身 ('\\')
    \cX       -                 控制符-X (= X & 037)
    \d        [[:digit:]]       10 进制数字 ('0' - '9')
    \D        [^[:digit:]]      非数字
    \e          -                 退出符 ('\x1B')
    \f        -                 换页符 ('\x0C')
    \m        [[:<:]]           单词开始位置
    \M        [[:>:]]           单词结束位置
    \n        -                 换行符 ('\x0A')
    \r        -                 回车符 ('\x0D')
    \s        [[:space:]]       空白符
    \S        [^[:space:]]      非空白符
    \t        -                 制表符 ('\x09')
    \uX       -                 16 位 UNICODE 字符 (X∈[0000 .. FFFF])
    \UX       -                 32 位 UNICODE 字符 (X∈[00000000 .. FFFFFFFF])
    \v        -                 纵向制表符 ('\x0B')
    \w        [[:alnum:]_]      组成单词的字符
    \W        [^[:alnum:]_]     非单词字符
    \xX      -                  8 位字符 (X∈[00 .. FF])
    \y        -                 单词边界(\m 或 \M)
    \Y        -                 非单词边界
    \Z        -                 不论当前模式如何,仅匹配整个串的最尾部
    \0        -                 NULL,空字符
    \X        -                 子表达式向前引用 (X∈[1 .. 9])
    \XX       -                 子表达式向前引用或 8 进制表示的 8 字符
    \XXX      -                 子表达式向前引用或 8 进制表示的 8 字符
            

http://baiy.cn/utils/_regex_doc/index.htm

      
最初的正则表达式出现于理论计算机科学的自动控制理论和形式语言理论中。在这些领域中有对计算(自动控制)的模型和对形式语言描述与分类的研究。1940年代,Warren McCulloch与Walter Pitts将神经系统中的神经元描述成小而简单的自动控制元。在1950年代,数学家斯蒂芬·科尔·克莱尼利用称之为正则集合的数学符号来描述此模型。肯·汤普逊将此符号系统引入编辑器QED,然后是Unix上的编辑器ed,并最终引入grep。自此,正則表达式被广泛地使用于各种Unix或者类似Unix的工具,例如Perl。

Perl正则表达式源自于Henry Spencer写的regex,它已经演化成了pcre(Perl兼容正则表达式Perl Compatible Regular Expressions),一个由Philip Hazel开发的,为很多现代工具所使用的库。

各计算机语言之间的正則表达式的整合目前开展的很差。未来的Perl6的子项目Apocalypse的设计中已考虑到了这点。

http://zh.wikipedia.org/wiki/%E6 ... 8%E8%BE%BE%E5%BC%8F