前言 提到正则表达式，许多人很有点不屑一顾：这东西，不登大雅之堂，再说也不是总要用到，何必专门花时间学习？ 没错，正则表达式并不是“总要用到”，但到了需要的场合用不上，往往产生“一分钱难倒英雄汉”的尴尬。经常需要处理文本的程序员自然会知道正则表达式的价值，其它的程序员如果不会正则表达式，即便开发的领域与文本处理没什么关系，也难免“躺着中枪”的命运——前几天我遇到一个问题，将一行长长的地址拆分成多行，负责这部分的程序员日常的工作只是制作PDF而已，拆分地址是很“边缘”的功能，但不会正则表达式就无法准确折行（一般需要在标点符号出现的地方折行，而不能只在空白字符处折行，但是不同语言中的标点符号各有不同），结果一筹莫展；相反，如果了解正则表达式，就可以很容易地处理各种语言中的标点字符。 以我的开发经验来看，专门花点时间掌握正则表达式，确实是非常有必要的。目前可以见到的关于正则表达式的书籍和资料已经有不少，但又各有不足。 在互联网上，流传着一些编程语言的正则文档和《30分钟教会你正则表达式》之类的帖子。这类资料的好处是简单直接，查到了，如果有现成的例子，而且适用于自己的语言，可以直接拿来用；然而，其坏处也是简单直接，因为缺乏背后原理的讲解，如果找不到现成的例子，或者找不到能在自己所使用语言中行得通的例子（须知道，同样的正则表达式并不能直接套用到不同的语言中），则束手无策。 在正式的出版领域，已经有《精通正则表达式》、《正则表达式必知必会》之类的书籍出版，尤其是前者，堪称关于正则表达式的经典著作，如果想认真学习正则表达式，这类书籍是必须阅读的。但是这类书籍也有一个弱点，即它们都是从英文版本翻译而来，更多地侧重英文文本的处理，身为中文世界的开发人员，我们经常需要处理中文文本，对于处理英文之外的字符，正则表达式已经提供了足够丰富的功能，但如何用对、用好这些功能，资料却很匮乏。 我经常需要给人讲解正则表达式的相关知识，时常惋惜的是，开发人员为这些问题所困然；正因为如此，本书的写作动机便是着力弥补现有资料的缺陷。 相对于正则文档和速成教学帖子，它深入讲解了匹配背后的原理，往往会举一反三，告诉读者，这里为何这样写，如果改成其它形式，会造成什么结构；并且，集中讲解和比较了多种语言中正则表达式用法的异同，方便读者把现成的正则表达式“移植”到自己的工作环境中。 相对于《精通正则表达式》等正式的书籍，本书辟出专门的内容讲解语言和编码，告诉读者如何设定编码，如何正确处理中文等字符，另外，本书还涵盖了.NET、Java、JavaScript、PHP、Python、Ruby六种常用语言，对每种语言给出专门章节，不但详细介绍了语言中正则表达式的用法，更点明了版本之间的细微差异，不但可以作为专门学习的教材，还可以成为有用的参考手册。 本书的结构 本书可以分为三大部分。 第一部分主要讲解正则表达式的基础知识，覆盖常见正则表达式中的各种功能和结构。看完前面三章，就可以基本弄明白现在流行的各种正则表达式；尤其如果你之前有一些经验，会觉得阅读起来并不困难。但是我也希望读者不要忽略其它的内容，断言和匹配模式现在已经是正则表达式的“标准配备”了，而且确实可以派上大用场，所以第4章和第5章的内容，即便不是很熟悉，阅读起来可能有一些麻烦，也不应该忽略。最后的第6章，则厘清了正则表达式在使用中的若干疑惑，了解它们，你就可以相对自由地在正则表达式的世界里行走了。 第二部分主要讲解关于正则表达式的更深入的知识，这一部分用三章的内容，详细探讨了编码问题、匹配原理、解题思路。这部分内容更抽象，需要多花一点时间来阅读和理解，但是它们确实可以帮你在正则表达式的世界里登堂入室，脱离“术”的层面，掌握万变不离其宗的“道”。 第三部分的作用是接地气，将之前介绍的各种知识落实到六种常用语言.NET、Java、JavaScript、PHP、Python、Ruby中来。每一章的开头有正则功能列表，其中的功能都对应到前面部分的讲解，这些功能的具体应用实例，以及不同版本之间的差异，则在章节中详细讲解，每一章的最后还给出了常见任务的示例代码，方便日后查询。在最后，第16章简要介绍了正则表达式在Linux下常用工具vi、grep、awk、sed中的使用，并通过一个实际的例子将这几种工具串起来，对比说明了它们适合解决的问题。 在本书的最后提供了用作参考的附录，分为三部分。 第一部分是正则表达式的常用功能在不同语言中的比对，希望能给需要在多种语言中使用正则表达式或者移植正则表达式的读者来说提供一份有用的参考；第二部分给出了若干常见的正则表达式，比如匹配邮政编码、身份证号、手机号、QQ号、电子邮件地址等等，希望能成为常见问题的“速查手册”；最后一部分列出了常用正则表达式的工具和资源，方便大家调试自己的正则表达式，以及继续深入学习。 本书的读者 本书适合以下几类读者。 经常需要进行文本处理（比如日志分析或网络运维）的技术人员。这些读者或许已经熟悉了正则表达式的基本用法，但面对日益复杂化和海量化的数据，阅读本书可以帮助你更准确、更高效地处理文本，提升自己工作的价值。…
今天我的同事老赵 @jeffz_cn 问我，有没有办法用正则表达式匹配“不包含某个字符串”的文本，正好，我在写作的《正则表达式傻瓜书》中也提到了这类问题，就把这一节放出来，给大家参考，也希望大家多提建议（尤其是配图方面）。 正则表达式的与或非 我们都知道，写正则表达式有点像搭积木，复杂的功能总可以拆分开来，由不同的元素（也就是子表达式）对应，再用合适的关系将它们组合起来，就可以完成。在这一节，我们讲解常见的与或非关系的表达。 与 “与”是最简单的关系，它表示若干个元素必须同时相继出现，比如匹配单词cat，其实就是要求字符c、字符a和字符t必须同时连续出现。 正则表达式表达“与”关系非常简单，直接连续写出相继出现的元素就可以，我们可以想象，在各个元素之间，存在看不见的连接操作符·，比如上面匹配单词cat的正则表达式，就是『cat』，我们可以将它想象为『c·a·t』。 “与”关系也不限于字符之间，任何子表达式都可以用它来连接，如果我们把上面单词中的a替换为字符组『[au]』，表达式就变为『c[au]t』，你可以想象为『c·[au]·t』。 或 “或”是正则表达式灵活性的重要体现，我们可以规定某个位置的文本的“多种可能”，比如要匹配cat或是cut，在正则表达式看来，就是“字符c，然后是a或u，然后是t”。 如果“或”的多种可能都是单个字符（一般要求ASCII字符，中文字符等多字节字符的情况，可以参考本书专门论述的章节，此处仅以ASCII字符为例），就可以用字符组来表达“或”的关系，比如上面的cat或者cut的情况，正则表达式写做『c[au]t』，其原理如下： 更复杂的情况是“或”的多种可能，并非都是单个字符，有些可能是多个字符。比如，我们可以看一个更复杂的例子，不仅要匹配cut，还要匹配c开头、t结尾的单词chart、conduct和court。也就是说，在开头的c，结尾的t之间“可能”出现的是：u或har或onduc或our。 遇到这种情况，就不应使用字符组，而应当使用多选分支『(…|…)』，将各个“可能选项”列在多选分支中。于是，正则表达式变为『c(u|har|onduc|our)t』，其原理如下： 关于多选分支，还有两点要补充： 多选分支也可用于“每个选择都是单个字符”的情况，比如『c[au]t』写成『c(a|u)t』是没错的，但字符组的效率要远高于多选分支，所以，在这种情况下，推荐使用字符组『c[au]t』； 默认的多选分支『(…|…)』使用的括号是会捕获文本的，也就是说，括号内的表达式真正匹配成功的文本会记录下来，匹配完成之后可以提取出来，具体到上面的例子，就是我们有办法在匹配完成后“提取”出u或har或onduc或our。但许多时候，我们需要的只是整个表达式的匹配，而不关心“匹配时到底选择的哪种可能情况”，在这种情况下，我们稍加修改，使用“不捕获文本的括号”，可以提高效率。不捕获文本的写法也很简单，只是在开扩号之后加上字符『?:』，也就是『(?:…|…)』，具体到上面的例子，就应该写成『c(?:u|har|onduc|our)t』。这样做虽然繁琐点，但效率有保障，阅读起来也不困难，我推荐养成这种习惯，只要用到了括号，就想想是否真的要捕获括号内表达式匹配的文本，如果不需要，就是用不捕获文本的括号。 非 “非”看起来简单，其实是最复杂的，以下分几种情况讨论。 首先讨论针对字符的“非”：不容许出现某个或某几个字符。这是最简单的情况，直接用排除型字符组就可以对付，仍然用上面的例子，如果要匹配的单词是c开头、t结尾，中间有一个字符，但不能是u（也就是说，整个单词不能是cut），直接用『c[^u]t』就可以了，若中间的字符不能是a或u（也就是说，整个单词不能是cat或cut），则表达式改为『c[^au]t』。…
这两天，我的同事丁宇（@felixding，极具艺术气质的设计师，推荐）遇到了一个正则表达式的问题，我琢磨了半天写了个表达式，暂时能用；今天庄表伟（@zhuangbiaowei）跟我说，遇到正则表达式的问题，大家一般只能查手册，但具体的问题要怎么思考和解决问题，往往束手无策；恰好我在写作《正则表达式傻瓜书》，也希望多讲讲这方面的内容。尽管目前的写作还没有进展到介绍解题经验的阶段，但可以先在blog上写这方面的内容，希望对大家有所帮助，也希望大家多提意见；如果大家愿意，我可以继续写这类文章。 另：本例解决过程中王晖同学（@cnhacktnt）提供了大量的帮助，他使用正则表达式的熟练程度远在我之上，在此深表感谢。 要想写好、写对正则表达式，第一步就是分析需求，把模糊的应用要求清楚归纳为几条程序性特征；本例中的正则表达式用于验证“密码字符串”，仔细分解应用场景，可以得到四条明确的要求（一般来说，密码字符串对长度都有要求，但本例中，需要验证的密码字符串已经由其它语句保证了是6-12位长的字符串，所以这里不考虑长度）： 1.只能由小写字母、数字和横线（-）组成； 2.开头和结尾不允许是横线； 3.不允许全部是数字； 4.不允许有连续（超过一个）的横线。 下面我们一一解析： 1.只能由小写字母、数字和横线（-）组成 这一条很好办，用字符组『[-a-z0-9]』即可解决，注意我们没有用字符组『\w』，因为一般来说『\w』等价于『[a-z0-9_]』，下划线_也可以匹配；在使用正则表达式时准确限定范围、避免错误匹配，是需要谨记的规矩； 2.开头和结尾不容许是横线 这也很好办，我们知道，在正则表达式中，字符串的开头位置用『^』表示，结束位置用『$』表示（关于『\A』和『\Z』的情况暂不讨论，因为密码字符串中不可能出现换行符），这两个锚点（anchor）只匹配位置，不匹配任何字符；开头不容许出现横线，也就是说，从开头位置向后，不容许出现横线字符，我们可以用否定顺序环视（negative lookahead）功能解决。在本例中，它写作『(?!-)』，其中的『(?!…)』是否定顺序环视的标志符，其中的横线，整个结构表示，在当前位置之后（也就是右边一位），不容许出现横线字符，把它和表示字符串开头的『^』连在一起，得到『^(?!-)』，就表示“从字符串的开始位置，向右边看，不容许马上出现横线”；类似的，我们在表达式的末尾使用否定逆序环视，正则表达式『(?<!-)$』就表示“从字符串的末尾位置，向左边看，不容许马上出现横线”； 3.不容许全部是数字 这个要求得动点脑筋，有人一看到“不容许全部是数字”，就想到否定型字符组『[^0-9]*』，这其实是不对的。我们仔细想想，“不容许全部是数字”就是“必须出现至少一个非数字字符”，而第一条要求字符只能是小写字母、数字和横线，那么这个“非数字字符”只能是小写字母，或者横线。这样一来我们就知道了，在这个正则表达式中，必须出现一个『[-a-z]』匹配的字符； 4.不容许有连续（超过一个）的横线 这种“不容许出现某种连续字符”的情况，是正则表达式中最难处理的地方，因为常见的表示“不容许”的功能，就是排除型字符组『[^…]』，于是，遇到“不容许出现两个连续横线”的情况，许多人就想当然地写下『[^--]』，但这其实大错特错——我们需要谨记，字符组的作用只限于单个字符，所以『[^--]』的意思是“在这个位置，不能匹配横线”。那么要怎么办呢？ 一般来说有两个办法，我们可以规定，在一个横线字符匹配之后，不容许继续出现横线，还是应用上面说过的否定顺序环视，『-(?!-)』，就保证了匹配了一个横线之后，不容许继续出现横线，如果在每一个可能匹配横线的地方都加上这个限定，“不容许有连续（超过一个）横线”的要求也就满足了；或者我们也可以在整个正则表达式的最开头，使用否定顺序环视『^(?![-a-z0-9]*--)』，因为表达式『[-a-z0-9]*--』会“尽力寻找可能的匹配”，对它加以否定，就保证了整个字符串中绝对不容许出现两个连续的横线。 在这个例子中，我们观察第一条要求对应的表达式，发现横线一般是与小写字母和数字同时出现在一个字符组『[-a-z0-9]』中，如果采取上述第一种办法，因为字符组中只能出现对单个字符的规定（而无法使用类似环视之类的结构），『[-(?!-)a-z0-9]』的意思完全不对，所以整个字符组就要改成括号，以多选结构表示为『(-(?!-)|[a-z0-9])』，显得很累赘，所以优选第二种方法。 好了，四条要求已经分别解决完毕，现在我们把它们组合起来。…
上一章，我们通过Word中的“使用通配符”模式，粗略见识了正则表达式的使用方法。然而通配符并不等于正则表达式，遇到复杂的情况，通配符就力不从心了。所以从本章开始，我们来看“正宗”的正则表达式。 安装Regular Expression Tester “工欲善其事，必先利其器”，学习正则表达式也是如此。尽管正则表达式的思想和规则是基本确定的，应用起来却有许多讲究（比如，在Java、C++、Python等不同的编程语言中，同一个表达式的具体写法是不同的，在Word、Excel等软件中也是这样）。所以，学习正则表达式最好采用“中立而规范”的工具——这有点像学习摄影，开始应该学习的是构图、用光，而不是尼康、佳能或索尼相机的特性。 本书中，我们采用Firefox的插件Regular Expression Tester（意思是“正则表达式测试工具”）来学习和讲解正则表达式，选择它的好处在于：不需要搭建编程语言环境（许多时候我们并不需要在编程语言中应用正则表达式）；在Windows/Unix/Mac上都可以使用；并且支持大多数通用的正则表达式功能。如果你没有接触过它，也不用担心，下面我们介绍它的安装和使用。 (more…)
第一章：通配符 我们已经说过，这本《正则表达式傻瓜书》并非把读者当傻瓜，而是保证“傻瓜都能看懂”。如果你到现在还没听说过“通配符”或是“正则表达式”，那么，请看这一章。 要说明的另一点是，因为一般的Linux/Unix用户都熟悉通配符，所以，本章假设读者工作于Windows平台下，所举的例子也全部面向Windows平台。 从Windows的搜索谈起 正则表达式是进行文本处理的工具。那么，它到底进行哪些“处理”？简而言之，正则表达式的主要功能就是对文本进行查找（匹配）和替换（修改）。在这一章里，我们先从最简单的文本查找说起。 正则表达式所“搜索/查找”功能的对象，就是我们说的“文本”——它可以是Word文档、Excel表格、浏览器看到的网页等等，也可以是文件名（工作日报20090925.doc）、电话号码（400-82055555）、电子邮件地址（somebody@someone.net）等等。所以也有这样一种说法：正则表达式处理的是“字符串”——也就是一系列的字符。想想也是，Word文档的内容、Excel表格的内容、网页的内容、文件名、电话号码、电子邮件等等，无非都是“连接起来”的字符，也就是“字符串”了。 几乎每种文本处理工具（Word、Excel、记事本、写字板）都提供了查找（和替换）功能： 图1-1 Word中的查找 (more…)
按：《精通正则表达式》是一本好书，我翻译之后，一直都奢望写本关于正则表达式的书，为《精通正则表达式》接上地气，今年终于有机会把“奢望”变成“苦差”。下面是本书（暂定名《正则表达式傻瓜书》，大家对此有意见或建议也请直说）的前言，其中介绍了本书的结构、读者和价值，请大家多提建议，在这里先行谢过。 前言 正则表达式简介 “正则表达式”，这个名字看起来有点古怪。不过别着急，我们先看看它到底是有什么用，再解释这古怪名字的来历。 简而言之，正则表达式就是一套专门处理文本的强大工具。“学术”地说，它能够做的事情主要是： 复杂的文本查找/匹配/提取 复杂的文本替换 请注意，这里说的是“复杂”的操作，而不是“简单”的查找/匹配/提取/替换（几乎任何一种文本处理工具，例如Word和记事本，都提供了这种功能）。或者，通俗地说，正则表达式能够做的事情是这样的： 如果你是一般用户： 把多行的文本迅速拼成用逗号分隔的一行文本（群发邮件时这非常有用）； 把一长篇文章里的手机号码都找出来（除了匹配13x、15x、18x开头的号码，还可以处理开头有‘0’和/或有‘+86’的情况）； 把一篇文章里可能拼写错的某个单词。比如把separete、saparate、saperete之类“自动纠正”到separate，而且不受大小写限制（seParate, separaTe也可以纠正）； 如果你是专业用户： 验证用户输入的手机号、邮件地址是否合法（还记得填写网页表单时常见的提示吗？）； 提取网页源代码中的所有图片链接、超链接（搜索引擎就是这么干的）； 提取文本中的邮件地址（现在你知道自己的邮件地址怎么被“抓”走了吧？）； 进行复杂的格式检查（把各种小数“统一”成精度为0.01的格式，去掉重复的单词）； 这样的任务可能并不是我们日常工作的主要内容，“不幸”遇上了却非常烦人——简单重复劳动往往要耗费我们大量的时间。所以，在《卓有成效的程序员》（Neal Ford著，机械工业出版社2009年版）中，作者写道：…