python爬虫学习笔记(三)——re库

python爬虫学习——re库

实战——股票数据定向爬取

#正则表达式的概念
正则表达式是用来简介表示一组字符串的表达式,是通用的字符串简洁表达框架
正则表达式在文本处理中十分常用
  • 表达文本类型的特征(病毒,入侵等)
  • 同时查找或替换一组字符串
  • 匹配字符串的全部或部分
正则表达式的语法:
正则表达式语法由字符和操作符组成
正则表达式的常用操作符
. 表示任何单个字符
[] 字符集,对单个字符给出取值范围 [a,b,c]表示a,b,c,[a,z]表示a到z单个字符
[^] 字符集,对单个字符给去排除范围 [^abc]表示非4或b或c的单个字符
* 前一个字符0次或无限次扩展 abc*表示ab,abc,abcc等等
+ 前一个字符1次或无限次扩展 abc+表示abc,abcc等等
前一个字符0次或1次扩展 abc?表示ab,abc
| 左右表达式任意一个 abc|def 表示abc或def
{m} 扩展前一个字符m次 ab{2}c表示abbc
{m,n} 扩展前一个字符m至n次(含n) ab{1,2}c 表示abc,abbc
^ 匹配字符串的开头 ^abc表示abc且在一个字符串的开头
$
匹配字符串结尾 abc$表示abc且在一个字符串的结尾
()
分组标记,内部只能使用 | 操作符 (abc)表示abc,(abc|def)表示abc,def
\d  数字,等价于[0-9]
\w  单词字符,等价于[A-Z a-z 0-9]

正则表达式实例                                                           对应字符串

P(Y|YT|YTH|YTHO)?N                            PN,PYN,PYTN,PYTHN,PYTHON
PYTHON+                                                   PYTHON,PYTHONN,……
PY[TH]ON                                                   PYTON,PYHON
PY[^TH]?ON                                              PYON,PYaON,PYbON……
PY{:3}N                                                       PN,PYN,PYYN,PYYYN

经典正则表达式实例
^[A-Za-z]+$                                由26个字母组成的字符串
^[A-Za-z0-9]+$                         由26个字母和数字组成的字符串
^-?\d+$                                       整数形式的字符串
^[0-9]*[1-9][0-9]*$                  正整数形式的字符串
[1-9]\d{5}                                    中国境内邮政编码 6位
[\u4e00-\u9fa5]                         匹配中文字符
\d{3}-\d{8}|\d{4}-\d{7}          国内电话号码
(([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]).){3}([1-9]?\d|1\d{2}|2[0-4]\d|25[0-5]) ip地址

#re库的基本使用
re库采用raw string类型表示正则表达式:r'text'
而string类型繁琐且要转义
re库的主要函数
1.re.search() 在一个字符串中搜索匹配正则表达式的第一个位置,返回match对象
语法:
re.search(pattern,string,flags=0)
  • pattern:正则表达式的字符串或原生字符串表示
  • string:待匹配的字符串
  • flags:正则表达式使用时的控制标记
常用标记 说明
re.I 忽略正则表达式的大小写,[A-Z]能够匹配小写字符
re.M 正则表达式中的^操作符能够将给定字符串的每行当作匹配开始
re.S
正则表达式中的.操作符能够匹配所有字符,默认匹配换行除外的所有字符
2.re.match(pattern,string,flags=0)                         在一个字符串开始位置起匹配正则表达式,返回match对象
3.re.findall(pattern,string,flags=0)                        搜索字符串,以列表类型返回全部能匹配的子串
4.re.split(pattern,string,maxsplit=0,flags=0)     将一个字符串按照正则表达式匹配结果进行分割,返回列表类型
5.re.finditer()                                                              搜索字符串,返回一个匹配结果的迭代类型,每个迭代元素是match对象
6.re.sub(pattern,repl,string,count=0,flags=0)    在一个字符串中替换所有匹配正则表达式的子串,返回替换后的字符串
  • repl:替换匹配字符串的字符串
  • count:匹配的最大替换数
re库的另外一种等价用法:函数式用法和面向对象法

import re
rst=re.search(r'[1-9]\d{5}','BIT 100081') #函数式用法:一次性操作
pat=re.compile(r'[1-9]\d{5}') #面向对象用法:编译后的多次操作
rst=pat.search('BIT 100081')

#re库的match对象
match对象就是一次匹配的结果,包含了匹配的相关信息
re库的贪婪匹配和最小匹配
同时匹配长短不同的多项,返回哪一个?
Re库默认采用贪婪匹配,即输出匹配的最长的字串
最小匹配:如何输出最短的字串
最小匹配操作符
操作符 说明
*? 前一个字符0次或无限次扩展,最小匹配
+?
前一个字符1次或无限次扩展,最小匹配
?? 前一个字符0次或1次扩展,最小匹配
{m,n}? 扩展前一个字符m至n次(含n),最小匹配

点赞

发表评论

昵称和uid可以选填一个,填邮箱必填(留言回复后将会发邮件给你)
tips:输入uid可以快速获得你的昵称和头像