正则表达式

实际上爬虫一共就四个主要步骤:

  1. 明确目的 (要知道你准备在哪个局限或者网站去搜索)
  2. 爬 (将所有的网站的内容所有爬下来)
  3. 取 (去掉对我们没用处的数据)
  4. 处置数据(凭据我们想要的方式存储和使用)
    正则表达式,又称规则表达式,通常被用来检索、替换那些相符某个模式(规则)的文本。


    正则表达式匹配规则




    re 模块一样平常使用步骤

  5. 使用 compile() 函数将正则表达式的字符串形式编译为一个 Pattern 工具
    注重: re对特殊字符举行转义,若是使用原始字符串,只需加一个 r 前缀
  6. 通过 Pattern 工具对文本举行匹配查找,获得匹配效果,一个 Match 工具。
  7. 使用 Match 工具提供的属性和方式获得信息,凭据需要举行其他的操作
import re

text = """
2020-10-10
2020-11-11
2030/12/12
"""

#1. 使用 compile() 函数将正则表达式的字符串形式编译为一个 Pattern 工具
#注重: re对特殊字符举行转义,若是使用原始字符串,只需加一个 r 前缀
#pattern = re.compile(r'\d{4}-\d{1,2}-\d{1,2}')    # 2020-4-11, 无分组的规则
#pattern = re.compile(r'(\d{4})-(\d{1,2})-(\d{1,2})')    # 2020-4-11, 有分组的规则
pattern = re.compile(r'(?P<year>\d{4})-(?P<month>\d{1,2})-(?P<day>\d{1,2})')  # 2020-4-11, 有命名分组的规则
#  2. 通过 Pattern 工具对文本举行匹配查找,获得匹配效果,一个 Match 工具。
# search从给定的字符串中寻找一个相符规则的字符串, 只返回一个
result = re.search(pattern, text)
print(result)
# 3. 使用 Match 工具提供的属性和方式获得信息,凭据需要举行其他的操作
print("匹配到的信息:", result.group())  # 返回的是匹配到的文本信息
print("匹配到的信息:", result.groups())  # 返回的是位置分组, ('2020', '10', '10')
print("匹配到的信息:", result.groupdict())  # 返回的是关键字分组.{'year': '2020', 'month': '10', 'day': '10'}

Pattern 工具

正则表达式编译成 Pattern 工具, 可以行使 pattern 的一系列方式对文本举行匹配查找
了。
Pattern 工具的一些常用方式主要有:
• match 方式:从起始位置最先查找,一次匹配
• search 方式:从任何位置最先查找,一次匹配
• findall 方式:所有匹配,返回列表
• finditer 方式:所有匹配,返回迭代器
• split 方式:支解字符串,返回列表
• sub 方式:替换

match 方式

match 方式用于查找字符串的头部(也可以指定起始位置),它是一次匹配,只要
找到了一个匹配的效果就返回, 而不是查找所有匹配的效果。它的一样平常使用形式如下:

• string 待匹配的字符串
• pos 字符串的起始位置, 默认值是 0
• endpos 字符串的终点位置, 默认值是 len (字符串长度)

Match 工具

• group([group1, ...]) 方式用于获得一个或多个分组匹配的字符串,当要获得整个匹配的子串
时,可直接使用 group() 或 group(0);
• start([group]) 方式用于获取分组匹配的子串在整个字符串中的起始位置(子串第一个字符的
索引),参数默认 值为 0;
• end([group]) 方式用于获取分组匹配的子串在整个字符串中的竣事位置(子串最后一个字符
的索引+1),参数 默认值为 0;
• span([group]) 方式返回 (start(group), end(group))

search 方式

search 方式用于查找字符串的任何位置,它也是一次匹配,只要找到了一个匹配的
效果就返回,而不是查找所有 匹配的效果,它的一样平常使用形式如下:

当匹配乐成时,返回一个 Match 工具,若是没有匹配上,则返回 None。
findall 方式与finditer 方式
findall 方式搜索整个字符串,获得所有匹配的效果。使用形式如

finditer 方式的行为跟 findall 的行为类似,也是搜索整个字符串,获得
所有匹配的效果。但它返回一个顺序接见每 一个匹配效果(Match 工具)
的迭代器。

split 方式

split 方式凭据能够匹配的子串将字符串支解后返回列表,它的使用形式如下:

• maxsplit 指定最大支解次数,不指定将所有支解

sub 方式

sub 方式用于替换。它的使用形式如下:

import  re

#****************************split***************************
#text = '1+2*4+8-9/10'
##字符串方式: '172.25.254.250'.split('.')   => ['172', '25', '254', '250']
#pattern = re.compile(r'\+|-|\*|/')
##将字符串凭据+或者-或者*或者/举行切割.
#result = re.split(pattern, text)
#print(result)

#***********************sub**************************************
def repl_string(matchObj):
    # matchObj方式: group, groups, groupdict
    items = matchObj.groups()
    #print("匹配到的分组内容: ", items)   # ('2019', '10', '10')
    return  "-".join(items)

#2019/10/10 ====> 2019-10-10
text = "2019/10/10 2020/12/12 2019-12-10  2020-11-10"
pattern = re.compile(r'(\d{4})/(\d{1,2})/(\d{1,2})')  # 注重: 正则规则内里不要随意空格
#将所有相符条件的信息替换成'2019-10-10'
#result = re.sub(pattern, '2019-10-10', text)
#将所有相符条件的信息替换成'year-month-day'
result = re.sub(pattern, repl_string, text)
print(result)

• repl 可以是字符串也可以是一个函数:
1). 若是 repl 是字符串,则会使用 repl 去替换字符串每一个匹配的子串,并返回替换
后的字符串,另外,repl 还 可以使用 id 的形式来引用分组,但不能使用编号 0;
2). 若是 repl 是函数,这个方式应当只接受一个参数(Match 工具),并返回一个字
符串用于替换(返回的字符 串中不能再引用分组)。
• count 用于指定最多替换次数,不指准时所有替换。
在某些情况下,我们想匹配文本中的汉字,有一点需要注重的是,中文的 unicode 编码
局限 主要在[u4e00-u9fa5],这里说主要是因为这个局限并不完整,好比没有包罗全角(中文)标点,不外,在大部分情况下,应该是 够用的

贪心模式与非贪心模式:abbbc

  1. 贪心模式:在整个表达式匹配乐成的前提下,尽可能多的匹配 ( );
    使用贪心的数量词的正则表达式 ab
    ,匹配效果: abbb。
    • 决议了尽可能多匹配 b,以是a后面所有的 b 都泛起了。
  2. 非贪心模式:在整个表达式匹配乐成的前提下,尽可能少的匹配 ( ? );
    使用非贪心的数量词的正则表达式 ab? ,匹配效果: a。
    纵然前面有
    ,然则 ? 决议了尽可能少匹配 b,以是没有 b。
  3. Python里数量词默认是贪心的。
常用的正则常量:
    "ASCII": 'A'
    "IGNORECASE": 'I'
    "MULTILINE":'M'
    "DOTALL":'S'

import  re

#********************************   1. re.ASCII *****************************
#text = "正则表达式re模块是python中的内置modelue."
##匹配所有的\w+(字母数字下划线, 默认也匹配中文), 不想匹配中文时,指定flags=re.A
#result = re.findall(r'\w+', string=text, flags=re.A)
#print(result)

#********************************   2. re.IGNORECASE *****************************
#text = 'hello world heLLo westos Hello python'
##匹配所有he\w+o, 忽略大小写, re.I
#result = re.findall(r'he\w+o', text, re.I)
#print(result)           # ['hello', 'heLLo', 'Hello']

##********************************   3. re.S *****************************
#text = 'hello \n world'
#result = re.findall(r'^he.*?ld$', text, re.S)
#print(result)

##************************匹配中文**********************
#pattern = r'[\u4e00-\u9fa5]'
#text = "正则表达式re模块是python中的内置modelue."
#result = re.findall(pattern, text)
#print(result)

XPath库

lxml是python的一个剖析库,支持HTML和XML的剖析,支持XPath剖析方式,而且剖析
效率异常高。
XPath (XML Path Language) 是一门在 xml文档中查找信息的语言,可用来在 xml
/html文档中对元素和属性举行遍历。
谓语(Predicates)
谓语用来查找某个特定的节点或者包罗某个指定的值的节点,被嵌在方括号中。

XPath常用规则汇总

基于requests和Xpath的TIOBE编程语言排行榜定向爬虫.py

import csv

import requests
from colorama import Fore
from fake_useragent import UserAgent
from lxml import etree
from requests import HTTPError

def download_page(url, parmas=None):
    """
    凭据url地址下载html页面
    :param url:
    :param parmas:
    :return: str
    """
    try:
        ua = UserAgent()
        headers = {
            'User-Agent': ua.random,
        }
        #请求https协议的时刻, 回遇到报错: SSLError
        #verify=Flase不验证证书
        response = requests.get(url, params=parmas, headers=headers)
    except  HTTPError as e:
        print(Fore.RED + '[-] 爬取网站%s失败: %s' % (url, str(e)))
        return None
    else:
        # content返回的是bytes类型, text返回字符串类型
        return response.text

def parse_html(html):
    """
    编程语言的去年名次、今年名次、编程语言名称、评级Rating和转变率Change等信息。
    :param html:
    :return:
    """
    #1). 通过lxml剖析器剖析页面信息, 返回Element工具
    html = etree.HTML(html)
    #2). 凭据Xpath路径寻找语法获取编程语言相关信息
    #获取每一个编程语言的Element工具
    #<table id="top20" class="table table-striped table-top20">
    languages = html.xpath('//table[@id="top20"]/tbody/tr')

    # 依次获取每个语言的去年名次、今年名次、编程语言名称、评级Rating和转变率Change等信息。
    for language in languages:
        # 注重: Xpath内里举行索引时,从1最先
        now_rank = language.xpath('./td[1]/text()')[0]
        last_rank = language.xpath('./td[2]/text()')[0]
        name = language.xpath('./td[4]/text()')[0]
        rating = language.xpath('./td[5]/text()')[0]
        change = language.xpath('./td[6]/text()')[0]
        yield {
            'now_rank': now_rank,
            'last_rank': last_rank,
            'name': name,
            'rating': rating,
            'change': change
        }

def save_to_csv(data, filename):
    # 1). data是yield返回的字典工具
    # 2). 以追加的方式打开文件并写入
    # 3). 文件的编码花样是utf-8
    # 4). 默认csv文件写入会有空行, newline=''
    with open(filename, 'a', encoding='utf-8', newline='') as f:
        csv_writer = csv.DictWriter(f, ['now_rank', 'last_rank', 'name', 'rating', 'change'])
        # 写入csv文件的表头
        # csv_writer.writeheader()
        csv_writer.writerow(data)

def get_one_page(page=1):
    url = 'https://www.tiobe.com/tiobe-index/'
    filename = 'tiobe.csv'
    html = download_page(url)
    items = parse_html(html)
    for item in items:
        save_to_csv(item, filename)
    print(Fore.GREEN + '[+] 写入文件%s乐成' %(filename))

if __name__ == '__main__':
    get_one_page()