Python爬虫with(BeautifulSoup包)+Mangodb

2017-07-16

自己是在安装的anaconda中默认带了以下相关的python数据包requests,re,BeautifulSoup,time,pymongo(mango数据库python包)

Beautiful Soup

Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。

Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

1.BeautifulSoup对象使用方式

1 2	# 首先需要导入bs4库 from bs4 import BeautifulSoup

可以自己创建一个字符串来进行演示

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

也可以自己根据requests包自己爬取网站页面

1	html = requests.get(url, headers=headers)

创建BeautifulSoup对象

soup = BeautifulSoup(html)
# BeautifulSoup(html, 解析方式) 可以起到同样的效果，不添加的话使用默认的python解析器，不同的解析器，效率上容错上...会有不同的效果
soup = BeautifulSoup(html, "lxml") # 比较常用
soup = BeautifulSoup(open(url))

常用解析方式：

解析器	使用方法	优势	劣势
Python标准库	BeautifulSoup(markup, “html.parser”)	Python的内置标准库执行速度适中文档容错能力强	Python 2.7.3 or 3.2.2)前的版本中文档容错能力差
lxml HTML 解析器	BeautifulSoup(markup, “lxml”)	速度快文档容错能力强	需要安装C语言库
lxml XML 解析器	BeautifulSoup(markup, [“lxml”, “xml”])BeautifulSoup(markup, “xml”)	速度快唯一支持XML的解析器	需要安装C语言库
html5lib	BeautifulSoup(markup, “html5lib”)	最好的容错性以浏览器的方式解析文档生成HTML5格式的文档	速度慢不依赖外部扩展

打印soup对象
1
print soup.prettify()
四大对象种类

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:
- Tag
  
  1.soup.tag (soup.a , soup.p , soup.title , soup.head)
  
  2.soup.name (soup.head.name)
  
  3.soup.attrs (soup.head.attrs)
- NavigableString
  
  1.获取标签内部文字:soup.p.string
  
  2.检查其类型:type(soup.p.string)
- BeautifulSoup
- Comment
遍历文档树，详情可参考最底部参考资源BeautifulSoup使用方法，下方同理
搜索文档树
css选择器

##2.BeutifulSoup的select函数

我们在写 CSS 时，标签名不加任何修饰，类名前加点，id名前加 #，在这里我们也可以利用类似的方法来筛选元素，用到的方法是 soup.select()，返回类型是 list

（1）通过标签名查找

print soup.select('title') 
#[<title>The Dormouse's story</title>]
 
print soup.select('a')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
 
print soup.select('b')
#[<b>The Dormouse's story</b>]

（2）通过类名查找

1
2

print soup.select('.sister')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

（3）通过 id 名查找

1 2	print soup.select('#link1') #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

（4）组合查找

组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是一样的，例如查找 p 标签中，id 等于 link1的内容，二者需要用空格分开

1 2	print soup.select('p #link1') #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

直接子标签查找

1 2	print soup.select("head > title") #[<title>The Dormouse's story</title>]

（5）属性查找

查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。

print soup.select("head > title")
#[<title>The Dormouse's story</title>]
 
print soup.select('a[href="http://example.com/elsie"]')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

同样，属性仍然可以与上述查找方式组合，不在同一节点的空格隔开，同一节点的不加空格

1 2	print soup.select('p a[href="http://example.com/elsie"]') #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

豆瓣资源top250音乐信息的获取最后存入mangodb中(包含基本BeautifulSoup的使用以及mangodb在数据库中的使用)：

# coding=utf-8
import requests
import re
from bs4 import BeautifulSoup
import time
import pymongo
#建立了mangodb连接对象,要确保本地服务器27017端口开启了mangodb,启动命令mongod --config /usr/local/etc/mongod.conf
client = pymongo.MongoClient('localhost', 27017) 
douban = client['douban'] #指向mangodb连接对象中的douban数据库
musictop = douban['musictop'] #指向了douban数据库中musictop表
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
urls = ['https://music.douban.com/top250?start={}'.format(str(i)) for i in range(0,250,25)]
def get_url_music(url):
    wb_data = requests.get(url, headers=headers) # 获取网页对象
    soup = BeautifulSoup(wb_data.text, 'lxml') # lxml解析html页面
    # select表示选择对应的标签,a.nbg就表示a的tag下的nbg的class类,如果带上#号说明选择的找到对应id的标签
    # 如果是 p a的形式,那么就是a处于一级标签p下的二级标签
    music_hrefs = soup.select('a.nbg')
    for music_href in music_hrefs:
        get_music_info(music_href['href'])
        time.sleep(1)
def get_music_info(url):
    wb_data = requests.get(url, headers=headers)
    soup = BeautifulSoup(wb_data.text, 'lxml')
    names = soup.select('h1 > span')
    authors = soup.select('span.pl > a')
    styles = re.findall(u'<span class="pl">流派:</span>&nbsp;(.*?)<br />', wb_data.text, re.S)
    times = re.findall(u'<span class="pl">发行时间:</span>&nbsp;(.*?)<br />', wb_data.text, re.S)
    contents = soup.select('span.short > span')
    if len(names) == 0:
        name = '缺失'
    else:
        name = names[0].get_text()
    if len(authors) == 0:
        author = '佚名'
    else:
        author = authors[0].get_text()
    if len(styles) == 0:
        style = '未知'
    else:
        style = styles[0].split('\n')[0]
    if len(times) == 0:
        time = '未知'
    else:
        time = times[0].split('-')[0]
    if len(contents) == 0:
        content = '无'
    else:
        content = contents[0].get_text()
    info = {
        'name': name,
        'author': author,
        'style': style,
        'time': time,
        'content': content
    }
    musictop.insert_one(info)
for url in urls:
    get_url_music(url)