使用Beautiful Soup解析HTML、XML

2014-02-25

Beautiful Soup是基于Python的解析HTML/XML的库,可以对书写不规范的网页进行处理。Beautiful Soup可以满足大部分的处理需求。


安装Beautiful Soup


笔者使用的是Linux Mint 16(基于Ubuntu 13.*),安装命令如下:

sudo apt-get install python-bs4

当然,也可以通过easy_install、pip安装该库。

如何使用Beautiful Soup


导入必要的库:

from bs4 import BeautifulSoup
import urllib2  #用来下载网页

创建函数get_data_from_url()用来下载网页内容:

def get_data_from_url(url):
    """ 下载来自url的数据 """
    headers = {'User-agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:27.0) Gecko/20100101 Firefox/27.0',}
    req = urllib2.Request(url, None, headers)
    resp = urllib2.urlopen(req)
    return resp.read()

创建BeautifulSoup对象:

soup = BeautifulSoup(get_data_from_url('http://www.oschina.net/'))

如何获取title标签的内容:

print soup.title
print soup.title.name
print soup.title.string

会输出:

<title>开源中国 - 找到您想要的开源项目,分享和交流</title>
title
开源中国 - 找到您想要的开源项目,分享和交流

如何获取该网页设置的关键字:
可以看到关键字在 标签里,但是http://www.oschina.net/包含了多个meta标签,我们可以遍历这些标签,找到name属性的值为keywords的meta标签,然后提取出关键词(在content属性里)。下面是手动提取的meta标签以供参考:

<meta content="text/html; charset=UTF-8" http-equiv="Content-Type">
<meta content="开源,OSC,开源软件,开源硬件,开源网站,开源社区,java开源,perl开源,python开源,ruby开源,php开源,开源项目,开源代码" name="Keywords">
<meta content="开源中国 www.oschina.net 是目前中国最大的开源技术社区。我们传播开源的理念,推广开源项目,为 IT 开发者提供了一个发现、使用、并交流开源技术的平台。目前开源中国社区已收录超过两万款开源软件。" name="Description">

代码如下:

for meta in soup.find_all("meta"):
    if meta.has_attr("name") and meta["name"].lower().strip() == "keywords":
        print meta["content"]

这段代码的执行结果如下:

开源,OSC,开源软件,开源硬件,开源网站,开源社区,java开源,perl开源,python开源,ruby开源,php开源,开源项目,开源代码


更多资料


Beautiful Soup Documentation:http://www.crummy.com/software/BeautifulSoup/bs4/doc/

( 完 )