为什么说python适合写爬虫
抓取网页本身的接口
相比与其他静态编程语言，如java，c#，C++，python抓取网页文档的接口更简洁；相比其他动态脚本语言，如perl，shell，python的urllib2包提供了较为完整的访问网页文档的API。（当然ruby也是很好的选择）
此外，抓取网页有时候需要模拟浏览器的行为，很多网站对于生硬的爬虫抓取都是封杀的。这是我们需要模拟useragent的行为构造合适的请求，譬如模拟用户登陆、模拟session/cookie的存储和设置。在python里都有非常优秀的第三方包帮你搞定，如Requests，mechanize
网页抓取后的处理
抓取的网页通常需要处理，比如过滤html标签，提取文本等。python的beautifulsoap提供了简洁的文档处理功能，能用极短的代码完成大部分文档的处理。
其实以上功能很多语言和工具都能做，但是用python能够干得最快，最干净。Lifeisshort，uneedpython.
冲最后一句‘Lifeisshort，uneedpython'，立马在当当上买了本python的书！以前就膜拜过python大牛，一直想学都扯于各种借口迟迟没有开始。。
py用在linux上很强大，语言挺简单的。
- NO.1快速开发（唯一能和python比开发效率的语言只有rudy）语言简洁，没那么多技巧，所以读起来很清楚容易。
- NO.2跨平台（由于python的开源，他比java更能体现"一次编写到处运行"
- NO.3解释性（无须编译，直接运行／调试代码）
- NO.4构架选择太多（GUI构架方面主要的就有wxPython,tkInter,PyGtk,PyQt。
知识点扩展：
用python写爬虫相关的实例：
#coding:utf-8
importurllib
domain='http://www.liaoxuefeng.com'#廖雪峰的域名
path=r'C:\Users\cyhhao2013\Desktop\temp\\'#html要保存的路径
#一个html的头文件
input=open(r'C:\Users\cyhhao2013\Desktop\0.html','r')
head=input.read()
#打开python教程主界面
f=urllib.urlopen("http://www.需要爬取的网址.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000")
home=f.read()
f.close()
#替换所有空格回车（这样容易好获取url）
geturl=home.replace("\n","")
geturl=geturl.replace("","")
#得到包含url的字符串
list=geturl.split(r'em;">')
#开始遍历urlList
forliinlist:
url=li.split(r'">')[0]
url=domain+url#拼凑url
printurl
f=urllib.urlopen(url)
html=f.read()
#获得title为了写文件名
title=html.split("")[1]
title=title.split("-廖雪峰的官方网站 ")[0]
#要转一下码，不然加到路径里就悲剧了
title=title.decode('utf-8').replace("/","")
#截取正文
html=html.split(r'')[1]
html=html.split(r'您的支持是作者写作最大的动力！
')[0]
html=html.replace(r'src="','src="'+domain)
#加上头和尾组成完整的html
html=head+html+"