Python爬虫的基础用法

Python爬虫的基础用法

python爬虫一般通过第三方库进行完成

• 导入第三方库（如import requests ）
  requests用于处理http协议哀求的第三方库,用python解释器中检察是否有这个库，没有点击+安装
  
• 获取网站url（url一定要解析精确，如在百度网站中的某个图片，不是指www.baidu.com，而是这个图片的详细地址（可以点击检察，亦可以用浏览器自带的查抄功能进行寻找））
  
• 之后通过requests.get打开网站，设置本身实用的encoding
  
• 用a = re.findall('<标签>正则表达式<标签>',文件名)通过HTML界说的标签，找到本身想要的内容，再赋值给一个变量a（并将获取到的数据以指定的数据范例存储到文件中）
  
• 将文件内容使用print输出进行检察
  

示例如下：

1. # url = "http://weather.com.cn/weather1d/101010100.shtml#search"
2. # resp = requests.get(url)         
3.       # 打开浏览器访问该地址
4. # resp.encoding = 'UTF-8'
5. # print(resp)
6.         # 返回访问代码 200表示成功 500 错误
7. # print(resp.text)
8.        # 展示网页 （html代码的形式展示网页）
10. # city = re.findall('<span class="name">([\u4e00-\u9fa5]*)</span>', resp.text)
11. # weather = re.findall('<span class="weather">([\u4e00-\u9fa5]*)</span>', resp.text)
12. # 以上赋值操作中的内容必须在resp.text中存在
13. # lst = []
14. # for a,b in zip(city, weather,):  # 通过zip方式将爬取到的内容填充到list中
15. #         lst.append([a,b])
16. # for i in lst:
17. #     print(i)
18. # 爬取图片与之相似
19. # url = "https://uhf.microsoft.com/images/microsoft/RE1Mu3b.png"
20. # resp = requests.get(url)
21. # # print(resp.content)
22. # with open('logo.png', 'wb') as f:
23. #     f.write(resp.content)

复制代码