python爬虫入门第一节【requests库的初步了解】


发布时间:2019-03-11 13:59    作者: Uncle Hui   已过去:1 年,8 月   阅读总量:924 已被赞:2


什么是爬虫:

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。其实通俗的讲就是通过程序去获取web页面上自己想要的数据,也就是自动抓取数据
爬虫可以做什么?
你可以用爬虫爬图片,爬取视频等等你想要爬取的数据,只要你能通过浏览器访问的数据都可以通过爬虫获取。
爬虫的本质是什么?
模拟浏览器打开网页,获取网页中我们想要的那部分数据
浏览器打开网页的过程:
当你在浏览器中输入地址后,经过DNS服务器找到服务器主机,向服务器发送一个请求,服务器经过解析后发送给用户浏览器结果,包括html,js,css等文件内容,浏览器解析出来最后呈现给用户在浏览器上看到的结果
所以用户看到的浏览器的结果就是由HTML代码构成的,我们爬虫就是为了获取这些内容,通过分析和过滤html代码,从中获取我们想要资源。

怎么开始爬虫:

1.新建环境变量

2.环境里安装requests库

pip install requests

3.打开pycharm  新建一个python文件

4.文件里这样:

import requests  #导入requests 库
r = requests.get('https://www.163.com') #像目标url地址发送get请求,返回一个response对象,
print(r.text) #r.text是http response的网页HTML

 我们看看控制台,打印出很多的HTML代码,这就表示我们成功获取了网页代码

requests库的基本理解:

get请求还可以传递参数:

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)

上面代码向服务器发送的请求中包含了两个参数key1和key2,以及两个参数的值。实际上它构造成了如下网址:
http://httpbin.org/get?key1=value1&key2=value2

POST请求

无参数的post请求:
r = requests.post("http://httpbin.org/post")

 

有参数的post请求:
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.post("http://httpbin.org/post", data=payload)

post请求多用来提交表单数据,即填写一堆输入框,然后提交。

 其他请求

其他一些请求例如put请求、delete请求、head请求、option请求等其实都是类似的。但是平时用的不多,就不仔细介绍了。有用到的可以去看官网文档哦。阅读官方文档是必备技能!

r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/get")
r = requests.options("http://httpbin.org/get")

使用BeautifulSoup模块来从HTML文本中提取我们想要的数据  

安装

pip install beautifulsoup4

 安装lxml,这是一个解析器,BeautifulSoup可以使用它来解析HTML,然后提取内容

pip install lxml

 python3.5安装lxml库,保错,需要参考这篇文章

https://blog.csdn.net/qq_33279781/article/details/52026806

 

点赞

2




登陆后方可评论