5分钟带你了解什么是python爬虫。。。
一.什么是爬虫
爬虫就像是一直蜘蛛一样 ，而互联网是就像是一张大大的蜘蛛网一样。简单的说爬虫就是请求网站并提取数据的自动化程序。
你也可以把爬虫当作模拟我们正常上网。打开网页并分析网页的内容获取我们想要的东西。
我们通常打开一个网页，基本上都是打开一个Url链接即可。在这个过程当中，实际上发生了很多事情。
打开一个Url链接，浏览器自动向Url链接的服务器发送一个请求(Request)，告诉服务器说我需要访问这个Url链接的内容，请返回数据给我。服务器就处理该请求，响应该请求并返回结果给浏览器。
既然爬虫需要模拟该过程。根据http协议，爬虫需要构造一个请求(Request)，发到请求到目标服务器(通常是Url链接)。然后等待服务器的响应(Response)。
所有相关的数据都在这个响应结果当中，这个就是爬虫实现的基本逻辑。
请求：我们打开浏览器输入关键词敲击回车，这就叫做是请求。我们做的爬虫就是模拟浏览器进行对服务器发送请求，然后获取这些网络资源。
提取：我们得到这些网络资源都是一些HTML代码，或者是一些文本文字。我们下一步做的工作就是在这些数据中提取出我们想要的东西。比如一个手机号。存在数据库或者文档里面。
自动化：程序就能代替人工不停的大量的进行提取数据。
二：爬虫的基本流程
1.发起请求：通过http库向目标站发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应。
2.获取响应的内容：如果服务器能正常的响应，会得到一个Request的内容便是所要获取的页面内容、类型可能有HTML,Json字符转，二进制数据等类型
3.解析内容：得到的内容可能是HTML可以用正则表达式，网页解析库进行解析。可能是json，可以直接转为json对象解析，可能是二进制数据，可以做保存或者进一步处理。
4.保存数据:保存格式多样化，可以存为文本，也可以保存至数据库，或者保存特定格式的文件。
三：什么是Request和Response
1.浏览器就发送消息给该网址所在的服务器，这个过程叫做HTTP Request。
2.服务器收到浏览器发送的消息后，能够根据浏览器发送消息的内容，做相应处理，然后把消息回传给浏览器。这个过程叫做HTTP Response。
3.浏览器收到服务器的Response信息后，会对信息进行相应处理，然后展示。
四：Request包含什么
1.请求方式：主要有Get，Post两种类型，另外还有Head，put，delete，options等
最主要的就是get和pose两种请求方式。pose请求的方式大多是用在登陆的请求上，他将许多的请求参数封装在一起，进行保密。get则是需要很多的参数才可以，用于搜索。
2.请求URL
URL全称统一资源定位符，如一个网页文档、一张图片，一个视频等都可以用URL唯来确定。
3.请求头：包含请求时的头部信息，如User-Agent，Host，Cookie等信息。
五：Response包含什么
1.响应状态：200代表成功，300以上的状态时用来做页面跳转的，400以上是用来说明服务器找不到资源的，500以上时表示服务器处理错误。
2.响应头：如内容的类型，内容的长度，服务器信息，，设置Cookie信息等等
3.响应体：最主要的部分，包含了请求资源的内容，如网页的HTML,图片二进制数据等