大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为网络请求库的使用。

1、什么是爬虫
爬虫(spider，又网络爬虫)，是指向网站/网络发起请求，获取资源后分析并提取有用数据的程序。从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用。

2、入门爬虫的干货
2.1： 爬虫的基本思路

思路是方向，代码是时间，知识需积累，经验需摸索。希望对大家有用，有错误还望指出。

Requests 库的全面使用指南

引言

Requests

响应以及断言

在“发送HTTP请求”一讲中，我们讲解了APIPOST中响应数据的查看。

API 请求响应

请求一个需要登录才能访问的接口（基于COOKIE）

在后台在开发、调试接口时，常常会遇到需要登陆才能请求的接口。

使用场景

B 接口请求参数依赖于 A 接口返回的数据，希望 B 接口发送请求的时候能获取 A 接口返回的数据作为请求参数。

实现思路

一、Requests简介

urllib库参考：

1 简介

HTTP Cookies是服务器发送到用户浏览器并保存在本地的一小块数据，它会在浏览器下次向同一服务器再发起请求里被携带并发送到服务器上。

Cookie 主要用于以下三个方面：

• 会话状态管理（如用户登录状态、购物车、游戏分数或其它需要记录的信息）
• 个性化设置（如用户自定义设置、主题等）
• 浏览器行为跟踪（如跟踪分析用户行为等）

爬虫在采集网站的过程中，部分数据价值较高的网站，会限制访客的访问行为。这种时候建议通过登录的方式，获取目标网站的cookie，然后再使用cookie配合代理IP进行数据采集分析。

私信小编01即可获取大量Python学习资料