urllib库的使用

urllib库是Python内置的HTTP请求库,它包含四个模块:

  1. request:最基本的HTTP请求模块
  2. error:异常处理模块
  3. parse:工具模块
  4. robotparser:识别robots.txt

使用urllib库,我们只需要关心请求的链接和需要传的参数是什么,以及设置请求头。不需要深入到底层去了解它。