主要介绍了python爬虫 urllib模块url编码处理详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

urllib 是 python 的内置模块， 主要用于处理url相关的一些操作，例如访问url、解析url等操作。 urllib 包下面的 request 模块主要用于访问url，但是用得太多，因为它的光芒全都被 requests 这个第三方库覆盖了，最常用的还是 parse 模块。 写爬虫过程中，经常要对url进行参数的拼接、编码、解码，域名、资源路径提取等操作，这时 parse 模块就可以排上用场。 一、urlparse urlparse 方法是把一个完整的URL拆分成不同的组成部分，你

案例：爬取使用搜狗根据指定词条搜索到的页面数据（例如爬取词条为‘周杰伦’的页面数据） import urllib.request # 1.指定url url = 'https://www.sogou.com/web?query=周杰伦' ''' 2.发起请求:使用urlopen函数对指定的url发起请求， 该函数返回一个响应对象，urlopen代表打开url ''' response = urllib.request.urlopen(url=url) # 3.获取响应对象中的页面数据:read