scrapy1.5中文文档，自己翻译，github账号：https://github.com/v5yangzai/scrapy1.5-chinese-documentScrape 教程( Scrap Tutorial) 在这个教程,我们将假定你的系统上面已经安装好了 Scrap。如果不是这种情况,参考安装指导 我们将继续解剖quotes.scrape.com,一个列出许多名人引用的网站 这个教程将指导你一步一步完成以下任务: 1.创建一个新的 Scrap项目 2.写一个爬虫去爬取网站和提取数据

前言 python2.x版本的字符编码有时让人很头疼，遇到问题，网上方法可以解决错误，但对原理还是一知半解，本文主要介绍 python 中字符串处理的原理，附带解决 json 文件输出时，显示中文而非 unicode 问题。首先简要介绍字符串编码的历史，其次，讲解 python 对于字符串的处理，及编码的检测与转换，最后，介绍 python 爬虫采取的 json 数据存入文件时中文输出的问题。 参考书籍：Python网络爬虫从入门到实践 by唐松 在python 2或者3 ，字符串编码只有两类

python中自带了处理python的模块，使用时候直接import json即可。 使用loads方法即可将json字符串转换成python对象，对应关系如下： JSON     Python object   dict array    list string   unicode number   (int) int, long number   (real) float true     True false    False null     None 但在使用json

今天在帮前端准备数据的时候，需要把数据格式转成json格式，说实话，涉及到中文有时候真的是很蛋疼，除非对Python的编码规则比较了解，不然处理起来真的很蛋疼。 整个逻辑 我们需要处理的是把一些文章处理，生成多个html文件，然后用json来显示文章的列表，图片，摘要和标题。 思路 为了以后的数据扩展，那必须有一个数据库，我的想法就是自己写一个简单的网页做为提交输入，然后post到后台以后录入到数据库中，再写一个展示文章的页面，展示效果正确后，写一个requests动态的把所有的数据都爬下来生成