统计局网站的数据汇总。 细粒度，到最后一级(一般为5级，网站上少部分地区为4级)。 数据编码格式为utf8，以便显示名称中的生僻字，请使用合适的文本工具打开。 这里有python爬虫代码和所需库。爬取速度快，网速较好时10分钟左右。 github地址:https://github.com/fan-lc/stats_gov

最近在工作中碰到一个需求，要求检测字段是否包含生僻字以及一些非法字符如 ~!#$%^&*。通过网上的查找资料解决了，现在将解决的过程和示例代码分享给大家，有需要的可以参考借鉴。下面来一起看看吧。

解决思路 首先想到的就是利用 python 的正则表达式来匹配非法字符，然后找出非法记录。然而理想总是丰满的，现实却是残酷的。在实现的过程中，才发现自己对于字符编码、以及 python 内部字符串表示的相关知识的缺乏。在这期间，踩过了不少坑，到最后虽然还有些模糊的地方，但总算有一个总体清晰的了解。在此记录下心得，避免以后在同一个地方跌倒。 以下的测试环境是 ArcGIS 10.3 自带的 python 2.7.8 环境，不保证其他 python 环境也适用。 python 正则表达式 pytho