前言： 在爬虫过程中，我们可能需要重复的爬取同一个网站，为了避免重复的数据存入我们的数据库中 通过实现增量去重 去解决这一问题 本文还针对了那些需要实时更新的网站 增加了一个定时爬取的功能；
本文作者同开源中国（殊途同归_）；
解决思路：
1.获取目标url
2.解析网页
3.存入数据库（增量去重）
4.异常处理
5.实时更新（定时爬取）
下面为数据库的配置 mysql_congif.py：
import pymysql
def insert_db(db_table, issue, time_s
