Python入门网络爬虫之精华版 Python学习网络爬虫主要分3个大的版块：抓取，分析，存储 另外，比较常用的爬虫框架Scrapy，这里最后也详细介绍一下。 首先列举一下本人总结的相关文章，这些覆盖了入门网络爬虫需要的基本概念和技巧：宁哥的小站-网络爬虫 当我们在浏览器中输入一个url后回车，后台会发生什么？比如说你输入http://www.lining0806.com/，你就会看到宁哥的小站首页。 简单来说这段过程发生了以下四个步骤： 查找域名对应的IP地址。 向IP对应的服务器发送请求

文件抓取：Java数据和文件爬取

sitemapgen4j SitemapGen4j是一个库，用于以Java生成XML站点地图。 什么是XML网站地图？ 引用 ： 站点地图是网站站长通知搜索引擎有关其站点上可进行爬网的页面的一种简便方法。 Sitemap是最简单的形式，它是一个XML文件，其中列出了站点的URL以及有关每个URL的其他元数据（相对于站点中其他URL的最新更新时间，通常更改的频率以及重要性） ），以便搜索引擎可以更智能地抓取该网站。 Web爬网程序通常从站点内的链接和其他站点发现页面。 Sitemaps补充了