爬虫涉及的技术包括但不限于熟练一门编程语言(这里以Python为例)日下ML知识、日一P 协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用、涉及 到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、缓存，甚至 还包括机器学习的应用，大规模的系统背后都是靠很多技术来支撑的。数据分析、挖掘、甚 至是机器学习都离不开数据，而数据很多时候需要通过爬虫来获取，因此，即使把爬虫作为 一门专业来学也是有很大前途的。