在自己的机器上配置spark的本地开发模式，可以用来测试spark代码是否正确，如果没问题，可以提交到spark集群上去运行，免去每次都要打包放到集群上去测试的麻烦。因为在网络上没找到合适的资源可以快速构建，所以就自己鼓捣了下，分享出来让有同样需求的同学参考下。 1.下载和安装jdk和scala，这个不用多说了，我安装的jdk版本是jdk 1.7，scala版本2.10.4 2.下载hadoop的安装包，我下载的是hadoop-2.6版本的，配置HADOOP_HOME 和配置JAVA_HOME

hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop和Spark需要的winutils.exe),Windows下IDEA开发Hadoop和Spark程序会报错，原因是因为如果本机操作系统是windows，在程序中使用了hadoop相关的东西，比如写入文件到HDFS，则会遇到异常， 把此文件解压放置在任意目录下，然后在环境变量中配置 系统变量，命名为HADOOP_HOME 即可。

Redis是一个十分热门的内存数据库，号称后端的“瑞士军刀”，它拥有诸多优良特性，已经被越来越多的公司采用，值得每一位Web开发者学习。通过本书讲述的Redis在设计、开发和运维等方面的80多个实战案例，读者不仅可以由浅入深地学习到有关Redis的几乎所有知识，还可以将案例中所讲解的内容直接用于包括设计、开发和运维等在内的各类生产实践。本书中的每一个案例、每一个案例中所涉及的各种知识、命令和工具等，均来自于作者一线企业级应用的总结；本书中总结的各类参数配置和故障诊断的案例等，也均来自于作者真实企

Windows下配置IDEA的Spark的开发环境 下载Spark-hadoop的文件包，spark-2.4.5-bin-hadoop2.7，官网进行下载http://spark.apache.org/downloads.html IDEA下载Scala语言的开发插件，进行安装重启； 下载scala的包并进行安装，https://www.scala-lang.org/download/all.html，这个网页可以下载所有scala版本 idea创建普通的scala项目（个人使用的是JAVA的m