北风网spark课程源码spark-study-scala.rar，

study-spark:spark原始码学习，基于spark原始码中涉及的技术总结，rpc，设计模式，线程池等

KF DWH进口 Spark Jobs将VCF导入，其他将数据库引用到数据仓库中。 如何 ： 建立组装罐 sbt assembly 运行测试范围 sbt clean coverage test sbt coverageReport 将Jar上传到s3 请注意，当前版本可以在kf-dwh-import-vcf/version.sbt aws s3 cp target/scala-2.12/kf-dwh-import-vcf- $VERSION .jar s3://kf-strides-vari

火花备忘单 Dataframe API cache()与persist() - cache()始终以默认存储级别MEMORY_AND_DISK缓存，而persist()允许指定存储级别 Dataframe的API repartition() VS coalesce() - repartition()确实在存储器中的新鲜重新分区，它可以增加或减少分区数由主叫参数所指示的。 另一方面， coalesce()避免了改组，并将分区数减少到调用参数所指示的数 cache()或（ persist() ）不会