使用pyspark的API，从hdfs中读取csv文件，并把统计的在线人数信息按日期分区插入到hive表中

今天小编就为大家分享一篇pyspark 读取csv文件创建DataFrame的两种方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

隆隆 入门：你会发现一个Jupyter笔记本电脑，介绍了轰隆隆的顶部JSONiq语言。 您可以通过安装多合一数据科学平台来使用它，除非您更喜欢手动安装Python + Spark + PySpark + Jupyter（brew，apt ...）。 该文档还包含特定于Rumble的介绍以及如何读取输入数据集，但是我们还没有将其转换为Jupyter笔记本（将在后面介绍）。

方法一：用pandas辅助 from pyspark import SparkContext from pyspark.sql import SQLContext import pandas as pd sc = SparkContext() sqlContext=SQLContext(sc) df=pd.read_csv(r'game-clicks.csv') sdf=sqlc.createDataFrame(df) 方法二：纯spark from pyspark import Spar