开发工具:
文件大小: 52kb
下载次数: 0
上传时间: 2021-03-06
详细说明：AWS Glue模拟库
重要提示：该库正在开发中，尚未稳定
引言
目标是能够在本地运行Glue代码，跳过所有特定于Cloud的功能，使用本地模拟文件并仅测试pyspark转换。 在最好的情况下，您具有相同的代码，可以使用此库在本地运行该代码，在最坏的情况下，您必须稍稍调整代码，但仍与云保持向后兼容。
该库基于官方的AWS Glue存储库并适用于Python 3
安装，准备和运行
安装python3
安装火花
对于Spark 2.4，您将需要Java 8
对于Spark 3-Java 11
安装virtualenv： pip3 install virtualenv
使用python 3.7创建一个env（pyspark尚不支持> = 3.8） virtualenv -p /usr/local/opt/python3.7/bin/python3.7 env
source ./en
(系统自动生成,下载前可以参看下载内容)
下载文件列表
相关说明
- 本站资源为会员上传分享交流与学习,如有侵犯您的权益,请联系我们删除.
- 本站是交换下载平台，提供交流渠道，下载内容来自于网络，除下载问题外，其它问题请自行百度。
- 本站已设置防盗链，请勿用迅雷、QQ旋风等多线程下载软件下载资源，下载后用WinRAR最新版进行解压.
- 如果您发现内容无法下载，请稍后再次尝试；或者到消费记录里找到下载记录反馈给我们.
- 下载后发现下载的内容跟说明不相乎，请到消费记录里找到下载记录反馈给我们，经确认后退回积分.
- 如下载前有疑问，可以通过点击"提供者"的名字，查看对方的联系方式，联系对方咨询.
