##1、网址集锦
这里列举的都spark2.2.1版本下的相关资料,其他版本只要在链接里改一下版本号即可。

spark使用快速预览,地址

官网spark总的介绍资料,地址

spark集群模式介绍,地址

如何向spark集群提交应用程序,地址

如何在yarn模式下向spark集群提交应用程序,地址

官方spark编程指导文件,地址

python语言进行spark编程的pyspark库的相关接口地址

pyspark库相关类的源文件,地址

官网python语言的spark应用程序入门例子,地址

官网python语言的spark应用程序例子,地址

spark下机器学习效果评估举例,地址

SparkContext详细介绍,地址

Spark SQL, DataFrames and Datasets详细介绍,地址

Spark SQL与Hive的交互,详细介绍,地址

mllib下Statistics 类的用法介绍,地址

spark下实时数据处理接口pyspark.streaming用法介绍,地址

spark下实时数据处理接口pyspark.streaming相关类的的介绍,地址

Spark Streaming + Kafka处理实时数据,地址

实时处理kafka数据的例子wordcount,地址

Apache Kafka 使用介绍,地址

Apache Kafka 使用例子,地址

kafka 学习 非常详细的中文教程,地址

python语言中生产消息,地址

Spark编写自定义聚合函数,地址

cloudera实现的spark平台的时间序列模型,地址

spark-streaming-kafka-assembly_2.11-2.2.1.jar的下载地址

关于pyspark 使用过程中需要python版本不同的需求,详见,上面的方法还没验证。
也可以用其他办法解决,比如,通过ln -s /usr/local/python2.7/bin/python2.7 /usr/bin/python这样的命令来将系统的python指向特定的版本,这是其中的一种解决办法。

Logo

永洪科技,致力于打造全球领先的数据技术厂商,具备从数据应用方案咨询、BI、AIGC智能分析、数字孪生、数据资产、数据治理、数据实施的端到端大数据价值服务能力。

更多推荐