一点一滴

“大数据”

大数据-分类

spark-submit --jars参数添加多依赖包技巧

方法一,也是最常用的,当我们的程序需要引入的外部依赖非常少时,我们可以直接填写每一个jar包的绝对路径,并按照官方说明,jar包之间用逗号隔开即可(具体如下):1#!/bin/sh 2MININ...

MarkDown学习

https://www.chengxiaobai.cn/record/markdown-concise-grammar-manual.html

Spark-使用键进行 MapReduce 和 RDD 操作

方法基于键的缩减操作聚合每个 RDD 键的值。这种类型的操作只能在类型为 的 RDD 上执行JavaPairRDD,该类型的 RDD 中的元素是键值元组。请注意,与 Java Map 对象不同,...

Spark-专栏

1.csdn 生命不息丶折腾不止https://blog.csdn.net/leen0304/category_6635527.html

Spark Java sortByKey二次排序及Task not serializable异常

相比于scala,用java写二次排序较繁琐一些,请参考:Spark Java 二次排序:http://blog.csdn.net/leen0304/article/details/782802...