“spark”
Spark Java sortByKey二次排序及Task not serializable异常
相比于scala，用java写二次排序较繁琐一些，请参考：Spark Java 二次排序：http://blog.csdn.net/leen0304/article/details/782802...
Spark Java 二次排序
1.输入1 5 2 4 3 5 1 8 2 1 3 2 5 1 6 22.代码实现2.1自定义比较器import scala.math.Ordered; import java.io.Seri...
Spark- 常见问题解决方案
1. Could not find CoarseGrainedScheduler异常详情如下：17/12/23 00:50:09 ERROR TransportRequestHandler: E...
Spark-Spark的对象不可序列化(object not serializable)的一个解决方案
最近在公司开发了一个新项目。这个项目要求人工去编写配置文件，然后根据配置文件配置的函数去处理数据。学到的隐式转换终于排上用场了。假设这些函数就是对比两个Set内容，然后得到这俩Set的相关得分。...
Spark-Spark RDD Lazy Evaluation的特性及作用
主要为了解决3个疑问rdd的弹性表现在哪 ？什么是spark lazy 特性 ？spark lazy evaluation 的好处都有什么 ？rdd的弹性表现在哪RDD（Resilient Di...