“大数据”
大数据-分类Spark Java 二次排序
1.输入1 5 2 4 3 5 1 8 2 1 3 2 5 1 6 22.代码实现2.1自定义比较器import scala.math.Ordered; import java.io.Seri...
Spark- 常见问题解决方案
1. Could not find CoarseGrainedScheduler异常详情如下：17/12/23 00:50:09 ERROR TransportRequestHandler: E...
Spark-Spark的对象不可序列化(object not serializable)的一个解决方案
最近在公司开发了一个新项目。这个项目要求人工去编写配置文件，然后根据配置文件配置的函数去处理数据。学到的隐式转换终于排上用场了。假设这些函数就是对比两个Set内容，然后得到这俩Set的相关得分。...
Hadoop-Hadoop Serialization -- hadoop序列化详解 (3)【ObjectWritable，集合Writable以及自定义的Writable】
前面了解到hadoop本身支持java的基本类型的序列化，并且提供相应的包装实现类：20151226184224378.png这并不是包含了所有的java数据类型，比如我们要序列化的对象是Obj...
Spark-Spark RDD Lazy Evaluation的特性及作用
主要为了解决3个疑问rdd的弹性表现在哪 ？什么是spark lazy 特性 ？spark lazy evaluation 的好处都有什么 ？rdd的弹性表现在哪RDD（Resilient Di...