一点一滴
点点滴滴,记录人生Spark-Spark的对象不可序列化(object not serializable)的一个解决方案
最近在公司开发了一个新项目。这个项目要求人工去编写配置文件，然后根据配置文件配置的函数去处理数据。学到的隐式转换终于排上用场了。假设这些函数就是对比两个Set内容，然后得到这俩Set的相关得分。...
Hadoop-Hadoop Serialization -- hadoop序列化详解 (3)【ObjectWritable，集合Writable以及自定义的Writable】
前面了解到hadoop本身支持java的基本类型的序列化，并且提供相应的包装实现类：20151226184224378.png这并不是包含了所有的java数据类型，比如我们要序列化的对象是Obj...
Spark-Spark RDD Lazy Evaluation的特性及作用
主要为了解决3个疑问rdd的弹性表现在哪 ？什么是spark lazy 特性 ？spark lazy evaluation 的好处都有什么 ？rdd的弹性表现在哪RDD（Resilient Di...
Spark-序列化-问题全解
在Spark应用开发中，很容易出现如下报错：org.apache.spark.SparkException: Task not serializable at org.apache.spar...
hadoop文件序列化
1、为什么要序列化？ 一般来说，"活的"对象只存在内存里，关机断电就没有了。而且"活的"对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。 然...