一点一滴
点点滴滴,记录人生Spark-Spark RDD Lazy Evaluation的特性及作用
主要为了解决3个疑问rdd的弹性表现在哪 ？什么是spark lazy 特性 ？spark lazy evaluation 的好处都有什么 ？rdd的弹性表现在哪RDD（Resilient Di...
Spark-序列化-问题全解
在Spark应用开发中，很容易出现如下报错：org.apache.spark.SparkException: Task not serializable at org.apache.spar...
hadoop文件序列化
1、为什么要序列化？ 一般来说，"活的"对象只存在内存里，关机断电就没有了。而且"活的"对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。 然...
序列化文本
序列化文本TextSerializer 提供了一个便利的方式来进行序列化和反序列化 Text 实例。它有三种适用格式︰格式化与原生字符串XML 格式JSON 格式配置文件格式TextSeria...
Spark-序列化-spark程序序列化问题
1.transformation操作为什么需要序列化spark是分布式执行引擎，其核心抽象是弹性分布式数据集RDD，其代表了分布在不同节点的数据。Spark的计算是在executor上分布式执行...