一点一滴
点点滴滴,记录人生Spark Executor内存管理
我们都知道 Spark 能够有效的利用内存并进行分布式计算，其内存管理模块在整个系统中扮演着非常重要的角色。为了更好地利用 Spark，深入地理解其内存管理模型具有非常重要的意义，这有助于我们对...
Spark-多级目录输出,且输出不同值,重写MultipleTextOutputFormat
数据结构www.alibaba.com 222.38.194.133 440887 [09/20/2019 14:33:52 +0800] 河北 秦皇岛 铁通 ...
2022年11款最佳Wiki系统对比（含免费、开源）
可能有些人会认为wiki系统和内部知识库是一回事，但实际上它们是截然不同的软件类型，有时候大多数人找的是知识库软件而不是 wiki 软件。 但无论是哪种，都是为了提高企业的知识管理能力。所以这里...
spark-submit --jars参数添加多依赖包技巧
方法一，也是最常用的，当我们的程序需要引入的外部依赖非常少时，我们可以直接填写每一个jar包的绝对路径，并按照官方说明，jar包之间用逗号隔开即可（具体如下）:1#!/bin/sh 2MININ...
MarkDown学习
https://www.chengxiaobai.cn/record/markdown-concise-grammar-manual.html