“大数据”

hive-explain执行计划详解

今天突然任务报错.运行到stage-7的时候报错。知道肯定是数据倾斜导致的,就是查不到具体哪里的问题。看yarn job的log也没发现有用的信息。https://cwiki.apache.or...

hive-坑 前两天hdfs升级

HDFS 将升级至 2.9.2-1.0.2 版本升级影响：NameNode主备切换，DataNode滚动升级升级时间：预计持续4天为期一周的hdfs升级已经完成，在升级期间引起了部分卡顿，在此表...

好文章

http://bigdatadecode.club/Hadoop%20RPC%20%E8%A7%A3%E6%9E%90.html

hive数仓文件压缩

Hive 优化之 推测执行

前几天领导说了一个参数调优mapreduce.map.speculativemapreduce.reduce.speculative叫推测执行,一开始不知道什么意思。后来百度一搜 搜噶 原来时会...