一点一滴
点点滴滴,记录人生hive中控制map和reduce数量的简单实现方法
先说结论： 由于mapreduce中没有办法直接控制map数量，所以只能曲线救国，通过设置每个map中处理的数据量进行设置；reduce是可以直接设置的。控制map和reduce的参数set ...
Hive ORC和Parquet
Parquet与ORC对比Parquethttp://parquet.apache.orgOrchttp://orc.apache.org发展状态目前都是Apache开源的顶级项目，列式存储引擎...
hive 配置参数说明
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） truehive.exec.mode.local.auto...
看《平凡的世界》有感
与其说看《平凡的世界》有感，不如说对《平凡的世界》的作者路遥背景资料了解后的有感而发。读路遥写给弟弟的信中，体会到当时时代的窘迫、人与人之间的关系复杂。我深切地感到，尽管创造的过程无比艰辛，而成...
新一代大数据处理引擎 Apache Flink
大数据计算引擎的发展这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先...