Skip to content

zeekling/hadoop_book

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

73 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

简介

本仓库用于记录学习Hadoop相关笔记,菜就多做笔记。

编译

执行下面编译命令:

  • Linux 下的编译命令如下:
# -T 是编译的线程数,可以按照具体操作系统增加或者减少
mvn -T 8 package -Pdist,native -DskipTests -Dmaven.javadoc.skip=true
# or 忽略 本地方法编译
mvn -T 1C clean package -DskipTests -P\!sign -Pnative -P\!resource-bundle -PskipShade  -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Dpmd.skip=true
  • Windows 下面的编译命令如下(Windows下的二进制编译未调试通过):
# 本地编译,忽略二进制编译
mvn -T 1C clean install -DskipTests -PskipShade -P\!native-win -PskipShade  -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Dpmd.skip=true

知识目录树

知识库名称 二级分类 所属模块
认证模块详解 -- Common 模块
主备倒换模块详解 -- Common 模块
Fair Call Queue 队列 Common 模块
NativeIO IO 相关 Common 模块
namenode全景 NameNode相关 HDFS模块
NameNode启动过程 NameNode相关 HDFS模块
FsImage详解 NameNode相关 HDFS模块
NamenodeProtocols详解 NameNode相关 HDFS模块
leaseManager详解 NameNode相关 HDFS模块
FSDirectory详解 NameNode相关 HDFS模块
BPServiceActor详解 NameNode相关 HDFS模块
文件上传 --- HDFS模块
dataNode启动过程 DataNode相关 HDFS模块
BPServiceActor详解 DataNode相关 HDFS模块
router启动详解 Router相关 HDFS模块
webhdfs Router相关 HDFS模块
ResourceManager详解 ResourceManager相关 Yarn&Mapreduce模块
Capacity调度器 ResourceManager相关 Yarn&Mapreduce模块
作业启动 --- Yarn&Mapreduce模块
containerManager 详解 NodeManager相关 Yarn&Mapreduce模块
container-executor详解 NodeManager相关 Yarn&Mapreduce模块
Yarn状态机 Yarn事件相关 Yarn&Mapreduce模块
Yarn事件处理机制 Yarn事件相关 Yarn&Mapreduce模块
jobhistory 作业缓存 JobHistory 相关 Yarn&Mapreduce模块
Distcp详解 工具相关 Yarn&Mapreduce模块
Zookeeper启动源码详解 ---- Zookeeper模块
RollingLevelDBTimeStore详解 applicationhistoryservice相关 applicationhistoryservice

About

Hadoop 学习笔记。

Topics

Resources

License

Stars

Watchers

Forks