跟轩宇老师学习大数据基础框架Hadoop

HADOOP 2.5入门到精通

默认教学计划
(2人评价)
价格 ¥349.30 ¥ 499.00 7折
活动
教学计划
课程介绍

本课程摘自《2017零基础大数据就业课程(全网最全)》:http://www.xuetuwuyou.com/course/181
讲师:风舞烟老师团队
课时数:57课时

 

课程简介
了解大数据目前在企业中的应用场景,Hadoop 2.x是什么,能够解决什么问题,如何学习Hadoop2.x生态系统框架及学习的基本储备知识。且详解 Hadoop2.x中几个重组成模块,这是整个大数据平台中最为基础基本也是比较核心的东西。


课程目录
第1章:Hadoop介绍及伪分布式环境
1.学习大数据HADOOP框架重点及培养三大能力  
2.大数据是什么及HADOOP发展史及企业架构
3.HADOOP诞生、组件概览及版本说明 
4.分布式概念及HDFS架构存储详解 
5.YARN架构及MapReduce编程模型、运行在YARN上的过程详解
6.HADOOP部署三种模式及企业集群配置、HADOOP下载地址 
7. HADOOP安装前Linux系统环境配置及JDK安装 
8.伪分布式:hadoop安装目录及配置HDFS详解
9.伪分布式:启动HDFS服务、熟悉DFS文件操作命令及测试 
10.伪分布式:配置YARN及启动服务 
11.伪分布式:配置MapReduce的WordCount运行在YARN及查看结果


第2章:MapReduce编程及运行流程
12.Hadoop伪分布式环境部署要点、常见错误详解及如何查看日志信息
13.HDFS中NameNode启动过程及SNN功能详解 
14.HADOOP默认配置文件及常见属性配置 
15.MapReduce中的历史服务启动配置及启动YARN的日志聚集功能
16.MapReduce中的历史服务启动配置及启动YARN的日志聚集功能
17.Hadoop默认本地库的替换及源码编译 
18.HDFS概念深入及Client访问数据流程 
19.Linux环境下安装Maven和Eclipse、创建Maven工程及配置、HDFS JAVA API
20.NameNode启动过程中的SafeMode详解 
21.MapReduce框架的编程模型(以WordCount为例)
22.编写MapReduce编程模板(Mapper、Reducer及Driver)
23.编程实现WordCount程序及本地测试
24.打包测试运行WordCount程序在YARN及总结开发MapReduce程序的步骤


第3章:网站案例分析及Hadoop分布式集群环境
25.MapReduce框架处理数据的流程及几点注意 
26.编写MapReduce编程模块
27.MapReduce数据类型及自定义数据类型 
28.案例:网站基本指标分析(一) 
29.案例:网站基本指标分析(二) 
30.分布式安装部署:克隆虚拟机及配置网络 
31.分布式安装部署:集群基本配置及服务运行规划
32.分布式安装部署:集群机器时间同步
33.分布式安装部署:依据规划配置与分发安装包 
34.分布式安装部署:启动HDFS、YARN服务及测试程序 
35.分布式安装部署:配置主从节点之间的SSH无密钥登录 


第4章:MapReduceShuffle及Zookeeper框架
36.MapReduce框架处理数据五步走详解 
37.MapReduce Shuffle过程详解(结合案例)
38.MapReduceShuffle优化设置及Combiner和Compress设置
39.MapReduce程序设置Reduce Number为0详解 
40.YARN运行Application原理内核详解 
41.HADOOP Client详解(配置信息分类) 
42.Zookeeper介绍及单机模式安装启动测试 
43.分布式集群安装部署测试 


第5章:HDFS HA及二次排序
44.Hadoop高级课程说明及企业级HDFS集群架构
45. HDFS HA架构详解(作图说明) 
46.依据官方文档对HDFS HA.进行配置、部署和分发 
47.配置HDFS HA自动故障转移及测试 
48.HADOOP 2.x中其他特性说明(HDFS Federation及RM HA)
49.引出二次排序及实现二次排序的思路
50.编程实现自定义数据类型PairWritable、自定义分区类FirstPartitioner
51.编写二次排序的MapReduce及测试(设置多个ReduceTask)


第6章:Day09_YARN 资源管理及MapReduce Join
52.分布式资源框架YARN深入详解(对于HADOOP 1.x的MapReduce框架)
53.YARN资源管理配置(CPU及Memory)和Schedule策略
54.MapReduceJoin总览及Map Join思路和实现详解
55.结合案例讲解Reduce Join及测试运行 
56.企业级MapReduce面试题(去哪儿网)及数据分析流程 
57.使用XMind思维导图复习HADOOP知识点