(3人评价)
Spark 2.x企业级大数据项目实战(实时统计、离线分析和实时ETL)

集成Core、SQL、Streaming、Kafka、HBase、Redis和MySQL数据分析

价格 ¥ 489.30 ¥699.00 7折
活动
课程介绍
轩宇老师:
七年互联网大数据一线研发经验,大数据技术实战派,先后担任过大数据开发工程师、开发经理、项目经理、大数据架构师,有丰富的项目经验。熟悉大数据整体生态链(调研、架构、开发、运维、应用),擅长利用大数据技术进行数据分析。近年来一直专注于分布式计算与机器学习相关领域,是国内最早的Spark研究与使用者。目前专注于Spark平台的大数据处理,任国内某知名在线教育机构大数据专业首席讲师,负责公司所有大数据开发与数据分析专业的产品研发与教学和企业培训工作。

本门课程来源于一线生产项目, 所有代码都是在现网大数据集群上稳定运行, 拒绝Demo。课程涵盖了离线分析、实时分析绝大部分的场景,通过三个实际生产项目教授如何优雅地集成Hadoop、Spark、HBase、Kafka、Redis、MySQL等相关大数据技术,并实际落地 。


本门课程全程实操,不用担心基础不好, 讲师将会从每个项目的演进过程详细分析, 手把手搭建开发环境, 每个功能点都有代码实操, 拿到生产上可以直接使用。


本门课程大量生产上的较佳实践,不仅能为技术选型提供参考, 也能大幅度提升个人的知识和技术水平, 学完可以胜任PB级大数据的开发和优化,面试中说出来都是亮点, 是跳槽、转型、加薪的利器,让你轻松实现华丽转身。 只要你有一点Hadoop、Spark和Scala基础,并且能保持学习的热情, 那么就跟随老师来吧。

 

掌握生产上企业级大数据的开发流程。

 

可以胜任PB级大数据的开发和优化

 

达到3年大数据从业经验的水平

 

适用人群

了解过Hadoop、Spark的即可

针对HBase、Kafka、Redis等基础不足的同学,讲师会根据项目需要对其核心部分进行详细介绍

 

课程使用软件版本

CDH 5.7.6系列版本:hadoop-2.6.0-cdh5.7.6、hbase-1.2.0-cdh5.7.6、zookeeper-3.4.5-cdh5.7.6
Spark 2.x版本:Spark 2.2.0
Kafka 版本:kafka_2.11-0.8.2.1、kafka-eagle-web-1.2.4
Redis版本:redis-3.2.5-bin
MySQL版本:MySQL Server 5.1.73

第一章:流式数据实时分析(Kafka+SparkStreaming+Redis)
1、流式实时数据分析项目实战内容提纲(企业级开发、仿双十一订单实时统计及性能优化)
2、SparkStreaming实时状态统计应用引出容灾恢复(高可用)和更新状态性能问题
3、SparkStreaming应用代码初步重构及引出实时累加应用高可用性(设置检查点及恢复)
4、StreamingContext创建优化(非第一次启动应用从检查点目录构建)及代码演示(高可用性)
5、SparkStreaming中mapWithState实时状态更新函数使用说明
6、模拟电商购物节订单分析:订单分析需求说明及准备(创建Topic及开发环境)
7、模拟电商购物节订单分析:调用Kafka Producer API模拟产生JSON格式订单数据发送Topic中(一)
8、模拟电商购物节订单分析:调用Kafka Producer API模拟产生JSON格式订单数据发送Topic中(二)
9、模拟电商购物节订单分析:针对SparkStreaming实时流式应用数据分析利用Scala贷出模式编写应用开发模块
10、模拟电商购物节订单分析:采用Direct方式获取KAFKA数据并解析JSON格式
11、模拟电商购物节订单分析:updateStateByKey实时累加统计各省份销售额(重载函数使用)
12、模拟电商购物节订单分析:Redis内存数据库介绍、下载和配置、启动服务及CLI基本使用
13、模拟电商购物节订单分析:实时累加统计各省份销售额保存Redis 数据库哈希Hash
14、模拟电商购物节订单分析:最近窗口数据Top5省份订单量(集成SparkSQL,注册临时视图,SQL分析)
15、模拟电商购物节订单分析:实时应用性能优化(设置分区最大数目、数据本地性等待时间、反压机制、内存GC等)

第二章:离线日志分析项目(SparkCore+HBase+MySQL)
16、某旅游电商用户行为分析系统数据、业务调研深入剖析
17、某旅游电商用户行为分析系统项目架构设计(技术架构)-架构三原则
18、基于SparkCore实现用户行为分析环境准备
19、数据ETL:SparkCore读取数据及解析日志数据
20、数据ETL:过滤不合格的数据(解析异常或事件类型不对)和引出广播变量
21、数据ETL:使用广播变量优化程序过滤数据
22、数据ETL:如何设计HBase表及RowKey组成设计
23、数据ETL:实现RowKey拼接及构建Put对象
24、数据ETL:定义函数依据传递处理日期参数来创建HBase表(先判断,再删除)
25、数据ETL:指定预分区、设置压缩等创建表及测试保存数据至HBase表
26、数据ETL:ETL操作时程序代码优化点详细剖析(预分区、广播变量及批量加载数据:跳过WAL和转换HFile)
27、新增用户分析:需求调研的说明(不同维度分析)及读取HBase表的不同字段值
28、新增用户分析:从HBase表中读取数据,设置Scan过滤条件(一)
29、新增用户分析:从HBase表中读取数据,设置Scan过滤条件(二)
30、新增用户分析:转换读取HBase表数据并进行维度数据组合
31、新增用户分析:基本维度分析和浏览器维度分析
32、读写HBase表数据引出优化:针对HFile数据文件进行读写操作(提高性能、减轻集群负载)
33、优化数据ETL:阅读ImportTsv源码找出HFile数据变换、修改数据转换格式为KeyValue及细节处理
34、优化数据ETL:完成数据写入至HFile文件、加载HFiles至HBase表中及本地测试
35、提交运行:将数据ETL程序打JAR包,编写Shell脚本,提交运行(查找程序依赖第三方JAR包)
36、提交运行:增加属性文件配置,针对本地测试和集群测试读取IP地址解析仿真数据文件进行优化
37、使用SparkSQL针对新增用户业务编程分析:将RDD转换为DataFrame
38、使用SparkSQL针对新增用户业务编程分析:分别使用DSL和SQL进行指标分析和引出如何保存结果数据至MySQL表中
39、综合回顾复习Spark读取HBase数据三种方式(Scan、HFile、HBaseContext)及优缺点剖析
40、HBase中快照SnapShot使用及采用TableSnapshotInputFormat读取HBase表中数据(以销售订单表为例,读取HFile文件)
41、优化新增用户分析:修改程序读取表的HFiles进行数据分析(创建快照,使用TableSnapshotInputFormat)
42、优化新增用户分析:使用foreachPartition方式将分析结果保存至MySQL表中(Key存在更新及不存在插入)一
43、优化新增用户分析:使用foreachPartition方式将分析结果保存至MySQL表中(Key存在更新及不存在插入)二

第三章:企业数据实时ETL(Kafka+SparkStreaming+HBase+Redis)
44、实时数据ETL:分析需求(实时将数据ETL到不同HBase表中)及准备开发环境(模拟测试数据,创建Topic等)
45、实时数据ETL:SparkStreaming读取Kafka Topic数据,解析orderType,自定义分区器将同类型数据重分区到一个分区
46、实时数据ETL:不同支付类型订单数据创建不同HBase表(封装插入数据方法)
47、实时数据ETL:编写代码数据插入HBase表、联动测试(模拟实时产生数据,实时消费,分区数据,插入表中)
48、SparkStreaming采用Direct方式读取Kafka Topic数据的自动管理Offsets方法深入剖析、使用Redis或Zookeeper等管理偏移量
49、优化实时数据ETL:从Redis中读取Topic的各个分区消费偏移量信息(使用哈希Hash存储)及编码测试
50、优化实时数据ETL:当每批次数据插入HBase表以后,将Topic各个分区数据消费偏移量保存Redis中
51、监控扩展:Zookeeper Cluster常见监控工具及zkUI监控工具使用详解
52、监控扩展:Kafka Cluster常见监控工具及Kafka Eagle监控工具使用详解

 

Streaming状态统计mapWithState

模拟产生订单数据Kafka Producer API使用

实时统计保存Redis

某旅游电商业务分析(架构)

HFile数据文件读写

Spark读取HBase表数据几种方式