(0人评价)
基于SparkStreaming+Kafka仿某宝实时订单销售额统计
价格 ¥ 52.80 ¥88.00 6折
活动
课程介绍
风舞烟:
中国科技大学计算机专业,微软认证解决方案专家,10多年软件行业从业经验,参与过数百万的企业级ERP系统以及银行系统项目设计,在大数据处理、富客户端技术、项目管理等方面有着深刻的理解和实战经验,先后担任过国内某知名企业的CTO以及国内知名IT高端培训机构教学总监,资深讲师,主编过BF-TECH系列的 .NET、J2EE、 Android等品牌就业课程,共达2000多课时,课程总时长超10万分钟,可谓IT在线视频教育第一人。

      本课程从实时数据产生和流向的各个环节出发,通过集成主流的分布式日志收集框架Flume、分布式消息队列Kafka、分布式列式数据库HBase、及当前最火爆的Spark Streaming打造实时流处理项目实战,让你掌握实时处理的整套处理流程,达到大数据中级研发工程师的水平!

 

课程内容:
1、流式计算引入及各个框架的比较与选型
2、SparkStreaming内核原理及从Socket读取数据实时分析
3、DStream创建及常用Transformatio和Output使用
4、从Kafka读取数据及将结果存储到Redis中
5、实时累加统计updateStateByKey和基于时间的窗口window操作
6、从Kafka读取数据进行Structured Streaming结构化流式统计分析

 

了解SparkStreaming进行实时计算思想

 

理解Dstrean数据结构

 

掌握实时累加统计和窗口统计实时计算

 

熟练使用从Kafka宗读取数据进行分析

 

理解SparkStreaming应用运行的高可用性

 

可以针对非实时很高的应用,进行快速的开发,运行程序实时分析数据,如物流的监控、订餐平台订单统计等;

 

企业数据实时采集、处理和ETL,将数据存储到HBase和ES中。

 

 

授课教师

学途无忧网金牌合作讲师

课程特色

视频(11)
下载资料(1)

最新学员