(0人评价)
Storm傻瓜教程

大数据实时流Storm小白入门

价格 ¥ 115.42 ¥199.00 5.8折
活动
会员免费学 购买课程
课程介绍
Andy老师:
211大学统计学专业本科,经济学学士,8年以上大型企业数据挖掘、市场分析与大数据开发工作经验丰富 有电信行业数据开发运维经验,海量数据修改提取经验,亿级用户割接经验。有互联网医疗数据挖掘经验,有大数据开发经验。对Storm、Spark等实时流大数据分析技术有深刻的理解和实践,同时该讲师也有着很丰富的教学培训经验,教学思路清晰、通俗易懂,深受学员喜爱

Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流,像Hadoop批量处理大数据一样,Storm可以实时处理数据。Storm简单,可以使用任何编程语言。


在Storm之前,进行实时处理是非常痛苦的事情: 需要维护一堆消息队列和消费者,他们构成了非常复杂的图结构。消费者进程从队列里取消息,处理完成后,去更新数据库,或者给其他队列发新消息。


这样进行实时处理是非常痛苦的。我们主要的时间都花在关注往哪里发消息,从哪里接收消息,消息如何序列化,真正的业务逻辑只占了源代码的一小部分。一个应用程序的逻辑运行在很多worker上,但这些worker需要各自单独部署,还需要部署消息队列。最大问题是系统很脆弱,而且不是容错的:需要自己保证消息队列和worker进程工作正常。
 

Storm完整地解决了这些问题。它是为分布式场景而生的,抽象了消息传递,会自动地在集群机器上并发地处理流式计算,让你专注于实时处理的业务逻辑。

 

Storm有如下特点:

1、编程简单:开发人员只需要关注应用逻辑,而且跟Hadoop类似,Storm提供的编程原语也很简单

 

2、高性能,低延迟:可以应用于广告搜索引擎这种要求对广告主的操作进行实时响应的场景

 

3、分布式:可以轻松应对数据量大,单机搞不定的场景

 

4、可扩展: 随着业务发展,数据量和计算量越来越大,系统可水平扩展

 

5、容错:单个节点挂了不影响应用

 

6、消息不丢失:保证消息处理

 

适用人群

1、具有一定的Java基础
2、有一定的Hadoop开发基础最佳
3、对Storm实时流开发技术感兴趣的大数据开发人员

 

  1. 从零搭建Storm企业应用级开发
  1. 能够了解Storm的架构、环境以及使用
  1. 能够熟练应用Storm Trident 解决企业中遇到的问题
  1. 能够掌握在电商中如何使用Storm进行实时流开发

第1章: Storm架构、环境及使用
课时 1 : Storm下载及环境搭建介绍
课时 2 : Storm启动前各参数配置详解
课时 3 : 进程启动实践
课时 4 : 运行架构解析
课时 5 : 自带案例wordcount的测试运行与架构详解
课时 6 : 框架组件之kafkaSpout完成kafka数据读取功能
课时 7 : 框架组件之splitbolt完成单词切割功能
课时 8 : 框架组件之countbolt完成词频统计功能
课时 9 : 框架组件之hbasebolt完成将结果写入hbase功能
课时 10 : 集群整体运行测试及回顾

第2章: Trident使用
课时 11 : 逻辑的抽象-Trident介绍
课时 12 : Trident中spout创建及测试数据读取
课时 13 : 遍历所有tuple请使用each方法
课时 14 : 只保留我想保留的-filter过滤器
课时 15 : 逻辑功能的完成方法-function实现字符串切割
课时 16 : 系统提供tuple过滤功能project方法
课时 17 : 利用function实现词频统计
课时 18 : 项目打包集群运行
课时 19 : 多个execute以及分组操作
课时 20 : 逻辑功能实现同一批次内局部统计
课时 21 : 逻辑功能实现全局统计
课时 22 : 对数据重分区操作
课时 23 : 远程调用查询DRPC服务

第3章: 电商实时销售统计
课时 24 : 实战案例需求介绍
课时 25 : 实现需求测试类介绍
课时 26 : 完成kafkaSpout从测试类中读取数据
课时 27 : 利用Trident架构解析订单记录
课时 28 : 完成计算每天销售额
课时 29 : DRPC查询每天销售额

 

 

 

 

 

授课教师

学途无忧网合作讲师

课程特色

视频(29)
下载资料(1)