大数据系统架构分析师成长之路

2018
(3人评价)
价格 ¥4900.00 ¥ 9800.00 5折
活动
教学计划
课程介绍

好消息!好消息!
现在报名《大数据系统架构分析师套餐课程》,另外赠送价值
4800元大数据套餐课程!
名额有限,欲购从速!

赠送的大数据套餐课程介绍:http://www.xuetuwuyou.com/course/181

 

 

课程目录:

【第一周】架构师转型方法与架构设计理论:向大数据架构师转型

第1节: 架构设计与架构师
任务1: 架构的定义
任务2: 架构设计的维度
任务3: 架构师角色
任务4: 架构设计与大数据
任务5: 架构设计的表现形式
任务6: 直播答疑


第2节: 架构风格与架构模式
任务7: 软件技术理论体系
任务8: 架构风格及应用(上)
任务9: 架构风格及应用(下)
任务10: 架构模式及应用
任务11: 互动答疑


第3节: 程序员VS架构师、架构师转型模型
任务12: 程序员VS架构师(上)
任务13: 程序员VS架构师(下)
任务14: 架构师转型模型
任务15: 作为架构师开展工作


第4节: 面向对象设计原则
任务16: 设计原则的作用与SRP原则
任务17: OCP、LSP、ISP原则
任务18: DIP、迪米特、合成聚合复用原则
任务19: 命令-查询分离、惯例优于配置、关注点分离原则

 

 


【第二周】架构师转型方法与架构设计理论:向大数据架构师转型

第1节: RPC架构与网络通信
任务20: RPC架构
任务21: 网络通信事件、模型、原理
任务22: 网络传输协议-TCP、HTTP、RMI、Hessian 
任务23: 网络传输协议-Dubbo协议


第2节: 序列化与远程调用
任务24: 序列化概念、方式、原理、功能、需求
任务25: 序列化工具与实现
任务26: 序列化在大数据体系中的应用
任务27: 服务远程调用
任务28: 组件设计原则的应用


第3节: 组件设计原则及应用
任务29: 组件设计原则
任务30: 组件设计原则的应用


第4节: 设计模式及应用
任务31: 设计模式分类
任务32: 设计模式在Mybatis中的应用


第5节: 架构模型
任务33: 领域模型概述
任务34: 设计模式和代码模式概述

 

 

【第三周】架构师转型方法与架构设计理论:RPC架构+分布式架构(一)

第1节: RPC实现及在大数据体系中的应用
任务35: Dubbo基本用法
任务36: Dubbo高级配置
任务37: Thrift框架配置与应用
任务38: Hadoop RPC框架


第2节: 分布式系统架构体系与基本原理
任务39: 分布式系统详解
任务40: 面向服务SOA架构
任务41: REST架构设计
任务42: 分布式设计理念
任务43: CAP理论与BASE思想


第3节: 系统建模
任务44: 用例建模
任务45: 静态和动态建模
任务46: 架构建模


第4节: Dubbo架构与设计原则
任务47: Dubbo整体架构
任务48: Dubbo设计原则


第5节: Dubbo服务解析与发布
任务49: Dubbo服务解析
任务50: Dubbo服务发布

 

 

【第四周】架构师转型方法与架构设计理论:RPC架构+分布式架构(二)

第1节: 负载均衡与分布式协调
任务51: 集群与负载均衡
任务52: 应用服务器架构
任务53: 分布式协调及在大数据体系中的应用(上)
任务54: 分布式协调及在大数据体系中的应用(下)

 

第2节: 高可用性架构及在大数据体系中的应用
任务55: 服务可用基本策略
任务56: 集群容错和服务隔离
任务57: 服务降级、熔断和限流和限流(上)
任务58: 服务降级、熔断和限流和限流(下)
任务59: Hystrix原理分析
任务60: 可用性在大数据体系中的应用
任务61: 互动答疑


第3节: Dubbo服务引用与集群
任务62: Dubbo服务引用
任务63: Dubbo集群


第4节: Dubbo注册中心与Zookeeper
任务64: Simple注册中心
任务65: Zookeeper注册中心

 

 

【第五周】架构师转型方法与架构设计理论:微服务架构与大数据框架剖析(一)
第1节: 微服务架构与服务建模
任务66: 直面微服务(一)
任务67: 直面微服务(二)
任务68: 微服务建模(一)
任务69: 微服务建模(二)
任务70: 微服务技术选型


第2节: 大数据平台技术框架选型及集群环境
任务71: 大数据架构师大数据技术要求及大数据技术领域重点框架
任务72: 大数据框架企业使用版本说明及重要框架关键版本详解
任务73: 常见企业大数据平台应用及Lambda Architecture三层技术框架剖析
任务74: 大数据平台如何使用Zookeeper进行高可用设计剖析说明
任务75: 基于CDH-5.7.6企业大数据平台搭建的说明及注意事项


第3节: 服务扩展性
任务76: 可扩展性与可伸缩性对比
任务77: 可扩展性理念
任务78: 可扩展性实现

第4节: 服务伸缩性
任务79: 伸缩性的设计理念
任务80: 使用拆分和异步实现伸缩性
任务81: 负载均衡实现伸缩性
任务82: 简单Hash算法的问题
任务83: 一致性Hash算法
任务84: 数据伸缩性

 

 

【第六周】架构师转型方法与架构设计理论:微服务架构与大数据框架剖析(二)

第1节: 微服务架构实现技术
任务85: Spring Boot(一) 
任务86: Spring Boot(二)
任务87: 服务注册中心(一)
任务88: 服务注册中心(二) 
任务89: 负载均衡和API网关(一)
任务90: 负载均衡和API网关(二)
任务91: 配置中心与服务容错
任务92: 案例分析

第2节: 大数据平台数据采集方案及代码演练
任务93: 大数据架构师必备必知大数据技术技能及扩张说明
任务94: 企业大数据平台集群集群数据存储、服务日志、应用临时数据等设置详解
任务95: 企业大数据平台数据采集收集三种架构方式剖析详解
任务96: 针对不同电商的订单数据收集分析架构技术剖析

第3节: 分布式资源调度
任务97: 资源调度模型
任务98: 主流资源调度器

 

 


【第七周】架构师转型方法与架构设计理论:微服务架构

第1节: 微服务数据一致性
任务99: 分布式事务
任务100: 可靠事件模式
任务101: 补偿模式
任务102: TCC模式
任务103: 最大努力通知和人工干预模式


第2节: 消息传递模型与实现
任务104: 消息传递模型
任务105: JMS规范及实现
任务106: AMQP规范及实现
任务107: RocketMQ简介
任务108: 消息中间件对比


第3节: 面向领域的技术设计
任务109: DDD简介
任务110: 子域和界限上下文
任务111: 面向领域架构风格

第4节: 领域驱动设计案例分析
任务112: 实体
任务113: 值对象
任务114: 领域服务与事件
任务115: 聚合
任务116: 资源库
任务117: 应用程序
任务118: 案例策略设计
任务119: 案例技术设计
任务120: 案例总结

 


【第八周】架构师转型方法与架构设计理论:消息驱动与传递系统

第1节: 基于HADOOP 生态系统离线数据分析综合案例
任务121: 本次课程提纲及2017阿里双11实时流式计算框架Blink
任务122: 大数据平台数据采集三种架构方式核心要点及推荐书籍
任务123: B2C电商系统为服务架构及数据采集微服务架构设计(JD卖家日志采集存储查询为例)
任务124: 基于Hive高级案例分析(电商推荐、广告分类和物流跟踪)
任务125: 以JD为例剖析企业基于大数据的数据仓库架构设计与实现思路

 

第2节: 基于SPARK 生态系统离线数据分析综合案例
任务126: 本次课程提纲及饿了么大数据平台架构赏析
任务127: 大数据可视化分析框架Hue使用及Zeppline与Livy介绍
任务128: 大数据框架Spark设计核心要点、学习Scala语言核心及RDD数据结构
任务129: SparkCore与HBase读写深入剖析及Spark内核与Shuffle 
任务130: SparkSQL数据处理及SparkStreaming流式处理四大应用

 

第3节: 服务拆分
任务131: 服务拆分维度与策略
任务132: 服务依赖关系与数据
任务133: 服务事务边界

 

第4节: 服务集成
任务134: 系统集成基础
任务135: 接口集成
任务136: 数据集成
任务137: 客户端集成和外部集成

 

 

 

【第九周】架构师转型方法与架构设计理论:数据收集与集成(一)

第1节: Kafka功能与原理分析
任务138: Kafka介绍及基本概念
任务139: Kafka分布式原理分析
任务140: Kafka原理分析-消息传递语义与高可用性
任务141: Kafka新功能-Connector

第2节: 企业应用集成模式与Flume系统架构
任务142: 系统集成的核心问题
任务143: 通道、路由器与转换器
任务144: 端点和系统管理
任务145: Flume基本模型
任务146: Flume特性和核心组件

第3节: 微服务架构基础组件
任务147: 服务路由
任务148: API网关
任务149: 配置服务

第4节: 微服务测试
任务150: 微服务测试简介
任务151: 单元测试与集成测试
任务152: 消费者驱动的契约测试

 

 

【第十周】架构师转型方法与架构设计理论:数据收集与集成(二)

第1节: Python数据分析(一)
任务153: 数据分析概念及python基本概述
任务154: python开发环境配置
任务155: python基本类型及容器数据类型-1
任务156: 容器数据类型-2
任务157: python运算符表达式
任务158: python函数


第2节: 大数据实时流式数据分析综合案例
任务159: 四大流式实时处理框架、SparkStreaming三大金典应用场景
任务160: 实时订单案例分析之模拟订单数据(转为JSON格式)发送到Kafka Topic中
任务161: 实时订单案例分析之业务类模板编写(贷出模式)和SparkStreaming 高可用性使用
任务162: 实时订单案例分析之采用Direct方式从Kafka读取数据并实时统计各个省份订单销售额
任务163: 实时订单案例分析之窗口统计分析各省份订单数及集成SparkSQL DSL
任务164: 实时订单案例分析之高级性能优化(能使用DStream#transform就使用)
任务165: 实时订单案例分析之NoSQL数据库Redis安装使用及数据结构
任务166: 实时订单案例分析之通过Jedis将实时分析结果存储Redis

第3节: 微服务部署
任务167: Docker简介
任务168: Dockerfile
任务169: DockerCompose

第4节: 微服务监控
任务170: 日志聚合与ELK
任务171: ELK基础也扩展框架
任务172: 服务跟踪原理
任务173: Spring Cloud Sleuth

 

 

【第十一周】架构师转型方法与架构设计理论:数据存储(一)

第1节: Python数据分析(二)
任务174: 最初的爬取方式
任务175: HTML基础及正则表达式
任务176: 案例:51job职位信息抓取
任务177: requests库及beautifulsoup库的使用
任务178: 案例:利用request及beautifulsoup爬取豆瓣网数据
任务179: 面向对象相关知识
任务180: scrapy框架原理及利用scrapy框架爬取豆瓣网数据

第2节: Redis与HDFS架构
任务181: Redis数据结构
任务182: Redis服务器架构
任务183: HDFS基本概念与工作流程
任务184: HDFS HA架构

第3节: 微服务安全
任务185: 微服务中的安全性设计
任务186: 基于Token的认证方案
任务187: JWT机制

 


【第十二周】架构师转型方法与架构设计理论:数据存储(二)

第1节: HBase与垂直化搜索引擎架构
任务188: Hbase整体结构与存储模型
任务189: Hbase工作流程及其特性
任务190: Lucene模型
任务191: Solr功能及架构
任务192: Elastic Search的功能及架构


第2节: Spark MLlib机器学习
任务193: 机器学习课前小甜点
任务194: 机器学习是什么、做什么及为什么使用SparkMLlib
任务195: Spark MLlib学习建议、数据类型、分类算法概述
任务196: 基于Spark 构建分类模型(使用Kaggle数据集)


第3节: Actor模型和Akka
任务197: Actor的概念
任务198: Actor系统
任务199: 使用Akka开发Actor模型
任务200: Akka中的分发器、路由器和调度器

第4节: Akka分布式消息及在Spark中的应用
任务201: Akka远程调用
任务202: Akka负载均衡和远程调用示例
任务203: Akka集群
任务204: Akka在Spark中的应用

 

 

【第十三周】架构师转型方法与架构设计理论:大数据安全性

第1节: 安全性及在大数据体系中的应用
任务205: 信息加密与认证
任务206: HTTPS协议
任务207: OAuth协议
任务208: Kerberos协议
任务209: Apache Sentry


第2节: Spark MLlib算法案例
任务210: 机器学习回归、开发流程步骤及模型优化要点
任务211: 使用Sharing Bike数据基于Spark 构建回归模型
任务212: 使用NewsCorp数据基于Spark 文本分类模型

第3节: 企业服务总线与应用
任务213: 企业服务总线案例与技术
任务214: Spring Integration通道
任务215: Spring Integration路由器
任务216: Spring Integration端点
任务217: 案例分析和实现


第4节: NoSQL综述
任务218: 分布式存储与关系型数据库类比
任务219: NoSQL特征
任务220: NoSQL表现形式

 

 


【第十四周】架构师转型方法与架构设计理论:技术管理

第1节: 架构师眼中的技术管理
任务221: 技术管理概述
任务222: 技术创新
任务223: 架构师的软技能

第2节: 大前端架构与数据可视化
任务224: 开场白
任务225: 漫谈大前端架构
任务226: 漫谈前端数据可视化
任务227: 大数据可视化01-Echarts快速上手
任务228: 大数据可视化02-Echarts十大图表展示
任务229: 大数据可视化-Echarts高级

第3节: 流行前端生态技术:React快速上手
任务230: 创建一个webpack项目
任务231: 配置NPM和webpack-dev-server
任务232: 配置babel加载器
任务233: 加载器收尾和插件
任务234: 讲解package.json的作用以及使用
任务235: jsx以及state讲解
任务236: props以及生命周期和refs


第4节: 流行前端生态技术:VUE快速上手
任务237: VUE简介与MVVM模式
任务238: VUE的环境搭建与开发流程
任务239: VUE的数据绑定机制
任务240: VUE中的V-Model与双向绑定机制
任务241: VUE中的常用系统指令详解(一)
任务242: VUE中的常用系统指令详解(二)
任务243: VUE中的常用系统指令详解(三)
任务244: 综合案例讲解(一)
任务245: 综合案例讲解(二)


第5节: Memcached架构
任务246: Memcached特性
任务247: Memcached内存管理策略
任务248: Memcached分布式策略

第6节: Spring Batch数据批处理
任务249: 批处理读写抽象
任务250: 批处理处理过程与健壮性
任务251: SpringBatch模型和健壮性
任务252: SpringBatch批处理方式

 

 


【第十五周】架构师转型方法与架构设计理论:面试就业

第1节: 数据分析之可视化技术
任务253:什么是数据分析可视化
任务254: 可视化的意义
任务255: 有趣的可视化展示
任务256: 带你走进可视化的奇妙世界
任务257: 同样的数据不同的展示-Tableau
任务258: 同样的数据不同的展示-Power BI


第2节: 流行前端生态技术:Angular2.x快速上手
任务259: Angular2概述
任务260: 手工搭建Angular2的运行环境
任务261: 快速自动搭建Angular2的运行环境
任务262: 实例快速上手Angular2的开发-01
任务263: 实例快速上手Angular2的开发-02
任务264: 实例快速上手Angular2的开发-02
任务265: 实例快速上手Angular2的开发-03
任务266: 实例快速上手Angular2的开发-04

第3节: 流行前端生态技术:NodeJS快速上手
任务267: Node概述
任务268: Node安装及开发环境配置
任务269: 动手写第一个Node应用
任务270: Node中的模块详解
任务271: Node的模块开发实例-01
任务272: Node的模块开发实例-02
任务273: NPM包管理器初探
任务274: NPM包管理器常用命令
任务275: NPM包管理器实例
任务276: 基于Node构建一个简单的Web服务器
任务277: 基于Node构建一个复杂的Web服务器
任务278: 综合实例


第4节: 架构师面试题分析
任务279: 架构师面试题引导
任务280: 技术架构面试题
任务281: 技术管理面试题

第5节: Apache Shiro架构
任务282: Apache Shiro整体架构
任务283: Apache Shiro核心概念和认证方式
任务284: Apache Shiro认证实现策略
任务285: Apache Shiro授权架构
任务286: Apache Shiro Realm架构

第6节: 需求工程和系统建模概述
任务287: 需求工程与业务架构师
任务288: 用例建模
任务289: 静态建模、动态建模与架构建模

 


【第十六周】架构师转型方法与架构设计理论:大数据离线项目

第1节: Python+MongoDB使用
任务290: MongoDB的介绍与使用(一)
任务291: MongoDB的介绍与使用(二)
任务292: Python与MongoDB集成开发(一)
任务293: Python与MongoDB集成开发(二)


第2节: Spark MLlib高级项目
任务294: 回顾机器学习概念及聚类KMeans算法思想及功能详解
任务295: 基于KMeans算法网络流量异常检测(一)
任务296: 基于KMeans算法网络流量异常检测(二)
任务297: 基于DataFrame ML引入和核心概念
任务298: 基于SparkMLlib DataFrame API的简易文本分类案例剖析
任务299: 机器学习决策树算法、随机森林算法及GBT算法由浅入深剖析

 

第3节: Memcached架构
任务300: Memcached特性
任务301: Memcached内存管理策略
任务302: Memcached分布式策略

 

第4节: Spring Batch数据批处理
任务303: 批处理读写抽象
任务304: 批处理处理过程与健壮性
任务305: SpringBatch模型和健壮性
任务306: SpringBatch批处理方式

 


【第十七到二十周】大数据架构分析篇:项目实践篇

第1节: 离线项目篇:用户行为(点击、下单及支付)数据分析(SparkCore+HBase)
任务307: 电商离线分析业务数据调研及技术架构设计
任务308: 基于SparkCore用户行为日志数据ETL至HBase表存储
任务309: 基于SparkCore读取HBase表数据进行新增用户多维度统计分析

 

 

第2节: 实时项目篇:某信贷实时数据采集存储(Kafka+SparkStreaming+HBase)
任务310: 某信贷实时数据采集存储:业务需求(背景)及分享HBase中meta表剖析
任务311: 总览企业大数据Lambda 架构及Kafka使用
任务312: 某信贷实时数据采集存储:开发流程、Kafka元数据存储及模拟生成支付宝订单数据
任务313: 某信贷实时数据采集存储:采用Direct方式自己管理Offset读取Kafka中数据
任务314: 某信贷实时数据采集存储:将JSON格式数据批量插入HBase表及优化分析

 


第3节: 基于Python的Spark 大数据分析
任务315: Spark 框架适合机器学习及支持Python语言、Python版本说明及下载
任务316: Spark中pyspark命令行运行、读取HDFS上数据和实现WordCount词频统计
任务317: 配置Spark支持Python模块库到PyCharm的环境中
任务318: 使用PyCharm开发PySpark程序,读取Local和HDFS数据
任务319: 使用PyCharm开发PySpark程序实现词频统计WordCount程序
任务320: 使用Jupyter Notebook开发PySpark程序
任务321: 在Jupyter Notebook中针对航天飞行数据使用SQL和DSL分析统计

 


第4节: 基于Spark MLlib机器学习推荐系统
任务322: 大数据+机器学习应用常见应用、推荐系统中ALS初始及向量、矩阵是什么
任务323: 推荐系统中协同过滤算法核心、ALS算法思想及ALS两个训练函数(显式和隐式评价)
任务324: ALS矩阵分解模型深入剖析及模型评估指标RMSE说明
任务325: 使用Jutypter Notebook开发针对电影评分数据进行特征构建和使用ALS训练模型
任务326: 使用Jupyter Notebook开发使用模型给用户和产品进行推荐、计算RMSE值
任务327: 回顾复习协同过滤算法核心要点及ALS算法矩阵分解
任务328: 推荐系统模型保存、加载及推荐和企业中推荐系统核心要务
任务329: 使用Scala语言开发对音乐推荐数据训练模型(ALS中隐式评价函数)
任务330: 组合ALS算法中多个超参数训练模型、评估模型找到最佳模型
任务331: 综合分析不同超参数组合训练不同模型状况(显示与隐式)

 

 

 

全球第1大数据架构师精品培训课程,课程以大型商业项目的设计与研发为主线,经典案例小项近100个,大项目3个(离线电商分析、实时统计、智能推荐系统),内容涉及涉及微服务、分布式、集群、搜索技术、实时运算、大数据开发、大数据分析、可视化,人工智能等当下主流热门技术,带领你一步步走向大数据架构师的神圣殿堂!

 

 

一、课程讲师介绍

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

二、课程内容

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

授课教师

学途无忧网金牌合作讲师

课程特色

视频(331)
下载资料(1)

学员动态