(0人评价)
【第十七到二十周】大数据架构分析篇:项目实践篇(2018年录制)
价格 ¥ 880.00
课程还未发布,不允许加入和购买
课程介绍

本课程摘自《大数据系统架构分析师成长之路》

 

 

 

课程目录:

 

第1章: 离线项目篇:用户行为(点击、下单及支付)数据分析(SparkCore+HBase)
任务1: 电商离线分析业务数据调研及技术架构设计
任务2: 基于SparkCore用户行为日志数据ETL至HBase表存储
任务3: 基于SparkCore读取HBase表数据进行新增用户多维度统计分析


第2章: 实时项目篇:某信贷实时数据采集存储(Kafka+SparkStreaming+HBase)
任务4: 某信贷实时数据采集存储:业务需求(背景)及分享HBase中meta表剖析
任务5: 总览企业大数据Lambda 架构及Kafka使用
任务6: 某信贷实时数据采集存储:开发流程、Kafka元数据存储及模拟生成支付宝订单数据
任务7: 某信贷实时数据采集存储:采用Direct方式自己管理Offset读取Kafka中数据
任务8: 某信贷实时数据采集存储:将JSON格式数据批量插入HBase表及优化分析


第3章: 基于Python的Spark 大数据分析
任务9: Spark 框架适合机器学习及支持Python语言、Python版本说明及下载
任务10: Spark中pyspark命令行运行、读取HDFS上数据和实现WordCount词频统计
任务11: 配置Spark支持Python模块库到PyCharm的环境中
任务12: 使用PyCharm开发PySpark程序,读取Local和HDFS数据
任务13: 使用PyCharm开发PySpark程序实现词频统计WordCount程序
任务14: 使用Jupyter Notebook开发PySpark程序
任务15: 在Jupyter Notebook中针对航天飞行数据使用SQL和DSL分析统计


第4章: 基于Spark MLlib机器学习推荐系统
任务16: 大数据+机器学习应用常见应用、推荐系统中ALS初始及向量、矩阵是什么
任务17: 推荐系统中协同过滤算法核心、ALS算法思想及ALS两个训练函数(显式和隐式评价)
任务18: ALS矩阵分解模型深入剖析及模型评估指标RMSE说明
任务19: 使用Jutypter Notebook开发针对电影评分数据进行特征构建和使用ALS训练模型
任务20: 使用Jupyter Notebook开发使用模型给用户和产品进行推荐、计算RMSE值
任务21: 回顾复习协同过滤算法核心要点及ALS算法矩阵分解
任务22: 推荐系统模型保存、加载及推荐和企业中推荐系统核心要务
任务23: 使用Scala语言开发对音乐推荐数据训练模型(ALS中隐式评价函数)
任务24: 组合ALS算法中多个超参数训练模型、评估模型找到最佳模型
任务25: 综合分析不同超参数组合训练不同模型状况(显示与隐式)

授课教师

学途无忧网合作讲师

课程特色

视频(25)
下载资料(1)