基于Python Spark的大数据分析

实时在线直播,PySpark深入浅出

默认教学计划
(14人评价)
价格 ¥199.50 ¥ 399.00 5折
活动
教学计划
课程介绍

温馨提示:
    1、学习方式:提供在线视频,反复学习,加入QQ群答疑
    2、报名课程后,请联系客服(QQ:2327819118)申请加入班级答疑交流QQ群;

 

课程内容:

课程研发环境
Anaconda2-4.2.0(Windows 64和Linux 64位)
pycharm-community-2016.2.3
Python-2.7.9
spark-1.6.1-bin-2.5.0-cdh5.3.6
hadoop-2.5.0-cdh5.3.6
hive-0.13.1-chd5.3.6


一、pyspark环境篇
①python2.7+pycharm环境配置
②anaconda环境配置
③python数据结构及函数使用
④Spark2.x环境配置

2、pyspark基础篇
①配置pyspark模块到pycharm
②基于pyspark编程实现wordcount(词频统计)
③spark-submit提交spark application
④案例:基于pyspark电商网站数据分析
⑤深入理解pyspark内部工作原理

3、pyspark进阶篇
①基于pyspark的sparksql编程(sql和dsl)
②案例:淘宝用户数据分析(集成hive使用)
③如何定义、注册和使用udf
④基于pyspark的sparkstreaming实时计算
⑤案例:实时销售额统计和商品点击趋势分析

4、pyspark项目篇
①实战项目:美国宇航局肯尼迪航天中心web日志
②数据统计:数据总览、http响应状态相关统计分析、客户端相关访问统计分析、uri访问相关统计分析

5、bigdata实战篇
①使用hbase的pyton api访问数据
②实战:爬取电子商务网站的图片和商品信息
③python的爬虫(beautifulsoap和mechnize)
④数据存储hbase表及分析

 

课程目录:

课程一:PySpark课程及环境准备

0101-为什么要学习PySpark编程
0102-ySpark编程的内容大纲
0103-Python介绍、Windows下2.7的安装及测试
0104-PyCharm安装、设置及创建工程和测试
0105-PySpark第三方包的安装配置
0106-基于Python的SparkCore编程模板
0107-解决Windows下开发HDFS相关警告
0108-并行化本地集合创建RDD及RDD初步使用
0109-Python中函数的定义及匿名函数lambda使用
0110-PySpark实现WordCount程序及测试


课程二:PySpark环境准备(二)

0201-回顾上次课程的内容及本次课程提纲
0202-PySpark实现从HDFS读取数据实现WordCount(属性配置)
0203-深入WordCount程序之SortByKey
0204-深入WordCount程序之Top
0205-Anaconda2版本、安装、配置、使用及测试(针对pyspark编程)
0206-Spark自带交互式pyspark命令的使用
0207-pyspark底层架构及如何提交pyspark程序运行


课程三:PySpark基础篇

0301-Linux下源码编译安装Python及测试pyspark程序
0302-快速掌握SparkStandalone及HistoryServer配置与功能使用
0303-运行Python脚本在SparkStandalone集群模式下
0304-案例分析:需求分析及读取数据、过滤清洗转换数据


课程四:PySpark进阶篇(一)

0401-案例分析:浏览量PV和访客数UV分析实现
0402-案例分析:熟悉RDD中其他API函数的使用
0403-PySpark基础使用回顾总结
0404-淘宝数据分析:Python的SparkSQL编程及RDD转换为DataFrame
0405-淘宝数据分析:Python的DataFrame的SQL和DSL数据分析


课程五:PySpark进阶篇(二)

0501-Linux系统配置pyspark及安装PyCharm的配置
0502-pyspark编程SparkSQL从Hive表和MySQL表读取数据及JOIN分析
0503-pyspark中SparkSQL定义函数及在SQL与DSL中使用
0504-基于Python的SparkStreaming从Network读取数据处理


课程六:PySpark项目篇(一)

0601-基于Python的SparkStreaming开发注意事项及自定义输出函数、企业的使用说明
0602-项目实战:数据调研和开发流程
0603-项目实战:pSparkSQL数据读取、数据解析(正则表达式函数)和数据初步清洗


课程七:PySpark项目篇(二)

0701-项目实战:数据清洗过滤(SparkSQL函数使用)
0702-项目实战:数据转换(日期类型数据处理,自定义UDF使用)
0703-高级应用:基于Python语言访问HBase表的数据(Thrift模块及环境配置)


课程八:PySpark项目篇(三)
0801-项目实战:依据需求数据分析编程测试(一)
0802-项目实战:依据需求数据分析编程测试(二)
0803-项目实战:依据需求数据分析编程测试(三)及高级知识扩展

课程目标
  • 本课程以案例驱动的方式讲解如何基于Python语言进行Spark Application编程,完成数据获取、处理、数据分析及可视化方面常用的数据分析方法与技巧,通过这些实际案例让学员轻松掌握使用PySpark分析来自不同领域的数据,随课代码及案例代码均会提供给学员自行实操。
适合人群
  • 有一定Hadoop和Spark框架基础要提升的学习者
  • 尚不会使用基于Python的Spark大数据分析师从业者
  • 想使用Python进行开发的大数据工程师

授课教师

资深大数据讲师

课程特色

视频(42)
下载资料(8)