上海建桥学院课程教学进度计划表
一、基本信息
| 课程代码 | 2050559 | 课程名称 | 大数据挖掘、分析与应用 |
| 课程学分 | 4 | 总学时 | 64 |
| 授课教师 | 蔡文英 | 教师邮箱 | Cai.wenying@huatec.com |
| 上课班级 | 计科中兴B15-1 | 上课教室 | 四教303；信息418 |
| 答疑时间 | 周一下午三点到五点半 周三早上9点到十一点，下午三点到五点半 | ||
| 主要教材 | 大数据技术基础：基于Hadoop与Spark | ||
| 参考资料 | 百度；慕课网 | ||
二、课程教学进度
| 周次 | 教学内容 | 教学方式 | 作业 |
| 1 | 大数据的发展历程以及大数据对国内外各行各业的影响；大数据的概念及其特征；大数据的来源，理解大数据在技术、安全等方面面临的挑战和研究大数据的意义；大数据的存储与计算模式的相关概念，了解其中的关键技术及基本思想；大数据的典型应用场景，学会用创新性思维来看待大数据 | 讲授 | 课后复习，下节课提问 |
| 2 |
| 讲授 | 课后复习，下节课提问 |
| 3 | Hadoop的分布式文件系统 | 讲授；实操 | 课后复习，下节课提问 |
| 4 | Hadoop分布式计算框架 | 讲授 | 课后复习，下节课提问 |
| 5 | MapReduce API的种类；MapReduce Java API的常用类 | 讲授 | 课后复习，下节课提问 |
| 6 | MapReduce的数据类型；MapReduce Java API的编程思路 | 讲授 | 课后复习，下节课提问 |
| 7 | 序列化；MapReduce的输入输出类型与格式 | 讲授；实操 | 课后复习，下节课提问 |
| 8 | MapReduce的map任务和reduce任务；MapReduce任务的配置和执行 | 讲授 | 课后复习，下节课提问 |
| 9 | 掌握Spark环境搭建；Spark的发展历程和应用现状，熟悉Spark的特点 | 讲授 | 课后复习，下节课提问 |
| 10 | Spark的数据模型RDD的处理过程；常用的RDD算子的使用方法； | 讲授 | 课后复习，下节课提问 |
| 11 | Spark的任务调度机制；Spark的技术体系架构 | 讲授 | 课后复习，下节课提问 |
| 12 | Spark Streaming的优势；Spark Streaming的工作机制 | 讲授 | 课后复习，下节课提问 |
| 13 | DStream流的Window操作机制；DStream的使用方法 | 讲授 | 课后复习，下节课提问 |
| 14 | Spark Streaming的性能优化；Spark SQL的工作原理 | 讲授 | 课后复习，下节课提问 |
| 15 | Spark SQL中的DataSet与DataFrame类及其常用方法；掌握常见数据源的获取与查询 | 讲授 | 课后复习，下节课提问 |
| 16 | 复习周 | 讲授 | 课后复习，下节课提问 |
| 17 | 考试周 | 无 |
|
三、评价方式以及在总评成绩中的比例
| 总评构成（1+X） | 评价方式 | 占比 |
| 1 | 期终闭卷考 | 40% |
| X1 | 个人项目报告 | 40% |
| X2 | 课堂小测验 | 20% |
第
注：课程教学进度计划表电子版公布在本学院课程网站上，并发送到教务处存档。
