This course is for novice programmers or business people who would like to understand the core tools used to wrangle and analyze big data. With no prior experience, you will have the opportunity to walk through hands-on examples with Hadoop and Spark frameworks, two of the most common in the industry. You will be comfortable explaining the specific components and basic processes of the Hadoop architecture, software stack, and execution environment. In the assignments you will be guided in how data scientists apply the important concepts and techniques such as Map-Reduce that are used to solve fundamental problems in big data. You'll feel empowered to have conversations about big data and the data analysis process.
Hadoop 平台和应用程序框架
加州大学圣地亚哥分校課程信息
54,359 次近期查看
學生職業成果
30%
完成這些課程後已開始新的職業生涯
27%
通過此課程獲得實實在在的工作福利
可分享的證書
完成後獲得證書
100% 在線
立即開始，按照自己的計劃學習。
可靈活調整截止日期
根據您的日程表重置截止日期。
完成時間大約為26 小時
英語（English）
字幕：法語（French）, 巴西葡萄牙語, 俄語（Russian）, 英語（English）, 西班牙語（Spanish）
您將獲得的技能
Python ProgrammingApache HadoopMapreduceApache Spark
學生職業成果
30%
完成這些課程後已開始新的職業生涯
27%
通過此課程獲得實實在在的工作福利
可分享的證書
完成後獲得證書
100% 在線
立即開始，按照自己的計劃學習。
可靈活調整截止日期
根據您的日程表重置截止日期。
完成時間大約為26 小時
英語（English）
字幕：法語（French）, 巴西葡萄牙語, 俄語（Russian）, 英語（English）, 西班牙語（Spanish）
提供方
加州大学圣地亚哥分校
UC San Diego is an academic powerhouse and economic engine, recognized as one of the top 10 public universities by U.S. News and World Report. Innovation is central to who we are and what we do. Here, students learn that knowledge isn't just acquired in the classroom—life is their laboratory.
教學大綱 - 您將從這門課程中學到什麼
完成時間為 2 小時
Hadoop Basics
Welcome to the first module of the Big Data Platform course. This first module will provide insight into Big Data Hype, its technologies opportunities and challenges. We will take a deeper look into the Hadoop stack and tool and technologies associated with Big Data solutions.
完成時間為 2 小時
7 個視頻 （總計 53 分鐘）, 4 個閱讀材料, 1 個測驗
7 個視頻
The Apache Framework: Basic Modules3分鐘
Hadoop Distributed File System (HDFS)5分鐘
The Hadoop "Zoo"5分鐘
Hadoop Ecosystem Major Components11分鐘
Exploring the Cloudera VM: Hands-On Part 116分鐘
Exploring the Cloudera VM: Hands-On Part 26分鐘
4 個閱讀材料
Apache Hadoop Ecosystem10分鐘
Lesson 1 Slides (PDF)10分鐘
Hardware & Software Requirements10分鐘
Lesson 2 Slides - Cloudera VM Tour10分鐘
1 個練習
Basic Hadoop Stack30分鐘
完成時間為 4 小時
Introduction to the Hadoop Stack
In this module we will take a detailed look at the Hadoop stack ranging from the basic HDFS components, to application execution frameworks, and languages, services.
完成時間為 4 小時
10 個視頻 （總計 70 分鐘）, 6 個閱讀材料, 3 個測驗
10 個視頻
The Hadoop Distributed File System (HDFS) and HDFS28分鐘
MapReduce Framework and YARN8分鐘
The Hadoop Execution Environment4分鐘
YARN, Tez, and Spark11分鐘
Hadoop Resource Scheduling6分鐘
Hadoop-Based Applications3分鐘
Introduction to Apache Pig7分鐘
Introduction to Apache HIVE7分鐘
Introduction to Apache HBASE7分鐘
6 個閱讀材料
Hadoop Basics - Lesson 1 Slides10分鐘
Lesson 2: Hadoop Execution Environment - Slides10分鐘
Lesson 3: Hadoop-Based Applications Overview - All Slides10分鐘
Command list for Applications Slides10分鐘
Tips to handle service connection errors10分鐘
References for Applications10分鐘
3 個練習
Overview of Hadoop Stack30分鐘
Hadoop Execution Environment30分鐘
Hadoop Applications30分鐘
完成時間為 3 小時
Introduction to Hadoop Distributed File System (HDFS)
In this module we will take a detailed look at the Hadoop Distributed File System (HDFS). We will cover the main design goals of HDFS, understand the read/write process to HDFS, the main configuration parameters that can be tuned to control HDFS performance and robustness, and get an overview of the different ways you can access data on HDFS.
完成時間為 3 小時
9 個視頻 （總計 58 分鐘）, 5 個閱讀材料, 3 個測驗
9 個視頻
The HDFS Performance Envelope5分鐘
Read/Write Processes in HDFS4分鐘
HDFS Tuning Parameters6分鐘
HDFS Performance and Robustness9分鐘
Overview of HDFS Access, APIs, and Applications5分鐘
HDFS Commands8分鐘
Native Java API for HDFS4分鐘
REST API for HDFS8分鐘
5 個閱讀材料
Lesson 1: Introduction to HDFS - Slides10分鐘
HDFS references10分鐘
Lesson 2: HDFS Performance and Tuning - Slides10分鐘
HDFS Access, APIs10分鐘
Lesson 3: HDFS Access, APIs, Applications - Slides10分鐘
3 個練習
HDFS Architecture30分鐘
HDFS performance,tuning, and robustness30分鐘
Accessing HDFS30分鐘
完成時間為 7 小時
Introduction to Map/Reduce
This module will introduce Map/Reduce concepts and practice. You will learn about the big idea of Map/Reduce and you will learn how to design, implement, and execute tasks in the map/reduce framework. You will also learn the trade-offs in map/reduce and how that motivates other tools.
完成時間為 7 小時
9 個視頻 （總計 27 分鐘）, 3 個閱讀材料, 3 個測驗
9 個視頻
The Map/Reduce Framework2分鐘
A MapReduce Example: Wordcount in detail4分鐘
MapReduce: Intro to Examples and Principles2分鐘
MapReduce Example: Trending Wordcount1分鐘
MapReduce Example: Joining Data4分鐘
MapReduce Example: Vector Multiplication2分鐘
Computational Costs of Vector Multiplication3分鐘
MapReduce Summary2分鐘
3 個閱讀材料
Lesson 1: Introduction to MapReduce - Slides10分鐘
A note on debugging map/reduce programs.10分鐘
Lesson 2: MapReduce Examples and Principles - Slides10分鐘
1 個練習
Lesson 1 Review30分鐘
審閱
來自HADOOP 平台和应用程序框架的熱門評論
由 CA 提供2015年12月9日
Very detailed , thorough introduction to a lot of the Hadoop ecosystem. Nice explanation and assignment to get a feel for Spark. At times a bit dry but altogether a well structured and taught course.
由 GM 提供2016年1月31日
I'm forced to give 5 stars. I don't want to have a certification on a poor quality course (another coursera mistake). This material needs tremendous amount of work to get finished and revised.
由 NP 提供2020年5月15日
Learned about Hadoop Ecosystem, limitations of map-reduce approach and Spark as a solution to overcome some of limitations.Thanks for giving me the opportunity to participate in this MOOC.
由 GC 提供2015年10月24日
Super hands on introduction to key Hadoop components, such as Spark, Map Reduce, Hive, Pig, HBase, HDFS, YARN, Squoop and Flume. I can't wait to the next course on the specialization.
常見問題
我什么时候能够访问课程视频和作业？
讲座和作业的访问权限取决于您的注册类型。如果您以旁听模式参加课程，则可以免费查看大多数课程资料。要访问评分作业并获得证书，您需要在旁听期间或之后购买证书体验。如果看不到旁听选项：
- 课程可能不提供旁听选项。您可以尝试免费试用，也可以申请助学金。
- 课程可能会改为提供'完整课程，没有证书'。通过此选项，您可以查看所有课程材料、提交所要求的作业，以及获得最终成绩。这也意味着您将无法购买证书体验。
我购买证书后会得到什么？
您购买证书后，将有权访问所有课程材料，包括评分作业。完成课程后，您的电子课程证书将添加到您的成就页中，您可以通过该页打印您的课程证书或将其添加到您的领英档案中。如果您只想阅读和查看课程内容，可以免费旁听课程。
Is financial aid available?
是的，Coursera 可以向无法承担学费的学生提供助学金。点击左侧‘注册’按钮下的‘助学金’链接即可申请助学金。您可以根据屏幕提示完成申请，申请获批后会收到通知。了解详情。
還有其他問題嗎？請訪問 學生幫助中心。
