Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization

本課程是深度学习專項課程專項課程的一部分

4.9
星
57,275 個評分

Andrew Ng 另外 +2 位授課教師
頂尖授課教師

提供方

課程信息

This course will teach you the "magic" of getting deep learning to work well. Rather than the deep learning process being a black box, you will understand what drives performance, and be able to more systematically get good results. You will also learn TensorFlow. 
After 3 weeks, you will: 
- Understand industry best-practices for building deep learning applications. 
- Be able to effectively use the common neural network "tricks", including initialization, L2 and dropout regularization, Batch normalization, gradient checking, 
- Be able to implement and apply a variety of optimization algorithms, such as mini-batch gradient descent, Momentum, RMSprop and Adam, and check for their convergence. 
- Understand new best-practices for the deep learning era of how to set up train/dev/test sets and analyze bias/variance
- Be able to implement a neural network in TensorFlow. 

This is the second course of the Deep Learning Specialization.

學生職業成果

30%

完成這些課程後已開始新的職業生涯

29%

通過此課程獲得實實在在的工作福利

11%

加薪或升職

可分享的證書

完成後獲得證書

100% 在線

立即開始，按照自己的計劃學習。

第 2 門課程（共 5 門）

深度学习專項課程

可靈活調整截止日期

根據您的日程表重置截止日期。

初級

完成時間大約為18 小時

英語（English）

字幕：中文（繁體）, 阿拉伯語（Arabic）, 法語（French）, （歐洲人講的）葡萄牙語, 中文（簡體）, 意大利語, 巴西葡萄牙語, 越南語, 韓語, 德語（German）, 俄語（Russian）, 土耳其語（Turkish）, 英語（English）, 西班牙語（Spanish）

您將獲得的技能

HyperparameterTensorflowHyperparameter OptimizationDeep Learning

學生職業成果

30%

完成這些課程後已開始新的職業生涯

29%

通過此課程獲得實實在在的工作福利

11%

加薪或升職

可分享的證書

完成後獲得證書

100% 在線

立即開始，按照自己的計劃學習。

第 2 門課程（共 5 門）

深度学习專項課程

可靈活調整截止日期

根據您的日程表重置截止日期。

初級

完成時間大約為18 小時

英語（English）

講師

授課教師評分

4.92/5 （3,215 個評分）

提供方

deeplearning.ai

DeepLearning.AI is an education technology company that develops a global community of AI talent.

教學大綱 - 您將從這門課程中學到什麼

內容評分96%（58,104 個評分）

週

週 1

完成時間為 8 小時

Practical aspects of Deep Learning

完成時間為 8 小時

15 個視頻（總計 131 分鐘）, 3 個閱讀材料, 4 個測驗

15 個視頻

Train / Dev / Test sets12分鐘

Bias / Variance8分鐘

Basic Recipe for Machine Learning6分鐘

Regularization9分鐘

Why regularization reduces overfitting?7分鐘

Dropout Regularization9分鐘

Understanding Dropout7分鐘

Other regularization methods8分鐘

Normalizing inputs5分鐘

Vanishing / Exploding gradients6分鐘

Weight Initialization for Deep Networks6分鐘

Numerical approximation of gradients6分鐘

Gradient checking6分鐘

Gradient Checking Implementation Notes5分鐘

Yoshua Bengio interview25分鐘

3 個閱讀材料

Clarification about Upcoming Regularization Video1分鐘

Clarification about Upcoming Understanding dropout Video1分鐘

Clarification about Upcoming Normalizing Inputs Video1分鐘

1 個練習

Practical aspects of deep learning30分鐘

週

週 2

完成時間為 5 小時

Optimization algorithms

完成時間為 5 小時

11 個視頻（總計 92 分鐘）, 2 個閱讀材料, 2 個測驗

11 個視頻

Mini-batch gradient descent11分鐘

Understanding mini-batch gradient descent11分鐘

Exponentially weighted averages5分鐘

Understanding exponentially weighted averages9分鐘

Bias correction in exponentially weighted averages4分鐘

Gradient descent with momentum9分鐘

RMSprop7分鐘

Adam optimization algorithm7分鐘

Learning rate decay6分鐘

The problem of local optima5分鐘

Yuanqing Lin interview13分鐘

2 個閱讀材料

Clarification about Upcoming Adam Optimization Video1分鐘

Clarification about Learning Rate Decay Video1分鐘

1 個練習

Optimization algorithms30分鐘

週

週 3

完成時間為 5 小時

Hyperparameter tuning, Batch Normalization and Programming Frameworks

完成時間為 5 小時

11 個視頻（總計 104 分鐘）, 2 個閱讀材料, 2 個測驗

11 個視頻

Tuning process7分鐘

Using an appropriate scale to pick hyperparameters8分鐘

Hyperparameters tuning in practice: Pandas vs. Caviar6分鐘

Normalizing activations in a network8分鐘

Fitting Batch Norm into a neural network12分鐘

Why does Batch Norm work?11分鐘

Batch Norm at test time5分鐘

Softmax Regression11分鐘

Training a softmax classifier10分鐘

Deep learning frameworks4分鐘

TensorFlow16分鐘

2 個閱讀材料

Clarifications about Upcoming Softmax Video1分鐘

Note about TensorFlow 1 and TensorFlow 210分鐘

1 個練習

Hyperparameter tuning, Batch Normalization, Programming Frameworks30分鐘

審閱

4.9

6577 條評論

5 stars
88.32%
4 stars
10.54%
3 stars
0.96%
2 stars
0.10%
1 star
0.04%

來自IMPROVING DEEP NEURAL NETWORKS: HYPERPARAMETER TUNING, REGULARIZATION AND OPTIMIZATION的熱門評論

由 NA 提供2020年1月13日

After completion of this course I know which values to look at if my ML model is not performing up to the task. It is a detailed but not too complicated course to understand the parameters used by ML.

由 XG 提供2017年10月30日

Thank you Andrew!! I know start to use Tensorflow, however, this tool is not well for a research goal. Maybe, pytorch could be considered in the future!! And let us know how to use pytorch in Windows.

由 A 提供2017年10月22日

Assignment in week 2 could not tell the difference between 'a-=b' and 'a=a-b' and marked the former as incorrect even though they are the same and gave the same output. Other than that, a great course

由 YL 提供2018年2月20日

very useful course, especially the last tensorflow assignment. the only reason i gave 4 stars is due to the lack of practice on batchnorm, which i believe is one of the most usefule techniques lately.

查看所有評論

關於深度学习專項課程

If you want to break into AI, this Specialization will help you do so. Deep Learning is one of the most highly sought after skills in tech. We will help you become good at Deep Learning.

In five courses, you will learn the foundations of Deep Learning, understand how to build neural networks, and learn how to lead successful machine learning projects. You will learn about Convolutional networks, RNNs, LSTM, Adam, Dropout, BatchNorm, Xavier/He initialization, and more. You will work on case studies from healthcare, autonomous driving, sign language reading, music generation, and natural language processing. You will master not only the theory, but also see how it is applied in industry. You will practice all these ideas in Python and in TensorFlow, which we will teach. You will also hear from many top leaders in Deep Learning, who will share with you their personal stories and give you career advice. AI is transforming multiple industries. After finishing this specialization, you will likely find creative ways to apply it to your work. We will help you master Deep Learning, understand how to apply it, and build a career in AI.

常見問題

我什么时候能够访问课程视频和作业？
讲座和作业的访问权限取决于您的注册类型。如果您以旁听模式参加课程，则可以免费查看大多数课程资料。要访问评分作业并获得证书，您需要在旁听期间或之后购买证书体验。如果看不到旁听选项：
课程可能不提供旁听选项。您可以尝试免费试用，也可以申请助学金。
课程可能会改为提供'完整课程，没有证书'。通过此选项，您可以查看所有课程材料、提交所要求的作业，以及获得最终成绩。这也意味着您将无法购买证书体验。
我订阅此专项课程后会得到什么？
您注册课程后，将有权访问专项课程中的所有课程，并且会在完成课程后获得证书。您的电子课程证书将添加到您的成就页中，您可以通过该页打印您的课程证书或将其添加到您的领英档案中。如果您只想阅读和查看课程内容，可以免费旁听课程。
Is financial aid available?
是的，Coursera 可以为无法承担费用的学生提供助学金。通过点击左侧“注册”按钮下的“助学金”链接可以申请助学金。您可以根据屏幕提示完成申请，申请获批后会收到通知。您需要针对专项课程中的每一门课程完成上述步骤，包括毕业项目。了解更多。
完成课程后，我会获得大学学分吗？
此课程不提供大学学分，但部分大学可能会选择接受课程证书作为学分。查看您的合作院校，了解详情。Coursera 上的在线学位和 Mastertrack™ 证书提供获得大学学分的机会。

還有其他問題嗎？請訪問學生幫助中心。

Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization

課程信息

學生職業成果

30%

29%

11%

您將獲得的技能

學生職業成果

30%

29%

11%

講師

Andrew Ng
頂尖授課教師

Kian Katanforoosh
頂尖授課教師

Teaching Assistant - Younes Bensouda Mourri
頂尖授課教師

提供方

deeplearning.ai

教學大綱 - 您將從這門課程中學到什麼

週 1

Practical aspects of Deep Learning

週 2

Optimization algorithms

週 3

Hyperparameter tuning, Batch Normalization and Programming Frameworks

審閱

來自IMPROVING DEEP NEURAL NETWORKS: HYPERPARAMETER TUNING, REGULARIZATION AND OPTIMIZATION的熱門評論

關於深度学习專項課程

常見問題

熱門在線課程

熱門在線專項課程

在線證書

在線學位課程

Coursera

社區

更多

Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization

課程信息

學生職業成果

30%

29%

11%

您將獲得的技能

學生職業成果

30%

29%

11%

講師

Andrew Ng頂尖授課教師

Kian Katanforoosh頂尖授課教師

Teaching Assistant - Younes Bensouda Mourri頂尖授課教師

提供方

deeplearning.ai

教學大綱 - 您將從這門課程中學到什麼

週 1

Practical aspects of Deep Learning

週 2

Optimization algorithms

週 3

Hyperparameter tuning, Batch Normalization and Programming Frameworks

審閱

來自IMPROVING DEEP NEURAL NETWORKS: HYPERPARAMETER TUNING, REGULARIZATION AND OPTIMIZATION的熱門評論

關於 深度学习 專項課程

常見問題

Coursera Footer

熱門在線課程

熱門在線專項課程

在線證書

在線學位課程

Coursera

社區

更多

Andrew Ng
頂尖授課教師

Kian Katanforoosh
頂尖授課教師

Teaching Assistant - Younes Bensouda Mourri
頂尖授課教師

關於深度学习專項課程