机器学习的分类

监督学习(Supervised Learning)：给定一定的数据集以及其对应的正确答案(标签)，学习输入和输出之间的关系。
- 分类(Classification)：针对离散数据
- 回归(Regression)：针对连续数据
无监督学习(Supervised Learning)：给定数据集，学习到数据集中的某种结构，而没有所谓的“正确答案”。
- 聚类(Clustering)
半监督学习(Semi-supervised Learning)：综合利用有标签的数据和没有标签的数据，来生成合适的分类函数。

单变量线性回归问题

Cost Function

\[J(\theta_0, \theta_1) = \frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x_i)-y_i)^2\]

梯度下降法

\[\theta_j := \theta_j - \alpha\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)\]

注：如果\(\alpha\) (learning rate)太小，下降很慢；如果\(\alpha\)太大，可能会不降反升。

批量梯度下降法 (batch gradient descent)

每次迭代用所有的训练样本来更新参数。