吴恩达《机器学习》

一、引言(Introduction)

Machine Learning definition：

  • Tom Mitchell (1998) Well-posed Learning Problem: A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.
  • 计算机程序从经验E中学习，解决某一任务T进行某一性能度量P。通过P测定在T上的表现因经验E而提高。
  • 如果计算机程序在 T 上的性能（以 P 衡量）随着经验 E 提高，则称该计算机程序从经验 E 中学习关于某些任务 T 和某些性能度量 P。
  • 例：任务T是给邮件分类，经验E是是否观察你是否把邮件标记成垃圾邮件，性能度量P就是魏阙归类邮件的比例。

Machine learning algorithms:

  • Supervised learning：监督学习

teach the computer how to do sth

  • Unsupervised learning：无监督学习

    let it learn by itself

Supervised learning：

  • we give algorithm a data set, in which the “right ansers” were given.
  • 我们给它一个房价数据集，在这个数据集中的每个样本，我们都给出正确的价格，即这个房子的卖价。算法的目的就是给出更多的正确答案。
  • Regression: we are trying to predict continuous valued output.
  • 回归：我们试图预测连续值输出(价格)。设法预测连续值的属性。
  • Classification: Discrete valued output (0 or 1)
  • 分类：离散值输出（0 或 1）

Unsupervised learning：

  • 和监督学习不同的是，数据没有任何标签或者相同的标签
  • break these data into these two different clusters.
  • 可以把数据分成两个不同的簇/集群->clustering algorithm聚类算法
  • 并没有提前告知算法这是第一类人/第二类/第三类人，只是告诉算法这里有一堆数据，不知道这些数据是什么，也不知道谁是什么类型，甚至不知道有哪些类型，但你能自动找出这些数据的结构吗？
  • Cocktail party problem algorithm：鸡尾酒会问题算法
    • [W,s,v] = svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x');
    • 可以分离出混合在一起的音频