Machine Learning-Concepts

Machine Learning-Concepts

1. 数据

大写字母表示举证,大写字母表示向量

  • 数据整体叫数据集(data set)
  • 每一行数据称为一个样本(sample)
  • 每一个字段表达样本的一个特征(feature)
  • 第i个样本写作 $ X^{(i)} $ ,第i个样本第j个特征值写作 $X^{(i)}_j $
  • 学习的任务:标记(label), 表示为 $ y $, 第 $i$ 个样本的标记写作 $ y^{ (i) } $
  • 第 $i$ 行,也就是第 $i$ 个样本,也被称作特征向量 $ X^{ (i) } $

$$
X^{(i)} = \left(
\begin{matrix}
5.1 \
3.5 \
1.4 \
0.2
\end{matrix}
\right)
$$

  • 数学中通常把向量表示成列向量,所以通常特征可以表示成如下的形式:

$$
\left(
\begin{matrix}
(X^{ (1)} )^T \
(X^{ (2)} )^T \
(X^{ (3)} )^T
\end{matrix}
\right)
$$

  • 所有特征所存在的空间,称为特征空间(feature space)
    • 分类任务的本质就是特征空间的划分
    • 在高维空间同理
  • 特征可以很抽象
    • 图像中,每一个像素点都是特征,e.g. 28 * 28的图像就有28 * 28 = 784个特征
    • 如果彩色图像特征更多

2. 基本任务

监督学习主要处理分类和回归问题

分类

  • 二分类
    • 判断邮件是否是垃圾邮件
    • 判断发放给客户信用卡是否有风险
    • 判断肿瘤是恶性还是良性
    • 判断股票涨跌
  • 多分类
    • 数字识别
    • 图像识别
    • 判断发放给客户的信用卡的风险评级

很多复杂的问题可以转换成多分类问题

  • 一些算法只支持二分类的任务,但多分类的任务可以转换成二分类的任务
  • 一些算法天然可以完成多分类任务
  • 多标签分类 e.g. 对图片中的元素进行划分

回归

  • 结果是一个连续数字的值,而非一个类别
    • 房屋价格
    • 市场分析
    • 学生成绩
    • 股票价格
  • 有一些算法只能解决回归问题,有一些算法只能解决分类问题,有一些算法都可以解决
  • 一些情况下,回归任务可以简化为分类任务

流程

image-20200209171829338

  • 模型 $f(x)$

3. 机器学习分类

监督学习

给机器的训练数据拥有"标记"or"答案"

  • 图片已经拥有了标定信息
  • 银行已经积累了一定的客户信息和他们信用卡的信用情况
  • 医院已经积累了一定的病人信息和他们最终确诊是否患病的情况
  • 市场积累了房屋的基本信息和最终成交的金额

非监督学习

给机器的训练数据没有任何"标记"或者“答案”

对没有"标记"的数据进行分类-聚类分析

意义

对数据进行降维处理

  • 特征提取:信用卡的信用评级和人的胖瘦无关?
  • 特征压缩(特征之间关系很强):PCA

降维处理可以方便可视化

异常检测

半监督学习

  • 一部分数据标有"标记"或者"答案",另一部分数据没有

  • 更常见:各种原因产生的标记缺失

  • 通常都先使用无监督学习手段对数据做处理,之后使用监督学习手段做模型的训练和预测

增强学习

根据周围环境的情况,采取行动,根据采取行动的结果,学习行动方式

行动-反馈

奖赏或惩罚机制

4. 机器学习的其他分类

批量学习(Batch Learning)

  • 优点:简单
  • 问题:如何适应环境变化?
  • 解决方案:定时重新批量学习
  • 缺点:每次重新批量学习,运算量巨大;同时,在某些环境变化非常快的情况下,甚至不可能

在线学习(Online Learning)

输入样例和正确结果迭代进入机器学习算法

  • 优点:及时反映新的环境变化
  • 问题:新的数据带来不好的变化?
  • 解决方案:需要加强对数据进行监控
  • 其他:也适用于数据量巨大,无法完全批量学习的环境

参数学习(Parametric Learning)

e.g. 假设模型定为 $f(x) = ax + b$,那么机器学习的任务就是找到合适的 $a$ 和 $b$

特点:一旦学到了参数,就不再需要原有的数据集

非参数学习(Nonparametric Learning)

  • 不对模型进行过多假设
  • 非参数不代表没有参数