机器学习有哪些算法

机器学习有哪些算法

无监督学习

1

聚类算法 (Clustering Algorithms)

聚类就是把一组对象分组化的任务，使得在同一组的对象比起其它组的对象，它们彼此更加相似。

每种聚类算法都不同，下面是其中一些：

基于图心（Centroid）的算法

基于连接的算法

基于密集度的算法

概率论

降维

神经网络 / 深度学习

2

主成分分析 (Principal Component Analysis)

PCA 是一种统计过程，它通过正交变换把一组可能相关联的变量观察，转换成一组线性非相关的变量的值，这些非相关的变量就是主成分。

PCA 的应用包括压缩、简化数据使之易于学习，可视化。需要注意的是，当决定是否用 PCA 的时候，领域知识特别重要。它不适用于噪音多的数据（所有成分的方差要很高才行）

3

奇异值分解 (Singular Value Decomposition)

线性代数中，SVD 是对一个特别复杂的矩阵做因式分解。比如一个 m*n 的矩阵 M，存在一个分解如 M = UΣV，其中 U 和 V 是酉矩阵，Σ 是一个对角矩阵。

PCA 其实是种简单的 SVD。在计算机图形领域，第一个脸部识别算法就用了 PCA 和 SVD，用特征脸 (eigenfaces) 的线性结合表达脸部图像，然后降维，用简单的方法把脸部和人匹配起来。尽管如今的方法更加复杂，依然有很多是依靠类似这样的技术。

4

独立成分分析 (Independent Component Analysis)

ICA 是一种统计技术。它发掘随机变量、测量数据或者信号的集合中隐含的因素。ICA 定义了一种通用模型，用于观测到的多变量数据，通常是一个巨大的样本数据库。在这一模型中，假设数据变量是一些未知的、潜在的变量的线性组合，而组合方式也是未知的。同时假设，潜在的变量是非高斯分布且相互独立的，我们称之为观测数据的独立成分 (Independent components)。

ICA 与 PCA 有一定关联，但是一种更加有用的技术，在经典方法完全失效的时候，可以发现数据源中的潜在因素。它的应用包括数字图片，文件数据库，经济指数和心理测量。

END