相关向量机

相关向量机（Relevance vector machine，RVM）是使用贝叶斯推理得到回归和分类的简约解的机器学习技术。RVM的函数形式与支持向量机相同，但是可以提供概率分类。

机器学习与資料探勘
问题 分类 聚类 回归 异常检测 自动机器学习 关联规则 强化学习 结构预测 特征学习 線上機器學習 無監督學習 半监督学习 排序学习 语法归纳
監督式學習 (分类 · 回归) 决策树 集成（装袋，提升，随机森林） k-NN 线性回归 朴素贝叶斯 神经网络 逻辑回归 感知器 支持向量机（SVM） 相关向量机（RVM）
聚类 BIRCH 层次 k-平均 期望最大化（EM） DBSCAN OPTICS 均值飘移
降维 因素分析 CCA ICA LDA NMF PCA LASSO t-SNE
结构预测 概率图模型（贝叶斯网络，CRF, HMM）
异常检测 k-NN 局部离群因子
神经网络 自编码 深度学习 多层感知机 RNN 受限玻尔兹曼机 SOM CNN
强化学习 Q学习 SARSA 时序差分学习 深度强化学习
理论 偏差/方差困境 计算学习理论 经验风险最小化 PAC学习 统计学习 VC理论

其与带协方差函数的高斯过程等效。：

${\displaystyle k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\phi (\mathbf {x} ,\mathbf {x} _{j})\phi (\mathbf {x} ',\mathbf {x} _{j})}$

其中φ是核函数（通常是高斯核函数），x₁,…,x_N是训练集的输入向量。

Compared to the SVM the Bayesian formulation allows avoiding the set of free parameters that the SVM has and that usually require cross-validation based post optimizations. However RVMs use an Expectation Maximization (EM)-like learning method and are therefore at risk of local minima, unlike the standard SMO-based algorithms employed by SVMs which are guaranteed to find a global optimum.