Return to site

Statistical Learning Theory Learn notes - part II

Support Vector Machine

· 机器学习,统计学习,算法

1

这篇文章先从支持向量机分类器开始介绍。

间隔最大化分类

先考虑两分类的问题, 若干样本服从i.i.d., y空间= {-1, +1},

f(x) = wx + b

分类直线由(w, b)确定, 并且假设存在这样的一条直线能够将正样本和负样本分隔开。 这样:

  • 对所有的正例样本, 有 f(x+) = wx+b > 0,   即 f(x+) * y > 0
  • 对所有的负例样本,有f(x-)= wx + b < 0, 即f(x-) * y > 0       (所有负样本 y 的值是 -1)

备注, 满足这样的样本称为 线性可分样本。

对于线性可分样本, 满足上面的约束条件的解 (w,b) 有无限多个。

这里一般选取能够最充裕地把正样本和负样本进行分离的超平面作为最优解。这里“最充裕”用距离metric最大化来描述。

阅读更多: 查看函数间隔、几何间隔。

以上是硬间隔支持向量机。

与之相对的是软间隔支持向量机, 它的区别是允许有少部分误分类的样本。

之后是对规划问题的求解, 对运筹学有过接触的, 可能会想到寻找原始问题的“对偶问题”

All Posts
×

Almost done…

We just sent you an email. Please click the link in the email to confirm your subscription!

OKSubscriptions powered by Strikingly