感知机模型

输入空间是$chisubseteqmathbb{R}^n$,输出空间是$y={+1,-1}$@H_404_3@ 感知机定义为：$f(x)=sign(wx+b)$

感知机学习策略

输入空间任一点$x_0$到超平面S的距离：@H_404_3@ $frac{1}{||w||}|wx_0+b|$@H_404_3@ 误分类数据$(x_i,y_i)$,有$-y_i(wx_i+b)>0$@H_404_3@ 误分类点$x_i$到超平面S的距离$-frac{1}{||w||}y_i(wx_i+b)$@H_404_3@ 误分类点集合M,所有误分类点到超平面S的距离@H_404_3@ $-frac{1}{||w||}sum_{x_iin{M}}y_i(wx_i+b)$@H_404_3@ 由此，感知机损失函数定义为@H_404_3@ $L(w,b)=-sum_{x_iin{M}}y_i(wx_i+b)$

感知机学习算法（原始形式）

输入：训练数据集@H_404_3@ $T={(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)}$@H_404_3@ $x_iinchisubseteqmathbb{R}^n$,$y_iin{y}={+1,-1}$,学习率$eta$@H_404_3@ 输出：w,b;感知机模型$f(x)=sign(wx+b)$@H_404_3@ (1)选取初值$w_0$,$b_0$@H_404_3@ (2)训练集选取$(x_i,y_i)$@H_404_3@ (3)IF $y_i(wx_i+b)≤0$@H_404_3@ $w←w+eta{y_ix_i}$@H_404_3@ $b←b+eta{y_i}$@H_404_3@ (4)转至(2),直到没有误分类点。

另：感知机算法是收敛的，在训练数据及上的误分类次数k满足@H_404_3@ $k≤(frac{R}{gamma})^2$

感知机学习算法（对偶形式）

由原始形式@H_404_3@ $w←w+eta{y_ix_i}$@H_404_3@ $b←b+eta{y_i}$@H_404_3@ 进行n次,w,b关于$(x_i,y_i)$增量分别为$a_iy_ix_i$和$a_iy_i$@H_404_3@ 记$a_i=n_ieta$,最后学习到的w,b表示为@H_404_3@ $w=sum_{i=1}^{N}a_iy_ix_i$@H_404_3@ $b=sum_{i=1}^{N}a_iy_i$@H_404_3@ 输入：训练数据集@H_404_3@ $T={(x_1,学习率$eta$@H_404_3@ 输出：a,b;感知机模型$f(x)=sign(sum_{j=1}^{N}a_jy_jx_j·x+b)$@H_404_3@ 其中$a=(a_1,a_2,...,a_N)^T$@H_404_3@ (1)$a←0$;$b←0$@H_404_3@ (2)训练集选取$(x_i,y_i)$@H_404_3@ (3)IF $y_i(sum_{j=1}^{N}a_jy_jx_j·x_i+b)≤0$@H_404_3@ $a_i←a_i+eta$@H_404_3@ $b←b+eta{y_i}$@H_404_3@ (4)转至(2),直到没有误分类点。@H_404_3@ 记Gram矩阵$G=[x_i·x_j]_{N×N}$@H_404_3@

（编辑：北几岛）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!