• 文档
main content

训练用于一类和二类分类的支持向量机 (svm) 分类器 -凯发k8网页登录

训练用于一类和二类分类的支持向量机 (svm) 分类器

语法

mdl = fitcsvm(tbl,responsevarname)
mdl = fitcsvm(tbl,formula)
mdl = fitcsvm(tbl,y)
mdl = fitcsvm(x,y)
mdl = fitcsvm(___,name,value)

说明

fitcsvm 基于低维或中维预测变量数据集训练或交叉验证一类和二类（二元）分类的支持向量机 (svm) 模型。fitcsvm 支持使用核函数映射预测变量数据，并支持序列最小优化 (smo)、迭代单点数据算法 (isda) 或 l1 软边距最小化（二次规划目标函数最小化）。

要基于高维数据集（即包含许多预测变量的数据集）训练二类分类线性 svm 模型，请改用 fitclinear。

对于结合使用二类 svm 模型的多类学习，请使用纠错输出编码 (ecoc)。有关详细信息，请参阅 fitcecoc。

要训练 svm 回归模型，请参阅 fitrsvm（适用于低维和中维预测变量数据集）或 fitrlinear（适用于高维数据集）。

mdl = fitcsvm(tbl,responsevarname) 返回训练的支持向量机 (svm) 分类器 mdl。该分类器使用表 tbl 中包含的样本数据进行训练。responsevarname 是 tbl 中变量的名称，该变量包含一类或二类分类的类标签。

如果类标签变量只包含一个类（例如，由 1 组成的向量），fitcsvm 会训练一类分类模型。否则，该函数将训练二类分类模型。

mdl = fitcsvm(tbl,formula) 返回训练的 svm 分类器。该分类器使用表 tbl 中包含的样本数据进行训练。formula 是用于拟合 mdl 的解释模型，该模型由 tbl 中的响应和一部分预测变量构成。

mdl = fitcsvm(tbl,y) 返回训练的 svm 分类器。该分类器使用表 tbl 中的预测变量和向量 y 中的类标签进行训练。

示例

mdl = fitcsvm(x,y) 返回训练的 svm 分类器，该分类器使用矩阵 x 中的预测变量和向量 y 中的一类或二类分类的类标签进行训练。

示例

mdl = fitcsvm(___,name,value) 可在前面语法中的输入参数外使用一个或多个名称-值对组参数指定选项。例如，您可以指定交叉验证的类型、误分类的代价以及分数变换函数的类型。

示例

加载 fisher 鸢尾花数据集。删除萼片的长度和宽度以及所有观测到的山鸢尾花。

load fisheriris
inds = ~strcmp(species,'setosa');
x = meas(inds,3:4);
y = species(inds);

使用经过处理的数据集训练 svm 分类器。

svmmodel = fitcsvm(x,y)
svmmodel = 
  classificationsvm
             responsename: 'y'
    categoricalpredictors: []
               classnames: {'versicolor'  'virginica'}
           scoretransform: 'none'
          numobservations: 100
                    alpha: [24x1 double]
                     bias: -14.4149
         kernelparameters: [1x1 struct]
           boxconstraints: [100x1 double]
          convergenceinfo: [1x1 struct]
          issupportvector: [100x1 logical]
                   solver: 'smo'
  properties, methods

svmmodel 是经过训练的 classificationsvm 分类器。您可以查看 svmmodel 的属性。例如，使用圆点表示法查看类顺序。

classorder = svmmodel.classnames
classorder = 2x1 cell
    {'versicolor'}
    {'virginica' }

第一个类 ('versicolor') 是负类，第二个类 ('virginica') 是正类。您可以使用 'classnames' 名称-值对组参数在训练期间更改类顺序。

绘制数据的散点图并圈出支持向量。

sv = svmmodel.supportvectors;
figure
gscatter(x(:,1),x(:,2),y)
hold on
plot(sv(:,1),sv(:,2),'ko','markersize',10)
legend('versicolor','virginica','support vector')
hold off

figure contains an axes object. the axes object contains 3 objects of type line. one or more of the lines displays its values using only markers these objects represent versicolor, virginica, support vector.

支持向量是发生在其估计的类边界之上或之外的观测值。

您可以使用 'boxconstraint' 名称-值对组参数在训练过程中设置框约束来调整边界（从而调整支持向量的数量）。

此示例说明如何绘制具有两个预测变量的二类（二元）svm 分类器的决策边界和边距线。

加载 fisher 鸢尾花数据集。排除所有杂色鸢尾花物种（仅留下山鸢尾花和海滨鸢尾花物种），仅保留萼片长度和宽度测量值。

load fisheriris;
inds = ~strcmp(species,'versicolor');
x = meas(inds,1:2);
s = species(inds);

训练线性核 svm 分类器。

svmmodel = fitcsvm(x,s);

svmmodel 是经过训练的 classificationsvm 分类器，其属性包括支持向量、线性预测变量系数和偏置项。

sv = svmmodel.supportvectors; % support vectors
beta = svmmodel.beta; % linear predictor coefficients
b = svmmodel.bias; % bias term

绘制数据的散点图并圈出支持向量。支持向量是发生在其估计的类边界之上或之外的观测值。

hold on
gscatter(x(:,1),x(:,2),s)
plot(sv(:,1),sv(:,2),'ko','markersize',10)

svmmodel 分类器的最佳分离超平面是由 β1x1 β2x2 b=0 指定的直线。将两个物种之间的决策边界绘制为一条实线。

x1 = linspace(min(x(:,1)),max(x(:,1)),100);
x2 = -(beta(1)/beta(2)*x1)-b/beta(2);
plot(x1,x2,'-')

线性预测变量系数 β 定义与决策边界正交的向量。最大边距宽度为 2||β‖-1（有关详细信息，请参阅用于二类分类的支持向量机）。将最大边距边界绘制为虚线。标记坐标区并添加图例。

m = 1/sqrt(beta(1)^2   beta(2)^2);  % margin half-width
x1margin_low = x1 beta(1)*m^2;
x2margin_low = x2 beta(2)*m^2;
x1margin_high = x1-beta(1)*m^2;
x2margin_high = x2-beta(2)*m^2;
plot(x1margin_high,x2margin_high,'b--')
plot(x1margin_low,x2margin_low,'r--')
xlabel('x_1 (sepal length in cm)')
ylabel('x_2 (sepal width in cm)')
legend('setosa','virginica','support vector', ...
    'boundary line','upper margin','lower margin')
hold off

figure contains an axes object. the axes object with xlabel x_1 ( s e p a l blank l e n g t h blank i n blank c m ), ylabel x_2 ( s e p a l blank w i d t h blank i n blank c m ) contains 6 objects of type line. one or more of the lines displays its values using only markers these objects represent setosa, virginica, support vector, boundary line, upper margin, lower margin.

加载 ionosphere 数据集。

load ionosphere
rng(1); % for reproducibility

使用径向基核训练 svm 分类器。让软件计算核函数的缩放值。对预测变量进行标准化。

svmmodel = fitcsvm(x,y,'standardize',true,'kernelfunction','rbf',...
    'kernelscale','auto');

svmmodel 是经过训练的 classificationsvm 分类器。

交叉验证 svm 分类器。默认情况下，软件使用 10 折交叉验证。

cvsvmmodel = crossval(svmmodel);

cvsvmmodel 是 classificationpartitionedmodel 交叉验证的分类器。

估计样本外的误分类率。

classloss = kfoldloss(cvsvmmodel)
classloss = 0.0484

泛化率约为 5%。

通过将所有鸢尾花分配给同一个类来修改 fisher 的鸢尾花数据集。检测修改后的数据集中的离群值，并确认观测值中离群值的预期比例。

加载 fisher 鸢尾花数据集。删除花瓣的长度和宽度。将所有鸢尾花都视为来自同一个类。

load fisheriris
x = meas(:,1:2);
y = ones(size(x,1),1);

使用修改后的数据集训练 svm 分类器。假设 5% 的观测值是离群值。对预测变量进行标准化。

rng(1);
svmmodel = fitcsvm(x,y,'kernelscale','auto','standardize',true,...
    'outlierfraction',0.05);

svmmodel 是经过训练的 classificationsvm 分类器。默认情况下，软件使用高斯核进行一类学习。

绘制观测值和决策边界。标记支持向量和潜在离群值。

svind = svmmodel.issupportvector;
h = 0.02; % mesh grid step size
[x1,x2] = meshgrid(min(x(:,1)):h:max(x(:,1)),...
    min(x(:,2)):h:max(x(:,2)));
[~,score] = predict(svmmodel,[x1(:),x2(:)]);
scoregrid = reshape(score,size(x1,1),size(x2,2));
figure
plot(x(:,1),x(:,2),'k.')
hold on
plot(x(svind,1),x(svind,2),'ro','markersize',10)
contour(x1,x2,scoregrid)
colorbar;
title('{\bf iris outlier detection via one-class svm}')
xlabel('sepal length (cm)')
ylabel('sepal width (cm)')
legend('observation','support vector')
hold off

figure contains an axes object. the axes object with title blank i r i s blank o u t l i e r blank d e t e c t i o n blank v i a blank o n e - c l a s s blank s v m, xlabel sepal length (cm), ylabel sepal width (cm) contains 3 objects of type line, contour. one or more of the lines displays its values using only markers these objects represent observation, support vector.

将离群值与其余数据分隔的边界出现在围道值为 0 的位置。

验证交叉验证数据中具有负分数的观测值的比例接近 5%。

cvsvmmodel = crossval(svmmodel);
[~,scorepred] = kfoldpredict(cvsvmmodel);
outlierrate = mean(scorepred<0)
outlierrate = 0.0467

创建 fisheriris 数据集的散点图。将图中网格的坐标点视为来自数据集分布的新观测值，并通过将坐标点分配给数据集中的三个类之一来找出类边界。

加载 fisher 鸢尾花数据集。使用花瓣长度和宽度作为预测变量。

load fisheriris
x = meas(:,3:4);
y = species;

检查数据的散点图。

figure
gscatter(x(:,1),x(:,2),y);
h = gca;
lims = [h.xlim h.ylim]; % extract the x and y axis limits
title('{\bf scatter diagram of iris measurements}');
xlabel('petal length (cm)');
ylabel('petal width (cm)');
legend('location','northwest');

figure contains an axes object. the axes object with title blank s c a t t e r blank d i a g r a m blank o f blank i r i s blank m e a s u r e m e n t s, xlabel petal length (cm), ylabel petal width (cm) contains 3 objects of type line. one or more of the lines displays its values using only markers these objects represent setosa, versicolor, virginica.

该数据包含三个类，其中一个类与其他类可线性分离。

对于每个类：

  1. 创建一个逻辑向量 (indx)，指示观测值是否为该类的成员。

  2. 使用预测变量数据和 indx 训练 svm 分类器。

  3. 将该分类器存储在元胞数组的一个元胞中。

定义类顺序。

svmmodels = cell(3,1);
classes = unique(y);
rng(1); % for reproducibility
for j = 1:numel(classes)
    indx = strcmp(y,classes(j)); % create binary classes for each classifier
    svmmodels{j} = fitcsvm(x,indx,'classnames',[false true],'standardize',true,...
        'kernelfunction','rbf','boxconstraint',1);
end

svmmodels 是 3×1 元胞数组，其中每个元胞包含一个 classificationsvm 分类器。对于每个元胞，正类分别是 setosa、versicolor 和 virginica。

在图中定义精细网格，并将坐标点视为来自训练数据分布的新观测值。使用每个分类器估计新观测值的分数。

d = 0.02;
[x1grid,x2grid] = meshgrid(min(x(:,1)):d:max(x(:,1)),...
    min(x(:,2)):d:max(x(:,2)));
xgrid = [x1grid(:),x2grid(:)];
n = size(xgrid,1);
scores = zeros(n,numel(classes));
for j = 1:numel(classes)
    [~,score] = predict(svmmodels{j},xgrid);
    scores(:,j) = score(:,2); % second column contains positive-class scores
end

scores 的每行包含三个分数。分数最高的元素的索引是新类观测值最可能属于的类的索引。

将每个新观测值与给它最高分数的分类器相关联。 

[~,maxscore] = max(scores,[],2);

基于对应新观测值所属的类，在绘图区域中着色。

figure
h(1:3) = gscatter(xgrid(:,1),xgrid(:,2),maxscore,...
    [0.1 0.5 0.5; 0.5 0.1 0.5; 0.5 0.5 0.1]);
hold on
h(4:6) = gscatter(x(:,1),x(:,2),y);
title('{\bf iris classification regions}');
xlabel('petal length (cm)');
ylabel('petal width (cm)');
legend(h,{'setosa region','versicolor region','virginica region',...
    'observed setosa','observed versicolor','observed virginica'},...
    'location','northwest');
axis tight
hold off

figure contains an axes object. the axes object with title blank i r i s blank c l a s s i f i c a t i o n blank r e g i o n s, xlabel petal length (cm), ylabel petal width (cm) contains 6 objects of type line. one or more of the lines displays its values using only markers these objects represent setosa region, versicolor region, virginica region, observed setosa, observed versicolor, observed virginica.

使用 fitcsvm 自动优化超参数。

加载 ionosphere 数据集。

load ionosphere

通过使用自动超参数优化，找到最小化五折交叉验证损失的超参数。为了实现可再现性，请设置随机种子并使用 'expected-improvement-plus' 采集函数。

rng default
mdl = fitcsvm(x,y,'optimizehyperparameters','auto', ...
    'hyperparameteroptimizationoptions',struct('acquisitionfunctionname', ...
    'expected-improvement-plus'))
|=====================================================================================================|
| iter | eval   | objective   | objective   | bestsofar   | bestsofar   | boxconstraint|  kernelscale |
|      | result |             | runtime     | (observed)  | (estim.)    |              |              |
|=====================================================================================================|
|    1 | best   |     0.20513 |      16.349 |     0.20513 |     0.20513 |       64.836 |    0.0015729 |
|    2 | accept |     0.35897 |     0.14027 |     0.20513 |     0.21471 |     0.036335 |       5.5755 |
|    3 | best   |     0.13105 |      6.6774 |     0.13105 |     0.14133 |    0.0022147 |    0.0023957 |
|    4 | accept |     0.35897 |     0.19112 |     0.13105 |     0.13109 |       5.1259 |        98.62 |
|    5 | accept |      0.1339 |      14.128 |     0.13105 |     0.13111 |    0.0011147 |    0.0010089 |
|    6 | accept |     0.13675 |      2.8413 |     0.13105 |     0.13117 |    0.0010151 |    0.0059137 |
|    7 | best   |     0.12821 |      8.0524 |     0.12821 |     0.12827 |    0.0010563 |    0.0022307 |
|    8 | accept |      0.1339 |      7.5899 |     0.12821 |     0.13053 |    0.0010113 |    0.0026572 |
|    9 | accept |     0.12821 |      7.7937 |     0.12821 |     0.12991 |    0.0010145 |    0.0018037 |
|   10 | accept |     0.12821 |      8.4811 |     0.12821 |      0.1294 |    0.0010049 |    0.0018883 |
|   11 | accept |     0.13675 |      15.109 |     0.12821 |     0.12842 |       994.04 |      0.19205 |
|   12 | accept |      0.1339 |      12.793 |     0.12821 |      0.1288 |       8.1763 |     0.047242 |
|   13 | accept |     0.22507 |      16.693 |     0.12821 |     0.12804 |       983.48 |     0.067705 |
|   14 | accept |     0.13105 |     0.39394 |     0.12821 |     0.12807 |     0.058846 |     0.073767 |
|   15 | accept |     0.12821 |      4.4698 |     0.12821 |     0.12806 |       22.877 |       0.2836 |
|   16 | accept |     0.12821 |      5.4563 |     0.12821 |     0.12811 |      0.12835 |     0.020261 |
|   17 | accept |     0.13675 |      12.678 |     0.12821 |     0.12789 |       959.28 |      0.57912 |
|   18 | accept |     0.12821 |        2.72 |     0.12821 |     0.12809 |       1.6281 |     0.087712 |
|   19 | accept |     0.12821 |     0.15632 |     0.12821 |      0.1281 |    0.0010071 |     0.029923 |
|   20 | accept |     0.12821 |      2.5345 |     0.12821 |     0.12794 |      0.37931 |      0.04231 |
|=====================================================================================================|
| iter | eval   | objective   | objective   | bestsofar   | bestsofar   | boxconstraint|  kernelscale |
|      | result |             | runtime     | (observed)  | (estim.)    |              |              |
|=====================================================================================================|
|   21 | accept |     0.13675 |      12.566 |     0.12821 |     0.12792 |       218.45 |      0.28692 |
|   22 | accept |      0.1396 |     0.46859 |     0.12821 |     0.12816 |    0.0084263 |     0.024097 |
|   23 | accept |      0.1339 |     0.17073 |     0.12821 |     0.12795 |    0.0011093 |      0.11727 |
|   24 | accept |     0.12821 |      14.216 |     0.12821 |     0.12798 |      0.76711 |    0.0086394 |
|   25 | accept |     0.13675 |     0.36176 |     0.12821 |     0.12805 |      0.83585 |      0.25134 |
|   26 | accept |     0.17949 |      16.549 |     0.12821 |     0.12796 |      0.11898 |    0.0010906 |
|   27 | accept |      0.1339 |      13.043 |     0.12821 |     0.12797 |       1.3574 |     0.020097 |
|   28 | accept |     0.13675 |      11.003 |     0.12821 |     0.12803 |     0.088329 |    0.0068614 |
|   29 | accept |     0.12821 |      4.7252 |     0.12821 |      0.1286 |       7.8795 |      0.16358 |
|   30 | best   |     0.11966 |     0.20019 |     0.11966 |     0.11999 |    0.0010805 |     0.060691 |

figure contains an axes object. the axes object with title min objective vs. number of function evaluations, xlabel function evaluations, ylabel min objective contains 2 objects of type line. these objects represent min observed objective, estimated min objective.

figure contains an axes object. the axes object with title objective function model, xlabel boxconstraint, ylabel kernelscale contains 5 objects of type line, surface, contour. one or more of the lines displays its values using only markers these objects represent observed points, model mean, next point, model minimum feasible.

__________________________________________________________
optimization completed.
maxobjectiveevaluations of 30 reached.
total function evaluations: 30
total elapsed time: 246.8684 seconds
total objective function evaluation time: 218.5525
best observed feasible point:
    boxconstraint    kernelscale
    _____________    ___________
      0.0010805       0.060691  
observed objective function value = 0.11966
estimated objective function value = 0.11999
function evaluation time = 0.20019
best estimated feasible point (according to models):
    boxconstraint    kernelscale
    _____________    ___________
      0.0010805       0.060691  
estimated objective function value = 0.11999
estimated function evaluation time = 0.16467

mdl = 
  classificationsvm
                         responsename: 'y'
                categoricalpredictors: []
                           classnames: {'b'  'g'}
                       scoretransform: 'none'
                      numobservations: 351
    hyperparameteroptimizationresults: [1x1 bayesianoptimization]
                                alpha: [118x1 double]
                                 bias: -2.5864
                     kernelparameters: [1x1 struct]
                       boxconstraints: [351x1 double]
                      convergenceinfo: [1x1 struct]
                      issupportvector: [351x1 logical]
                               solver: 'smo'
  properties, methods

输入参数

用于训练模型的样本数据，指定为表。tbl 的每行对应一个观测值，每列对应一个预测变量。不允许多列变量和字符向量元胞数组以外的元胞数组。

（可选）tbl 可以包含一个对应于响应变量的列和一个对应于观测值权重的列。

  • 响应变量必须为分类数组、字符数组或字符串数组、逻辑向量或数值向量，或者字符向量元胞数组。

    • fitcsvm 仅支持一类和二类（二元）分类。或者响应变量最多只能包含两个不同类，或您必须使用 classnames 名称-值参数指定一个或两个用于训练的类。有关多类学习的信息，请参阅 fitcecoc。

    • 使用 classnames 名称-值参数在响应变量中指定类的顺序是很好的做法。

  • 权重列必须为数值向量。

  • 您必须使用 responsevarname 或 formula 在 tbl 中指定响应变量，并使用 weights 在 tbl 中指定观测值权重。

    • 通过使用 responsevarname 指定响应变量 - fitcsvm 将其余变量用作预测变量。要使用 tbl 中其余变量的子集作为预测变量，请使用 predictornames 指定预测变量。

    • 使用 formula 定义模型设定 - fitcsvm 使用 tbl 中变量的子集作为预测变量和响应变量，如 formula 中所指定的那样。

如果 tbl 不包含响应变量，则使用 y 指定响应变量。响应变量 y 的长度和 tbl 中的行数必须相等。要使用 tbl 中变量的子集作为预测变量，请使用 predictornames 指定预测变量。

数据类型： table

响应变量名称，指定为 tbl 中变量的名称。

您必须以字符向量或字符串标量指定 responsevarname。例如，如果响应变量 y 存储为 tbl.y，则将其指定为 "y"。否则，软件在训练模型时会将 tbl 的所有列（包括 y）视为预测变量。

响应变量必须为分类数组、字符数组或字符串数组、逻辑向量或数值向量，或者字符向量元胞数组。如果 y 是字符数组，则响应变量的每个元素必须对应于数组的一行。

使用 classnames 名称-值参数来指定类的顺序是很好的做法。

数据类型： char | string

由响应变量和部分预测变量构成的解释模型，指定为 "y~x1 x2 x3" 形式的字符向量或字符串标量。在此形式中，y 表示响应变量，x1、x2、x3 表示预测变量。

要将 tbl 中的一部分变量指定为模型训练的预测变量，请使用公式。如果您指定公式，则软件不会使用 tbl 中未出现在 formula 中的任何变量。

公式中的变量名称必须既是 tbl 中的变量名称 (tbl.properties.variablenames)，又是有效的 matlab® 标识符。您可以使用 isvarname 函数来验证 tbl 中的变量名称。如果变量名称无效，可以使用 matlab.lang.makevalidname 函数进行转换。

数据类型： char | string

用于训练 svm 模型的类标签，指定为分类、字符或字符串数组，逻辑或数值向量，或字符向量元胞数组。

  • fitcsvm 仅支持一类和二类（二元）分类。或者 y 最多只能包含两个不同类，或您必须使用 classnames 名称-值参数指定一个或两个用于训练的类。有关多类学习的信息，请参阅 fitcecoc。

  • y 的长度和 tbl 或 x 的行数必须相等。

  • 如果 y 是字符数组，则每个标签必须对应于数组的一行。

  • 使用 classnames 名称-值对组参数来指定类顺序是很好的做法。

数据类型： categorical | char | string | logical | single | double | cell

用于训练 svm 分类器的预测变量数据，指定为数值矩阵。

x 的每行对应一个观测值（也称为实例或示例），每列对应一个预测变量（也称为特征）。

y 的长度和 x 的行数必须相等。

要按预测变量在 x 中出现的顺序指定预测变量的名称，请使用 'predictornames' 名称-值对组参数。

数据类型： double | single

名称-值参数

将可选的参数对组指定为 name1=value1,...,namen=valuen，其中 name 是参数名称，value 是对应的值。名称-值参数必须出现在其他参数后，但参数对组的顺序无关紧要。

在 r2021a 之前，使用逗号分隔每个名称和值，并用引号将 name 引起来。

示例： fitcsvm(x,y,'kfold',10,'cost',[0 2;1 0],'scoretransform','sign') 执行 10 折交叉验证，对假正的罚分是对假负的罚分的两倍，并使用 sign 函数转换分数。

svm 选项

框约束，指定为逗号分隔的对组，其中包含 'boxconstraint' 和一个正标量。

对于一类学习，软件始终将框约束设置为 1。

有关 boxconstraint、cost、prior、standardize 和 weights 的关系和算法行为的详细信息，请参阅算法。

示例： 'boxconstraint',100

数据类型： double | single

用于计算 gram 矩阵的元素的核函数，指定为以逗号分隔的对组，其中包含 'kernelfunction' 和核函数名称。假设 g(xj,xk) 是 gram 矩阵的元素 (j,k)，其中 xj 和 xk 是 p 维向量，表示 x 中的观测值 j 和 k。下表说明支持的核函数名称及其函数形式。

核函数名称描述公式
'gaussian' 或 'rbf'高斯或径向基函数 (rbf) 核，默认用于一类学习

g(xj,xk)=exp(−‖xj−xk‖2)

'linear'线性核，默认用于二类学习

g(xj,xk)=xj′xk

'polynomial'多项式核。使用 'polynomialorder',q 指定 q 次多项式核。

g(xj,xk)=(1 xj′xk)q

您可以通过设置 'kernelfunction','kernel' 来设置自己的核函数，例如 kernel。值 kernel 必须采用以下形式。

function g = kernel(u,v)
其中：

  • u 是 m×p 矩阵。列对应于预测变量，行对应于观测值。

  • v 是 n×p 矩阵。列对应于预测变量，行对应于观测值。

  • g 是 u 和 v 行的 m×n gram 矩阵。

kernel.m 必须在 matlab 路径上。

避免对核函数使用泛型名称是很好的做法。例如，调用 sigmoid 核函数 'mysigmoid'，而不是 'sigmoid'。

示例： 'kernelfunction','gaussian'

数据类型： char | string

核尺度参数，指定为以逗号分隔的对组，其中包含 'kernelscale' 和 'auto' 或正标量。软件将预测变量矩阵 x 的所有元素除以 kernelscale 的值。然后，软件应用适当的核范数来计算 gram 矩阵。

  • 如果您指定 'auto'，则软件使用启发式过程选择适当的尺度因子。这种启发式过程使用二次抽样，因此不同调用的估计值可能不同。因此，为了重现结果，请在训练前使用 设置随机数种子。

  • 如果您指定 kernelscale 和您自己的核函数，例如 'kernelfunction','kernel'，则软件会引发错误。您必须在 kernel 中应用尺度缩放。

示例： 'kernelscale','auto'

数据类型： double | single | char | string

多项式核函数阶，指定为以逗号分隔的对组，其中包含 'polynomialorder' 和正整数。

如果您设置 'polynomialorder' 且 kernelfunction 不是 'polynomial'，则软件会引发错误。

示例： 'polynomialorder',2

数据类型： double | single

核偏移量参数，指定为以逗号分隔的对组，其中包含 'kerneloffset' 和一个非负标量。

软件将 kerneloffset 添加到 gram 矩阵的每个元素。

默认值为：

  • 0，如果求解器是 smo（也就是说，您设置 'solver','smo'）

  • 0.1，如果求解器是 isda（也就是说，您设置 'solver','isda'）

示例： 'kerneloffset',0

数据类型： double | single

指示是否标准化预测变量数据的标志，指定为以逗号分隔的对组，其中包含 'standardize' 和 true (1) 或 false (0)。

如果您设置 'standardize',true：

  • 软件按对应的加权列均值和标准差对每个预测变量（x 或 tbl）进行中心化并缩放。有关加权标准化的详细信息，请参阅算法。matlab 不对为分类预测变量生成的虚拟变量列中包含的数据进行标准化。

  • 软件使用经过标准化的预测变量训练分类器，但会将未标准化的预测变量以矩阵或表形式存储在分类器属性 x 中。

示例： 'standardize',true

数据类型： logical

优化例程，指定为以逗号分隔的对组，其中包含 'solver' 和下表中的一个值。

值描述
'isda'迭代单数据算法（请参阅 ）
'l1qp'使用 (optimization toolbox) 通过二次规划实现 l1 软边距最小化。此选项需要 optimization toolbox™ 许可证。有关详细信息，请参阅二次规划定义 (optimization toolbox)。
'smo'序列最小优化（请参阅 ）

对于二类学习，如果您将 'outlierfraction' 设置为正值，则默认值为 'isda'；否则为 'smo'。

示例： 'solver','isda'

alpha 系数的初始估计值，指定为以逗号分隔的对组，其中包含 'alpha' 和非负值的数值向量。alpha 的长度必须等于 x 的行数。

  • 'alpha' 的每个元素对应于 x 中的一个观测值。

  • 'alpha' 不能包含任何 nan。

  • 如果您指定 'alpha' 和任一交叉验证名称-值对组参数（'crossval'、'cvpartition'、'holdout'、'kfold' 或 'leaveout'），软件将返回错误。

如果 y 包含任何缺失值，则删除与缺失值对应的 y、x 和 'alpha' 的所有行。即，输入：

idx = ~isundefined(categorical(y));
y = y(idx,:);
x = x(idx,:);
alpha = alpha(idx);
然后分别将 y、x 和 alpha 作为响应、预测变量和初始 alpha 估计值传递。

默认值为：

  • 0.5*ones(size(x,1),1)（用于一类学习）

  • zeros(size(x,1),1)（用于二类学习）

示例： 'alpha',0.1*ones(size(x,1),1)

数据类型： double | single

缓存大小，指定为以逗号分隔的对组，其中包含 'cachesize' 和 'maximal' 或正标量。

如果 cachesize 是 'maximal'，则软件预留足够的内存来容纳整个 n×n gram 矩阵。

如果 cachesize 是正标量，则软件会预留 cachesize mb 内存用于训练模型。

示例： 'cachesize','maximal'

数据类型： double | single | char | string

指定是否限定 alpha 系数的标志，指定为以逗号分隔的对组，其中包含 'clipalphas' 和 true 或 false。

假设观测值 j 的 alpha 系数是 αj，观测值 j 的框约束是 cj，j = 1、...、n，其中 n 是训练样本大小。

值描述
true在每次迭代中，如果 αj 接近 0 或接近 cj，则 matlab 分别将 αj 设置为 0 或 cj。
falsematlab 在优化过程中不更改 alpha 系数。

matlab 将 α 的最终值存储在经过训练的 svm 模型对象的 alpha 属性中。

clipalphas 会影响 smo 和 isda 收敛。

示例： 'clipalphas',false

数据类型： logical

用于一类学习的 ν 参数，指定为由 'nu' 和正标量组成的以逗号分隔的对组。nu 必须大于 0 且最大为 1。

nu 用于在确保大多数训练样本为正类和尽量减小分数函数权重之间进行权衡。

示例： 'nu',0.25

数据类型： double | single

优化诊断消息的输出间隔（迭代次数），指定为由 'numprint' 和非负整数组成的以逗号分隔的对组。

如果您指定 'verbose',1 和 'numprint',numprint，则软件会在命令行窗口中每隔 numprint 次迭代显示来自 smo 和 isda 的所有优化诊断消息。

示例： 'numprint',500

数据类型： double | single

训练数据中离群值的预期比例，指定为以逗号分隔的对组，其中包含 'outlierfraction' 和区间 [0,1) 中的数值标量。

假设您设置 'outlierfraction',outlierfraction，其中 outlierfraction 是大于 0 的值。

  • 对于二类学习，软件实现稳健学习。换句话说，当优化算法收敛时，软件尝试删除 100*outlierfraction% 的观测值。删除的观测值对应于幅值较大的梯度。

  • 对于一类学习，软件会使用合适的偏差项，使得训练集中 outlierfraction 的观测值具有负分数。

示例： 'outlierfraction',0.01

数据类型： double | single

指定是否在训练数据中用单一观测值替换重复观测值的标志，指定为以逗号分隔的对组，其中包含 'removeduplicates' 和 true 或 false。

如果 removeduplicates 是 true，则 fitcsvm 用相同值的单一观测值替换训练数据中的重复观测值。该单一观测值的权重等于对应删除副本的权重总和（请参阅 weights）。

提示

如果您的数据集包含许多重复的观测值，则指定 'removeduplicates',true 可以大大缩短收敛时间。

数据类型： logical

详细级别，指定为以逗号分隔的对组，其中包含 'verbose' 和 0、1 或 2。verbose 的值控制软件在命令行窗口中显示的优化信息量，并将这些信息作为结构体保存到 mdl.convergenceinfo.history 中。

下表总结了可用的详细级别选项。

值描述
0软件不显示或保存收敛信息。
1软件显示诊断消息，并每隔 numprint 次迭代保存收敛条件，其中 numprint 是名称-值对组参数 'numprint' 的值。
2软件显示诊断消息，并在每次迭代时保存收敛条件。

示例： 'verbose',1

数据类型： double | single

其他分类选项

分类预测变量列表，指定为本表中的值之一。

值描述
正整数向量

向量中的每个条目为一个索引值，指示对应的预测变量是分类变量。索引值介于 1 和 p 之间，其中 p 是用于训练模型的预测变量数目。

如果 fitcsvm 使用输入变量的子集作为预测变量，则此函数仅使用此子集对预测变量进行索引。categoricalpredictors 值不计算响应变量、观测值权重变量或函数不使用的任何其他变量。

逻辑向量

true 条目表示对应的预测变量是分类变量。向量的长度为 p。

字符矩阵矩阵的每行均为预测变量的名称。名称必须与 predictornames 中的条目相匹配。系统用空格填充名称以使字符矩阵的每行具有相同的长度。
字符串数组或字符向量元胞数组数组中的每个元素均为预测变量的名称。名称必须与 predictornames 中的条目相匹配。
"all"所有预测变量均为分类预测变量。

默认情况下，如果预测变量数据在表 (tbl) 中，并且它是逻辑向量、分类向量、字符数组、字符串数组或字符向量元胞数组，则 fitcsvm 假设变量是分类变量。如果预测变量数据是矩阵 (x)，fitcsvm 假设所有预测变量均为连续的。要将任何其他预测变量识别为分类预测变量，请使用 categoricalpredictors 名称-值参数指定它们。

对于已识别的分类预测变量，fitcsvm 根据分类变量是无序还是有序，使用两种不同方案创建虚拟变量。对于无序分类变量，fitcsvm 为分类变量的每个水平创建一个虚拟变量。对于有序分类变量，fitcsvm 创建的虚拟变量数比类别数少一个。有关详细信息，请参阅 automatic creation of dummy variables。

示例： 'categoricalpredictors','all'

数据类型： single | double | logical | char | string | cell

用于二类学习的类的名称，指定为分类、字符或字符串数组；逻辑或数值向量；或字符向量元胞数组。classnames 必须与 tbl 或 y 中的响应变量具有相同的数据类型。

如果 classnames 是字符数组，则每个元素必须对应于数组的一行。

使用 classnames 可以：

  • 指定训练期间类的顺序。

  • 指定对应于类顺序的任何输入或输出参数维度的顺序。例如，使用 classnames 指定 cost 的维度的顺序或 predict 返回的分类分数的列顺序。

  • 选择用于训练的类的子集。例如，假设 y 中所有不同类名的集合是 ["a","b","c"]。要仅使用来自 "a" 和 "c" 类的观测值训练模型，请指定 "classnames",["a","c"]。

classnames 的默认值为 tbl 或 y 中的响应变量的所有不同类名的集合。

此参数只对二类学习有效。

示例： "classnames",["b","g"]

数据类型： categorical | char | string | logical | single | double | cell

二类学习的误分类代价，指定为以逗号分隔的对组，其中包括 'cost' 和一个方阵或结构体数组。

  • 如果您指定方阵 cost 且观测值的真实类是 i，则 cost(i,j) 是将一个点分类到 j 类的代价。也就是说，行对应于真实类，列对应于预测的类。要为 cost 的对应行和列指定类顺序，则还需指定 classnames 名称-值对组参数。

  • 如果您指定结构体 s，则它必须有两个字段：

    • s.classnames，其中包含类名作为一个变量，变量的数据类型与 y 相同。

    • s.classificationcosts，其中包含按 s.classnames 中的顺序排列行和列的代价矩阵

如果您指定代价矩阵，则软件会通过合并代价矩阵中所述的用于训练的罚分来更新先验概率，并将用户指定的值存储在已训练的 svm 模型对象的 cost 属性中。有关 boxconstraint、cost、prior、standardize 和 weights 的关系和算法行为的详细信息，请参阅算法。

此参数只对二类学习有效。

示例： 'cost',[0,1;2,0]

数据类型： double | single | struct

预测变量名称，指定为唯一名称字符串数组或唯一字符向量元胞数组。predictornames 的功能取决于您提供训练数据的方式。

  • 如果您提供 x 和 y，则可以使用 predictornames 为 x 中的预测变量指定名称。

    • predictornames 中名称的顺序必须对应于 x 中列的顺序。也就是说，predictornames{1} 是 x(:,1) 的名称，predictornames{2} 是 x(:,2) 的名称，依此类推。此外，size(x,2) 和 numel(predictornames) 必须相等。

    • 默认情况下，predictornames 是 {'x1','x2',...}。

  • 如果您提供 tbl，则您可以使用 predictornames 来选择在训练中使用哪些预测变量。也就是说，fitcsvm 仅使用 predictornames 中的预测变量和训练过程中的响应变量。

    • predictornames 必须为 tbl.properties.variablenames 的子集，并且不能包含响应变量的名称。

    • 默认情况下，predictornames 包含所有预测变量的名称。

    • 最好仅使用 predictornames 或 formula（但不能同时使用两者）来指定训练的预测变量。

示例： "predictornames",["sepallength","sepalwidth","petallength","petalwidth"]

数据类型： string | cell

二类学习的每个类的先验概率，指定为以逗号分隔的对组，其中包含 'prior' 和下表中的一个值。

值描述
'empirical'类先验概率是 y 中的类相对频数。
'uniform'所有类先验概率等于 1/k，其中 k 是类的数目。
数值向量向量中的每个元素均为类先验概率。根据 mdl.classnames 对元素进行排序，或使用 classnames 名称-值对组参数指定顺序。软件对元素进行归一化，使其总和为 1。
结构体

具有以下两个字段的结构体 s：

  • s.classnames 包含类名作为一个变量，变量的数据类型与 y 相同。

  • s.classprobs 包含对应先验概率的向量。软件会对向量的元素进行归一化，使其总和为 1。

如果您指定代价矩阵，则软件将通过合并代价矩阵中所述的用于训练的罚分来更新先验概率。在将概率归一化为总和为 1 后，软件将用户指定的先验概率存储在已训练模型对象的 prior 属性中。有关 boxconstraint、cost、prior、standardize 和 weights 的关系和算法行为的详细信息，请参阅算法。

此参数只对二类学习有效。

示例： struct('classnames',{{'setosa','versicolor','virginica'}},'classprobs',1:3)

数据类型： char | string | double | single | struct

响应变量名称，指定为字符向量或字符串标量。

  • 如果您提供 y，则您可以使用 responsename 来指定响应变量的名称。

  • 如果您提供 responsevarname 或 formula，则您无法使用 responsename。

示例： "responsename","response"

数据类型： char | string

分数变换，指定为字符向量、字符串标量或函数句柄。

下表总结了可用的字符向量和字符串标量。

值描述
"doublelogit"1/(1 e–2x)
"invlogit"log(x / (1 – x))
"ismax"将分数最高的类的分数设置为 1，并将所有其他类的分数设置为 0
"logit"1/(1 e–x)
"none" 或 "identity"x（无变换）
"sign"–1 表示 x < 0
0 表示 x = 0
1 表示 x > 0
"symmetric"2x – 1
"symmetricismax"将分数最高的类的分数设置为 1，并将所有其他类的分数设置为 –1
"symmetriclogit"2/(1 e–x) – 1

对于 matlab 函数或您定义的函数，请使用其函数句柄进行分数变换。函数句柄必须接受矩阵（原始分数）并返回相同大小（转换后的分数）的矩阵。

示例： "scoretransform","logit"

数据类型： char | string | function_handle

观测值权重，指定为以逗号分隔的对组，其中包含 'weights' 和由正值组成的数值向量或 tbl 中变量的名称。软件使用 weights 中的对应值对 x 或 tbl 的每行中的观测值进行加权。weights 的大小必须等于 x 或 tbl 的行数。

如果您将输入数据指定为表 tbl，则 weights 可以是包含数值向量的 tbl 中的变量的名称。在本例中，您必须将 weights 指定为字符向量或字符串标量。例如，如果权重向量 w 存储为 tbl.w，则将其指定为 'w'。否则，软件在训练模型时会将 tbl 的所有列（包括 w）视为预测变量或响应变量。

默认情况下，weights 是 ones(n,1)，其中 n 是 x 或 tbl 中的观测值数目。

软件会对 weights 进行归一化，使其总和等于对应类中的先验概率值。有关 boxconstraint、cost、prior、standardize 和 weights 的关系和算法行为的详细信息，请参阅算法。

数据类型： double | single | char | string

注意

不能将任何交叉验证名称-值参数与 'optimizehyperparameters' 名称-值参数结合使用。您只能通过使用 'hyperparameteroptimizationoptions' 名称-值参数来修改 'optimizehyperparameters' 的交叉验证。

交叉验证选项

指定是否训练交叉验证分类器的标志，指定为以逗号分隔的对组，其中包含 'crossval' 和 'on' 或 'off'。

如果您指定 'on'，则软件使用 10 折来训练交叉验证分类器。

您可以使用 cvpartition、holdout、kfold 或 leaveout 名称-值对组参数覆盖此交叉验证设置。一次只能使用一个交叉验证名称-值对组参数来创建一个交叉验证模型。

或者，稍后通过将 mdl 传递给 来进行交叉验证。

示例： 'crossval','on'

交叉验证分区，指定为由 cvpartition 创建的 cvpartition 分区对象。该分区对象指定交叉验证的类型以及训练集和验证集的索引。

要创建交叉验证模型，您只能指定以下四个名称-值参数之一：cvpartition、holdout、kfold 或 leaveout。

示例： 假设您使用 cvp = cvpartition(500,'kfold',5) 创建一个随机分区，用于对 500 个观测值进行 5 折交叉验证。然后，您可以使用 'cvpartition',cvp 指定交叉验证的模型。

用于留出法验证的数据比例，指定为 (0,1) 范围内的标量值。如果您指定 'holdout',p，则软件将完成以下步骤：

  1. 随机选择并预留 p*100% 的数据作为验证数据，并使用其余数据训练模型。

  2. 将经过训练的紧凑模型存储在交叉验证模型的 trained 属性中。

要创建交叉验证模型，您只能指定以下四个名称-值参数之一：cvpartition、holdout、kfold 或 leaveout。

示例： 'holdout',0.1

数据类型： double | single

交叉验证模型中使用的折的数目，指定为大于 1 的正整数值。如果您指定 'kfold',k，则软件将完成以下步骤：

  1. 将数据随机分为 k 个数据集。

  2. 对于每个数据集，预留用作验证数据的数据集，并使用其他 k – 1 数据集训练模型。

  3. 将 k 个紧凑的经过训练的模型存储在交叉验证模型的 trained 属性中的 k×1 元胞向量中。

要创建交叉验证模型，您只能指定以下四个名称-值参数之一：cvpartition、holdout、kfold 或 leaveout。

示例： 'kfold',5

数据类型： single | double

留一法交叉验证标志，指定为 'on' 或 'off'。如果您指定 'leaveout','on'，则对于 n 个观测值中的每一个（其中 n 是不包括缺失观测值的观测值数目，在模型的 numobservations 属性中指定），软件完成以下步骤：

  1. 预留作为验证数据的观测值，并使用其他 n - 1 个观测值训练模型。

  2. 将 n 个紧凑的经过训练的模型存储在交叉验证模型的 trained 属性中的 n×1 元胞向量中。

要创建交叉验证模型，您只能指定以下四个名称-值参数之一：cvpartition、holdout、kfold 或 leaveout。

示例： 'leaveout','on'

收敛控制选项

通过序列最小优化 (smo) 或迭代单数据算法 (isda) 获得的上违反量和下违反量之间梯度差的容差，指定为由 'deltagradienttolerance' 和非负标量组成的以逗号分隔的对组。

如果 deltagradienttolerance 是 0，则软件不使用梯度差的容差来检查优化收敛。

默认值为：

  • 如果求解器是 smo（例如，您设置 'solver','smo'），默认值为 1e-3

  • 如果求解器是 isda（例如，您设置 'solver','isda'），默认值 0

示例： 'deltagradienttolerance',1e-2

数据类型： double | single

通过 smo 或 isda 获得的可行性间隙容差，指定为由 'gaptolerance' 和非负标量组成的以逗号分隔的对组。

如果 gaptolerance 是 0，则软件不使用可行性间隙容差来检查优化收敛。

示例： 'gaptolerance',1e-2

数据类型： double | single

数值优化迭代的最大次数，指定为以逗号分隔的对组，其中包含 'iterationlimit' 和一个正整数。

无论优化例程是否成功收敛，软件都会返回经过训练的模型。mdl.convergenceinfo 包含收敛信息。

示例： 'iterationlimit',1e8

数据类型： double | single

karush-kuhn-tucker (kkt) 互补条件违规容限，指定为由 'kkttolerance' 和非负标量组成的以逗号分隔的对组。

如果 kkttolerance 是 0，则软件不使用 kkt 互补条件违规容限来检查优化收敛。

默认值为：

  • 如果求解器是 smo（例如，您设置 'solver','smo'），默认值为 0

  • 如果求解器是 isda（例如，您设置 'solver','isda'），默认值 1e-3

示例： 'kkttolerance',1e-2

数据类型： double | single

活动集各次归约之间的迭代次数，指定为由 'shrinkageperiod' 和非负整数组成的以逗号分隔的对组。

如果您设置 'shrinkageperiod',0，则软件不会缩小活动集。

示例： 'shrinkageperiod',1000

数据类型： double | single

超参数优化选项

要针对二类学习优化的参数，指定为以逗号分隔的对组，其中包含 'optimizehyperparameters' 和下列值之一：

  • 'none' - 不优化。

  • 'auto' - 使用 {'boxconstraint','kernelscale'}。

  • 'all' - 优化所有合格参数。

  • 合格参数名称的字符串数组或元胞数组。

  • optimizablevariable 对象的向量，通常是 的输出。

优化尝试通过更改参数来最小化 fitcsvm 的交叉验证损失（误差）。有关交叉验证损失的信息，请参阅。要控制交叉验证类型和优化的其他方面，请使用 hyperparameteroptimizationoptions 名称-值对组参数。

注意

'optimizehyperparameters' 的值会覆盖您使用其他名称-值参数指定的任何值。例如，将 'optimizehyperparameters' 设置为 'auto' 会导致 fitcsvm 优化与 'auto' 选项对应的超参数，并忽略超参数的任何指定值。

fitcsvm 的合格参数包括：

  • boxconstraint - fitcsvm 在正值中搜索，默认情况下对数尺度范围为 [1e-3,1e3]。

  • kernelscale - fitcsvm 在正值中搜索，默认情况下对数尺度范围为 [1e-3,1e3]。

  • kernelfunction - fitcsvm 在 'gaussian'、'linear' 和 'polynomial' 中搜索。

  • polynomialorder - fitcsvm 在 [2,4] 范围内的整数中搜索。

  • standardize - fitcsvm 在 'true' 和 'false' 中搜索。

通过传递具有非默认值的 optimizablevariable 对象的向量可设置非默认参数。例如：

load fisheriris
params = hyperparameters('fitcsvm',meas,species);
params(1).range = [1e-4,1e6];

将 params 作为 optimizehyperparameters 的值传递。

默认情况下，迭代输出会出现在命令行中，绘图会根据优化中的超参数个数来显示。对于优化和绘图，目标函数是误分类率。要控制迭代输出的显示，请设置 'hyperparameteroptimizationoptions' 名称-值参数的 verbose 字段。要控制绘图，请设置 'hyperparameteroptimizationoptions' 名称-值参数的 showplots 字段。

有关示例，请参阅优化 svm 分类器。

此参数只对二类学习有效。

示例： 'optimizehyperparameters','auto'

二类学习的优化选项，指定为结构体。此参数修改 optimizehyperparameters 名称-值参数的效果。结构体中的所有字段均为可选字段。

字段名称值默认值
optimizer

  • 'bayesopt' - 使用贝叶斯优化。在内部，此设置调用 。

  • 'gridsearch' - 使用网格搜索，每个维度有 numgriddivisions 个值。

  • 'randomsearch' - 在 maxobjectiveevaluations 个点中随机搜索。

'gridsearch' 基于网格的均匀无放回抽样以随机顺序进行搜索。优化后，您可以使用命令 sortrows(mdl.hyperparameteroptimizationresults) 按网格顺序获得一个表。

'bayesopt'
acquisitionfunctionname

  • 'expected-improvement-per-second-plus'

  • 'expected-improvement'

  • 'expected-improvement-plus'

  • 'expected-improvement-per-second'

  • 'lower-confidence-bound'

  • 'probability-of-improvement'

其名称包含 per-second 的采集函数不会产生可重现的结果，因为优化取决于目标函数的运行时间。其名称包含 plus 的采集函数在过度开发某个区域时会更改其行为。有关详细信息，请参阅acquisition function types。

'expected-improvement-per-second-plus'
maxobjectiveevaluations目标函数计算的最大数量。对于 'bayesopt' 和 'randomsearch' 为 30，对于 'gridsearch' 为整个网格
maxtime

时间限制，指定为正实数标量。时间限制（以秒为单位），由 tic 和 toc 测量。运行时间可以超过 maxtime，因为 maxtime 不会中断函数计算。

inf
numgriddivisions用于 'gridsearch'，表示每个维度中的值的数量。该值可以是由指定每个维度上值个数的正整数组成的向量，也可以是应用于所有维度的标量。对于分类变量，此字段被忽略。10
showplots指示是否显示绘图的逻辑值。如果为 true，此字段绘制最佳观测目标函数值对迭代编号的图。如果使用贝叶斯优化（optimizer 为 'bayesopt'），则此字段还会绘制最佳估计目标函数值。最佳观测目标函数值和最佳估计目标函数值分别对应于迭代输出的 bestsofar (observed) 和 bestsofar (estim.) 列中的值。您可以在 mdl.hyperparameteroptimizationresults 的属性 objectiveminimumtrace 和 estimatedobjectiveminimumtrace 中找到这些值。如果问题包含一个或两个用于贝叶斯优化的优化参数，则 showplots 还会绘制目标函数的模型对这些参数的图。true
saveintermediateresults指示当 optimizer 为 'bayesopt' 时是否保存结果的逻辑值。如果为 true，此字段将在每次迭代中覆盖名为 'bayesoptresults' 的工作区变量。变量是 bayesianoptimization 对象。false
verbose

在命令行中的显示：

  • 0 - 不显示迭代输出

  • 1 - 显示迭代输出

  • 2 - 显示带额外信息的迭代输出

有关详细信息，请参阅 bayesopt 名称-值参数和示例 。

1
useparallel指示是否并行运行贝叶斯优化的逻辑值，这需要 parallel computing toolbox™。由于并行时序的不可再现性，并行贝叶斯优化不一定产生可重现的结果。有关详细信息，请参阅 。false
repartition

逻辑值，指示是否在每次迭代时对交叉验证进行重新分区。如果此字段为 false，优化器将使用单个分区进行优化。

设置为 true 通常可得到最稳健的结果，因为此设置考虑了分区噪声。然而，为了获得良好的结果，设置为 true 后函数计算次数至少会翻一倍。

false
请使用以下三个选项之一。
cvpartitioncvpartition 对象，由 cvpartition 创建如果未指定交叉验证字段，则为 'kfold',5
holdout(0,1) 范围内的标量，表示保留比例。
kfold大于 1 的整数。

此参数只对二类学习有效。

示例： 'hyperparameteroptimizationoptions',struct('maxobjectiveevaluations',60)

数据类型： struct

输出参数

经过训练的 svm 分类模型，以 classificationsvm 模型对象或 交叉验证模型对象形式返回。

如果您设置任一名称-值对组参数 kfold、holdout、leaveout、crossval 或 cvpartition，则 mdl 是 classificationpartitionedmodel 交叉验证分类器。否则，mdl 是 classificationsvm 分类器。

要引用 mdl 的属性，请使用圆点表示法。例如，在命令行窗口中输入 mdl.alpha 以显示经过训练的 lagrange 乘数。

限制

  • fitcsvm 为一类或二类学习应用训练 svm 分类器。要使用就有两个以上类的数据训练 svm 分类器，请使用 fitcecoc。

  • fitcsvm 支持低维和中维数据集。对于高维数据集，请改用 fitclinear。

详细信息

框约束

框约束是参数，它控制对违反边距的观测值施加的最大罚分，这有助于防止过拟合（正则化）。

如果增加框约束，则 svm 分类器分配的支持向量会更少。然而，增加框约束会导致更长的训练时间。

gram 矩阵

由 n 个向量 {x1,..,xn; xj ∊ rp} 组成的 gram 矩阵是一个 n×n 矩阵，其中元素 (j,k) 定义为 g(xj,xk) = <ϕ(xj),ϕ(xk)>，即使用核函数 ϕ 的变换后的预测变量的内积。

对于非线性 svm，算法使用预测变量数据 x 的行形成 gram 矩阵。对偶问题形式用生成的 gram 矩阵的对应元素替换 x 中观测值的内积（称为“核方法”）。因此，非线性 svm 在变换后的预测变量空间中运算以找到分离超平面。

karush-kuhn-tucker (kkt) 互补条件

kkt 互补条件是最优非线性规划解所需的优化约束。

在 svm 中，对于所有 j = 1、...、n，kkt 互补条件是

{αj[yjf(xj)−1 ξj]=0ξj(c−αj)=0

，其中 f(xj)=ϕ(xj)′β b, ϕ 是核函数（请参阅 gram 矩阵），ξj 是松弛变量。如果这些类完全可分离，则对于所有 j = 1,...,n，满足 ξj = 0。

一类学习

一类学习，或无监督 svm，旨在从高维预测变量空间（而不是原始预测变量空间）的原点分离数据，是一种用于离群值检测的算法。

该算法类似于二类分类的 svm 的算法。目标是最小化关于 α1,...,αn 的对偶表达式

0.5∑jkαjαkg(xj,xk)

，且对于所有 j = 1、...、n，满足

∑αj=nν

和 0≤αj≤1。g(xj,xk) 的值在 gram 矩阵的元素 (j,k) 中。

较小的 ν 值会导致较少支持向量，因此决策边界平滑、粗糙。较大的 ν 值会导致较多支持向量，因此决策边界弯曲、灵活。最佳 ν 值应足够大以体现数据的复杂性，同时足够小以避免过度训练。此外，0 < ν ≤ 1。

有关详细信息，请参阅[5]。

支持向量

支持向量是与 α1,...,αn 的严格正估计值对应的观测值。

对于给定训练集，最好选用产生较少支持向量的 svm 分类器。

用于二类分类的支持向量机

svm 二类分类算法搜索将数据分成两类的最优超平面。对于可分离类，最优超平面会最大化自身周围的边距（不包含任何观测值的空间），从而在正类和负类间创建边界。对于不可分离的类，目标是相同的，但是，如果有观测值位于其类边界的错误一侧，则算法会相应地对边距长度施加罚分。

线性 svm 分数函数是

f(x)=x′β b,

其中：

  • x 是观测值（对应于 x 的一行）。

  • 向量 β 包含定义超平面的正交向量的系数（对应于 mdl.beta）。对于可分离的数据，最佳边距长度是 2/‖β‖.

  • b 是偏差项（对应于 mdl.bias）。

特定系数的 f(x) 的根定义超平面。对于特定的超平面，f(z) 是从 z 点到超平面的距离。

算法搜索最大边距长度，同时将观测值分为正类 (y = 1) 和负类 (y = –1)。

  • 对于可分离的类，目标是最小化关于 β 和 b 的 ‖β‖，并且对于所有 j = 1、...、n，满足 yjf(xj) ≥ 1。这是针对可分离类的原问题形式。

  • 对于不可分离的类，算法会在遇到跨越类边界的观测值时使用松弛变量 (ξj) 对目标函数进行罚分。对于未跨越类边界的观测值，ξj = 0，否则 ξj ≥ 0。

    目标是最小化关于 β、b 和 ξj 的 0.5‖β‖2 c∑ξj，对于所有 j = 1,..,n 和正标量框约束 c，满足 yjf(xj)≥1−ξj 和 ξj≥0。这是针对不可分离类的原问题形式。

算法采用 lagrange 乘数方法优化目标，引入 n 个系数 α1,...,αn（对应于 mdl.alpha）。线性 svm 的对偶问题形式如下：

  • 对于可分离的类，最小化关于 α1,...,αn 的

    0.5∑j=1n∑k=1nαjαkyjykxj′xk−∑j=1nαj

    ，对于所有 j = 1,...,n，满足 ∑αjyj=0，αj ≥ 0，且满足 karush-kuhn-tucker (kkt) 互补条件。

  • 对于不可分离的类，目标与可分离的类相同，不同之处是所有 j = 1、...、n 需满足附加条件 0≤αj≤c。

得到的分数函数是

f^(x)=∑j=1nα^jyjx′xj b^.

b^ 是偏差的估计值，α^j 是向量 α^ 的第 j 个估计值，j = 1,...,n。写为这种形式时，score 函数不再需要原问题形式中的 β 估计值。

svm 算法使用 sign(f^(z)). 对新观测值 z 进行分类

在某些情况下，非线性边界对类进行分隔。非线性 svm 在经过变换的预测变量空间中计算以找到最佳的分离超平面。

非线性 svm 的对偶问题可表示为关于 α1、...、αn 的以下形式

0.5∑j=1n∑k=1nαjαkyjykg(xj,xk)−∑j=1nαj

对于所有 j = 1、..、n，满足 ∑αjyj=0，0≤αj≤c，且满足 kkt 互补条件。g(xk,xj) 是 gram 矩阵的元素。得到的分数函数是

f^(x)=∑j=1nα^jyjg(x,xj) b^.

有关详细信息，请参阅、[1] 和 [3]。

提示

  • 除非您的数据集很大，否则请始终尝试标准化预测变量（请参阅 standardize）。标准化可使预测变量不受其测量尺度的影响。

  • 使用 kfold 名称-值对组参数进行交叉验证是很好的做法。交叉验证结果决定 svm 分类器的泛化能力。

  • 对于一类学习：

    • 名称-值对组参数 alpha 的默认设置可能导致较长的训练时间。要加快训练速度，可将 alpha 设置为主要由 0 组成的向量。

    • 将名称-值对组参数 nu 设置为更接近 0 的值可产生更少的支持向量，从而获得更平滑但粗糙的决策边界。

  • 支持向量中的稀疏性是 svm 分类器的一个理想属性。要减少支持向量的数量，可将 boxconstraint 设置为较大的值。此操作会增加训练时间。

  • 为了获得最佳训练时间，请将 cachesize 设置为计算机允许的最大内存限制。

  • 如果您期望支持向量比训练集中的观测值少得多，则您可以使用名称-值对组参数 'shrinkageperiod' 缩小活动集，从而显著加快收敛速度。指定 'shrinkageperiod',1000 是很好的做法。

  • 远离决策边界的重复观测值不影响收敛。然而，决策边界附近出现的少数几个重复的观测值可能会大幅减慢收敛速度。在以下情况下，要加快收敛速度，请指定 'removeduplicates',true：

    • 您的数据集包含许多重复的观测值。

    • 您怀疑有几个重复的观测值接近决策边界。

    要在训练期间保留原始数据集，fitcsvm 必须临时分别存储两个数据集：原始数据集和没有重复观测值的数据集。因此，如果您为包含少量重复观测值的数据集指定 true，则 fitcsvm 消耗的内存将接近原始数据的两倍。

  • 在训练模型后，您可以生成预测新数据标签的 c/c 代码。生成 c/c 代码需要 matlab coder™。有关详细信息，请参阅introduction to code generation。

算法

  • 有关 svm 二类分类算法的数学公式，请参阅用于二类分类的支持向量机和。

  • nan、、空字符向量 ('')、空字符串 ("") 和 值表示缺失值。fitcsvm 会删除对应于缺失响应的整行数据。在计算总权重时（请参阅下几项内容），如果某权重所对应的观测值至少具有一个缺失变量，则 fitcsvm 忽略该权重。此操作会导致平衡类问题中出现不平衡的先验概率。因此，观测值框约束可能不等于 boxconstraint。

  • 如果您指定 cost、prior 和 weights 名称-值参数，则输出模型对象会将指定的值分别存储在 cost、prior 和 w 属性中。cost 属性存储用户指定的代价矩阵 (c)，无需进行任何修改。prior 和 w 属性分别存储归一化后的先验概率和观测值权重。对于模型训练，软件会更新先验概率和观测值权重，以纳入代价矩阵中所述的罚分。有关详细信息，请参阅。

    请注意，cost 和 prior 名称-值参数用于二类学习。对于一类学习，cost 和 prior 属性分别存储 0 和 1。

  • 对于二类学习，fitcsvm 为训练数据中的每个观测值指定一个框约束。观察值 j 的框约束的公式是

    cj=nc0wj∗,

    ，其中 c0 是初始框约束（请参阅 boxconstraint 名称-值参数），而 wj* 是观测值 j 的由 cost 和 prior 调整的观测值权重。有关观测值权重的详细信息，请参阅。

  • 如果您将 standardize 指定为 true 并设置 cost、prior 或 weights 名称-值参数，则 fitcsvm 会使用对应于预测变量的加权均值和加权标准差对预测变量进行标准化。也就是说，fitcsvm 使用

    xj∗=xj−μj∗σj∗,

    标准化预测变量 j（xj，其中 xjk 是预测变量 j（列）的观测值 k（行），且

    μj∗=1∑kwk*∑kwk*xjk,(σj∗)2=v1v12−v2∑kwk*(xjk−μj∗)2,v1=∑jwj*,v2=∑j(wj*)2.

  • 假设 p 是您预期在训练数据中的离群值比例，并且您设置了 'outlierfraction',p。

    • 对于一类学习，软件会训练偏差项，使得训练数据中 100p% 的观测值具有负分数。

    • 对于二类学习，软件会实施稳健学习。换句话说，当优化算法收敛时，软件会尝试删除 100p% 的观测值。删除的观测值对应于幅值较大的梯度。

  • 如果预测变量数据包含分类变量，则软件通常会对这些变量进行完全虚拟变量编码。软件为每个分类变量的每个水平创建一个虚拟变量。

    • predictornames 属性为每个原始预测变量名称存储一个元素。例如，假设有三个预测变量，其中一个是具有三个水平的分类变量。那么 predictornames 是 1×3 个字符向量元胞数组，其中包含预测变量的原始名称。

    • expandedpredictornames 属性为每个预测变量（包括虚拟变量）存储一个元素。例如，假设有三个预测变量，其中一个是具有三个水平的分类变量。那么 expandedpredictornames 就是 1×5 字符向量数组，其中包含预测变量和新虚拟变量的名称。

    • 同样，beta 属性为每个预测变量（包括虚拟变量）存储一个 beta 系数。

    • supportvectors 属性存储支持向量的预测变量值，包括虚拟变量。例如，假设有 m 个支持向量和三个预测变量，其中一个预测变量是具有三个水平的分类变量。那么 supportvectors 就是 n×5 矩阵。

    • x 属性将训练数据存储为原始输入，不包括虚拟变量。当输入为表时，x 仅包含用作预测变量的列。

  • 对于表中指定的预测变量，如果任何变量包含经过排序的（有序）类别，软件会对这些变量使用有序编码。

    • 对于具有 k 个有序水平的变量，软件会创建 k – 1 个虚拟变量。在第 j 个虚拟变量中，前 j 个水平的对应值为 –1；从 j 1 至 k 的水平的对应值为 1。

    • 存储在 expandedpredictornames 属性中的虚拟变量的名称使用值 1 指示第一个水平。软件会为虚拟变量另外存储 k – 1 个预测变量名称，包括水平 2、3、...、k 的名称。

  • 所有求解器都实现 l1 软边距最小化算法。

  • 对于一类学习，软件估计 lagrange 乘数 α1、...、αn，满足

    ∑j=1nαj=nν.

替代功能

您还可以使用 函数来训练用于异常检测的一类 svm 模型。

  • 与 fitcsvm 函数相比，ocsvm 函数针对异常检测提供的首选工作流更简单。

    • ocsvm 函数返回 oneclasssvm 对象、异常指标和异常分数。您可以使用输出来识别训练数据中的异常。要找出新数据中的异常，可以使用 oneclasssvm 的 对象函数。isanomaly 函数返回新数据的异常指标和分数。

    • fitcsvm 函数支持一类和二类分类。如果类标签变量只包含一个类（例如，由 1 组成的向量），fitcsvm 会训练一类分类模型并返回 classificationsvm 对象。要识别异常，您必须首先使用 classificationsvm 的 或 predict 对象函数计算异常分数，然后通过找出具有负分数的观测值来识别异常。

    • 请注意，大的正异常分数表示 ocsvm 中存在异常，而负分数表示 classificationsvm 的 predict 中存在异常。

  • ocsvm 函数基于 svm 的原问题形式找到决策边界，而 fitcsvm 函数基于 svm 的对偶问题形式找到决策边界。

  • 对于大型数据集（大型 n），ocsvm 中求解器的计算开销低于 fitcsvm 中的求解器。与 fitcsvm 中需要计算 n×n gram 矩阵的求解器不同，ocsvm 中的求解器只需形成大小为 n×m 的矩阵。此处，m 是扩展空间的维数，对于大数据来说，此维数通常远远小于 n。

参考

[1] christianini, n., and j. c. shawe-taylor. an introduction to support vector machines and other kernel-based learning methods. cambridge, uk: cambridge university press, 2000.

[2] fan, r.-e., p.-h. chen, and c.-j. lin. “working set selection using second order information for training support vector machines.” journal of machine learning research, vol. 6, 2005, pp. 1889–1918.

[3] hastie, t., r. tibshirani, and j. friedman. the elements of statistical learning, second edition. ny: springer, 2008.

[4] kecman v., t. -m. huang, and m. vogt. “iterative single data algorithm for training kernel machines from huge data sets: theory and performance.” support vector machines: theory and applications. edited by lipo wang, 255–274. berlin: springer-verlag, 2005.

[5] scholkopf, b., j. c. platt, j. c. shawe-taylor, a. j. smola, and r. c. williamson. “estimating the support of a high-dimensional distribution.” neural comput., vol. 13, number 7, 2001, pp. 1443–1471.

[6] scholkopf, b., and a. smola. learning with kernels: support vector machines, regularization, optimization and beyond, adaptive computation and machine learning. cambridge, ma: the mit press, 2002.

扩展功能

版本历史记录

在 r2014a 中推出

另请参阅

| | | | | | (optimization toolbox) | | |

主题

    网站地图