0-1损失函数
非凸函数不适用
绝对值损失
$$
L(Y,f(x))=|Y-f(x)|
$$
log对数损失函数
$$
L(Y,P(Y|X))=-log^{P(y|x)}
$$
特点：
(1) log对数损失函数能非常好的表征概率分布，在很多场景尤其是多分类，如果需要知道结果属于每个类别的置信度，那它非常适合。
(2)健壮性不强，相比于hinge loss对噪声更敏感。
(3)逻辑回归的损失函数就是log对数损失函数。
交叉熵
适用于分类
$$
P(x)=-\sum_{x=1}^{n} p^x(1-p)^{1-x} \
logP(x)=-\sum_{x=1}^{n}[xlog^p+(1-x)log^{1-p}]
$$
平方损失
应用于回归问题
$$
L(Y,f(x))=\sum_{i=1}^{n}(Y-f(x))^2
$$
指数损失函数
$$
exp[-yf(x)]
$$
特点：
(1)对离群点、噪声非常敏感。经常用在AdaBoost算法中。
Hinge损失函数
$$
L(Y,f(x))=max(0,1-yf(x))
$$
特点：
(1)hinge损失函数表示如果被分类正确，损失为0，否则损失就为 。SVM就是使用这个损失函数。
(2)一般的 是预测值，在-1到1之间，
是目标值(-1或1)。其含义是，
的值在-1和+1之间就可以了，并不鼓励
，即并不鼓励分类器过度自信，让某个正确分类的样本距离分割线超过1并不会有任何奖励，从而使分类器可以更专注于整体的误差。
(3) 健壮性相对较高，对异常点、噪声不敏感，但它没太好的概率解释。
感知损失(perceptron loss)函数
$$
L(Y,f(x))=max(0,-f(x))
$$
$$
$$
转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论，也可以邮件至 zoubinbf@163.com
