严格凸函数只有一个局部最低点，该点也是全局最低点。经典的U形函数都是严格凸函数。不过，有些凸函数（例如直线）则不是这样的。很多常见的损失函数（包括下列函数）都是凸函数：
L2 损失函数
对数损失函数
●L1正则化
●L2正则化
梯度下降法的很多变体都一定能找到一个接近严格凸函数最小值的点。同样，随机梯度下降法的很多变体都有很高的可能性能够找到接近严格凸函数最小值的点(但并非一定能找到)。
两个凸函数的和（例如L2损失函数+L1正则化）也是凸函数。
深度模型绝不会是凸函数。值得注意的是，专门针对凸优化设计的算法往往总能在深度网络上找到非常好的解决方案，虽然这些解决方案并不一定对应于全局最小值。
凸优化(convexoptimization)
使用数学方法（例如梯度下降法）寻找凸函数最小值的过程。机器学习方面的大量研究都专注于如何通过公式将各种问题表示成凸优化问题，以及如何更高效地解决这些问题。
凸集(convex set)
欧几里得空间的一个子集，其中任意两点之间的连线仍完全落在该子集内。如图D-2所示的两个图形都是凸集。
相反，如图D-3所示的两个图形都不是凸集。
人工智能与大数据技术导论
450