本书介绍最优化的基本概念、典型案例、基本理论和优化算法。典型案例来自数据科学、机器学习、人工智能、图像和信号处理等领域，基本理论覆盖最优解的存在性和唯一性、各类优化问题的一阶或二阶最优性条件、对偶理论等，优化算法包括无约束优化算法、约束优化算法、复合优化算法。全书案例丰富，理论详实，展现了最优化的“实践——算法——理论——实践”这一特点。书中配备了适量的习题，这些习题难易兼顾、层次分明，为正文的内容提供补充，并可检验读者的学习效果。

本书可作为高等学校数学类专业、数据科学相关专业的教材或参考书，供研究生和本科生高年级学生使用，也可供从事运筹学、计算数学、图像和信号处理、机器学习、人工智能等领域的科技工作者参考。

前辅文
第一章 最优化简介
  1.1 最优化问题概括
   1.1.1 最优化问题的一般形式
   1.1.2 最优化问题的类型与应用背景
  1.2 实例：稀疏优化
  1.3 实例：低秩矩阵恢复
  1.4 实例：深度学习
   1.4.1 多层感知机
   1.4.2 卷积神经网络
  1.5 最优化的基本概念
   1.5.1 连续和离散优化问题
   1.5.2 无约束和约束优化问题
   1.5.3 随机和确定性优化问题
   1.5.4 线性和非线性规划问题
   1.5.5 凸和非凸优化问题
   1.5.6 全局和局部最优解
   1.5.7 优化算法
  1.6 总结
  习题1
第二章 基础知识
  2.1 范数
   2.1.1 向量范数
   2.1.2 矩阵范数
   2.1.3 矩阵内积
  2.2 导数
   2.2.1 梯度与海瑟矩阵
   2.2.2 矩阵变量函数的导数
   2.2.3 自动微分
  2.3 广义实值函数
   2.3.1 适当函数
   2.3.2 闭函数
  2.4 凸集
   2.4.1 凸集的相关定义
   2.4.2 重要的凸集
   2.4.3 保凸的运算
   2.4.4 分离超平面定理
  2.5 凸函数
   2.5.1 凸函数的定义
   2.5.2 凸函数判定定理
   2.5.3 保凸的运算
   2.5.4 凸函数的性质
  2.6 共轭函数
   2.6.1 共轭函数的定义和例子
   2.6.2 二次共轭函数
  2.7 次梯度
   2.7.1 次梯度的定义
   2.7.2 次梯度的性质
   2.7.3 凸函数的方向导数
   2.7.4 次梯度的计算规则
  2.8 总结
  习题2
第三章 无约束优化算法
  3.1 最优化问题解的存在性
  3.2 无约束可微问题的最优性理论
   3.2.1 一阶最优性条件
   3.2.2 二阶最优性条件
   3.2.3 实例
  3.3 无约束不可微问题的最优性理论
   3.3.1 凸优化问题一阶充要条件
   3.3.2 复合优化问题的一阶必要条件
   *3.3.3 非光滑非凸问题的最优性条件
   3.3.4 实例
  3.4 线搜索方法
   3.4.1 线搜索准则
   3.4.2 线搜索算法
   3.4.3 收敛性分析
  3.5 梯度类算法
   3.5.1 梯度下降法
   3.5.2 Barzilai-Borwein方法
   3.5.3 应用举例
  3.6 次梯度算法
   3.6.1 次梯度算法结构
   3.6.2 收敛性分析
   3.6.3 应用举例
  3.7 共轭梯度法
   3.7.1 线性共轭梯度法
   3.7.2 非线性共轭梯度法
   3.7.3 共轭梯度法的线性收敛性
  3.8 牛顿类算法
   3.8.1 经典牛顿法
   3.8.2 收敛性分析
   3.8.3 修正牛顿法
   3.8.4 非精确牛顿法
   3.8.5 应用举例
  3.9 拟牛顿类算法
   3.9.1 割线方程
   3.9.2 拟牛顿矩阵更新方式
   3.9.3 拟牛顿法的全局收敛性
   3.9.4 有限内存BFGS方法
   3.9.5 应用举例
  3.10 信赖域算法
   3.10.1 信赖域算法框架
   3.10.2 信赖域子问题求解
   3.10.3 收敛性分析
   3.10.4 应用举例
  3.11 非线性最小二乘问题算法
   3.11.1 非线性最小二乘问题
   3.11.2 高斯-牛顿算法
   3.11.3 Levenberg-Marquardt方法
   3.11.4 大残量问题的拟牛顿法
   3.11.5 应用举例
  3.12 总结
  习题3
第四章 约束优化算法
  4.1 对偶理论
   4.1.1 拉格朗日函数与对偶问题
   4.1.2 带广义不等式约束优化问题的对偶
   4.1.3 实例
  4.2 一般约束优化问题的最优性理论
   4.2.1 一阶最优性条件
   4.2.2 二阶最优性条件
  4.3 带约束凸优化问题的最优性理论
   4.3.1 Slater约束品性与强对偶原理
   4.3.2 一阶充要条件
   *4.3.3 一阶充要条件：必要性的证明
  4.4 约束优化最优性理论应用实例
   4.4.1 仿射空间的投影问题
   4.4.2 线性规划问题
   4.4.3 基追踪
   4.4.4 最大割问题的半定规划松弛及其非凸分解模型
  4.5 罚函数法
   4.5.1 等式约束的二次罚丽数法
   4.5.2 收敛性分析
   4.5.3 一般约束问题的二次罚函数法
   4.5.4 应用举例
   4.5.5 其他类型的罚雨数法
  4.6 增广拉格朗日函数法
   4.6.1 等式约束优化问题的增广拉格朗日函数法
   4.6.2 一般约束优化问题的增广拉格朗日函数法
   4.6.3 凸优化问题的增广拉格朗日函数法
   4.6.4 基追踪问题的增广拉格朗日函数法
  4.7 逐步二次规划法
   4.7.1 拉格朗日-牛顿法
   4.7.2 Wilson-Han-Powell方法
   4.7.3 SQP步的超线性收敛性
   4.7.4 Marotos效应
   4.7.5 Watchdog技术
   4.7.6 二阶校正步
   4.7.7 光滑价值函数
  4.8 线性规划内点法
   4.8.1 原始-对偶算法
   4.8.2 路径追踪算法
  4.9 总结
  习题4
第五章 复合优化算法
  5.1 近似点梯度法
   5.1.1 邻近算子
   5.1.2 近似点梯度法
   5.1.3 应用举例
   5.1.4 收敛性分析
   *5.1.5 非凸函数的邻近算子与近似点梯度法
  5.2 Nesterov加速算法
   5.2.1 FISTA算法
   5.2.2 其他加速算法
   5.2.3 应用举例
   5.2.4 收敛性分析
  5.3 分块坐标下降法
   5.3.1 问题描述
   5.3.2 算法结构
   5.3.3 应用举例
   *5.3.4 收敛性分析
  5.4 交替方向乘子法
   5.4.1 交替方向乘子法
   5.4.2 Douglas-Rachford Splitting算法
   5.4.3 常见变形和技巧
   5.4.4 应用举例
   *5.4.5 收敛性分析
  5.5 随机优化算法
   5.5.1 随机梯度下降算法
   5.5.2 应用举例
   5.5.3 收敛性分析
   5.5.4 方差减小技术
  5.6 总结
  习题5
符号表
参考文献
索引