一、概述　　

　　在1947年，Dantzig提出求解一般线性规划问题的单纯形法之后。现在，解线性规划、非线性规划以及随机规划、非光滑规划、多目标规划、几何规划、整数规划等各种最优化问题的理论的研究发展迅速。

　　最优化问题的一般形式为：

　　　　　　　　　　　　　　　

　　X属于Rⁿ为约束集或可行域，f(x)是目标函数，x属于Rⁿ是决策变量。特别地，约束集X=Rⁿ ,则最优化问题成为无约束最优化问题：

　　对于约束最优化问题通常写为

　　　　　　

　　这里，E和I分别是等式约束的指标集合不等式约束的指标集，c_i是约束函数。当目标函数和约束函数均为线性函数时。问题称为线性规划。当目标函数和约束函数中至少有一个是变量x的非线性函数时，问题称为非线性规划。

　　除此之外，根据决策变量、目标函数和要求的不同，最优化还分成整数规划、动态规划、网络规划、非光滑规划、随机规划、几何规划、多目标规划等若干分支。

　　本文主要研究求解无约束最优化问题和约束最优化问题。

二、半范数和范数定义

半范数：

范数：

三、向量范数和矩阵范数

（1）向量范数

（2）矩阵向量

　（i）　类似于向量范数的定义，可以定义矩阵范数。设A为R^n×n,其诱导矩阵范数定义为：

诱导矩阵范数的两个性质：

（ii）Frobenius范数及其它