代理模型理论

    Kriging代理模型是一种基于统计理论的插值技术，即以已知样本点为基础考虑变量在空间上的相关特征，建立对象问题的近似函数关系模拟某一点的函数值。Kriging代理模型是有一个参数回归模型和非参数随机过程叠加构成的，比参数化模型更加具有灵活性，同时克服了非参数化模型处理高维数据的局限性，比单个参数化模型具有更强的预测能力。半参数化的Kriging模型不需要建立一个特定的数学模型，应用相比参数化模型更加方便。相比于其他传统的插值技术，Kriging模型具有两方面的优点：一是估值点只需用到该点附近的某些信息，而不是所有的信息来建立模型。二是同时具有局部和全局的统计特性，使得Kriging模型可以分析信息的趋势和动态。Kriging模型在某一点的预测需要通过对该点一定范围内的信息进行加权线性组合，加权选择是通过最小化估计值的误差方差来确定，因此，Kriging模型是一种最优的无偏估计模型［69-71］。

    Kriging模型由两部分组成，多项式和随机分布

    y（x）=F（β，x）+z（x）=f T（x）β+z（x）（9-6）

    式中 β——回归系数；

    f（x）——x多项式，在设计空间中，回归模型的作用是提供模拟的全局近似，可以是0阶、1阶或2阶多项式，对应常数、线性和二次方程。

    常数，p=1：

    f1（x）=1（9-7）

    线性，p=n+1：

    f1（x）=1，f2（x）=x1，…，fn+1（x）=xn（9-9）

    二次方程，p=（n+1）（n+2）/2：

    f1（x）=1

    f2（x）=x1，…，fn+1（x）=xn

    fn+2（x）=x21，fn+3=x1x2，…，f2n+1（x）=x1xn（9-9）

    f2n+2（x）=x22，f2n+3=x2x3，…，f3n（x）=x2xn

    ……fp（x）=x2n

    式中，x∈Rn，xi（i=1，…，n）表示x的第i维分量。

    z（x）是随机分布误差，提供对模拟局部偏差的近似，具有统计特性：

    E［z（x）］=0（9-10）

    Var［z（x）］=σ2z（9-11）

    Cov［z（xi），z（xj）］=σ2z［Rij（θ，xi，xj）］（9-12）

    式中 xi，xj——训练样本中的任意两个点；

    R（θ，xi，xj）——带有参数θ的相关函数，表征训练样本点之间的空间相关性。

    所以，Kriging代理模型将任意响应值都视为服从正态分布的一个随机变量，使模型不限定于某种特殊的形式，而具有更强的灵活性。

    给定训练样本集S=［x1，x2，…，xn］及其响应集Y=［y1，y2，…，yn］，在模型式（9-6）假定的基础上，任意一个待测点xnew的响应值由已知的训练样本响应值Y的线性组合估计

    预测的误差为

    式中，F=［f1，f2，…，fn］T，Z=［z1，z2，…，zn］T。要使拟合过程的无偏性，误差的均值应为零，即

    可得

    FTc—f=0（9-16）

    式（9-13）的预测方差为

    将式（9-11）和式（9-12）代入式（917）可得

    σ2（xnew）=σ2z（1+c TRc—2c Tr）（9-18）

    其中

    r（θ，xnew，S）=［R（θ，xnew，x1），R（θ，xnew，x2），…，R（θ，xnew，xn）］ （9-19）

    此式表征着新样本点xnew与各样本点的空间相关性。此时，即可通过最小化预测值的预测方差来确定差值系数c，其优化模型为

    使用拉格朗日乘子法

    L（c，λ）=φ（xnew）—λT（FTc—f）（9-21）

    =σ2z（1+c TRc—2c Tr）—λT（FTc—f）

    系数c的梯度为

    L′（c，λ）=2σ2z（Rc—r）—Fλ（9-22）

    定义

    由极值条件可得

    进而得到

    将求得的c表达式代入式（9-13）和式（9-18）中，就得到了待测点xnew的预测值和预测值的方差

    由回归表达式Fβ=Y的广义最小二乘估计可得

    β*=（FTR—1F）—1FTR—1Y（9-27）

    将式（9-27）代入式（9-26），考虑估计值余量表达式Rγ*=Y—Fβ*，可得

    由于矩阵F，R和向量Y是由给定样本S来计算的，与xnew无关，所以β和γ与xnew无关，那么在式（9-28）中就只有向量f（xnew）和r（xnew）与xnew有关。对于任一待测点xnew，只要求出f（xnew）和r（xnew），则可以得到该点的预测响应值。将式（9-23）和式（9-25）代入到式（9-18），则预测值的预测方差为

    σ2（xnew）=σ2z［1+ζT（FTR—1F）—1ζ—r TR—1r］（9-29）

    其中

    ζ=FTR—1r—f（9-30）

    式（9-28）和式（9-29）可用来计算任一点的预测值和预测值的预测方差。但是在这两个式中存在两个未知参数：σz2和R中的参数θ。这两个参数可以通过最大化响应值的似然估计来计算。Z（x）服从正态分布，那么y（x）也应服从正态分布，它的似然函数为

    取对数并忽略常数项，可得

    将式（9-32）对β求偏导并令导数为零，可得到式（9-27），说明广义最小二乘估计和最大似然估计是一致的。将式（9-32）对σz2求偏导并令其导数为零，可得

    将式（9-33）代入式（9-32）并忽略常数项可以得到

    可以看出，上式仅与R有关，即与参数θ有关，最大化式（9-34）即可得到θ值，所以Kriging代理模型的构建便可转化为一个非线性无约束优化问题。

    相关模型，是用来计算两个样本间的相关程度，相关性与两个样本间的距离有关，所以给定函数关系式

    式中 nυ——已知的设计变量的数量；

    xki，xkj——训练样本点xi和xj的第k个分量。

    其中Rk（θk，dk）有多种形式，常用有如下几种：

    EXP： Rk（θkdk）=exp（—θkdk）（9-37）

    EXPG： Rk（θk，dk）=exp（—θkdδk）， 0＜δ≤2（9-38）

    GAUSS： Rk（θk，dk）=exp（—θkd2k）（9-39）

    LIN： Rk（θk，dk）=max｛0，1—θkdk｝ （9-40）

    CUBIC： Rk（θk，dk）=1—3ξk+2ξ3k， ξk=min｛1，θkdk｝ （9-41）

    SPHERICAL： Rk（θk，dk）=1—1.5ξk+0.5ξ3k， ξk=min｛1，θkdk｝ （9-42）

    当两个样本间的欧氏距离较小时，EXP，LIN和SPHERICAL表现为线性行为，所以它们比较适合于线性的对象问题，而GAUSS，CUBIC和SPLINE表现为抛物线行为，所以适合于连续可谓的对象问题。其中计算效果好且被广泛采用的相关函数是GAUSS函数。当相关函数R为GUASS时，式（9-35）的优化问题可转化为最小化问题

    式中，|R|是R的行列式值。