非线性化三篇

2024-09-11

非线性化篇1

LDA可用于数据的降维上，在一个广义的条件下[7]，LDA与最小二乘具有等价性。转换矩阵上的元素若都是非零的，会使模型不具有稀疏性，而具有稀疏性的模型具有更好的解释性和更广的广泛性[8]。众所周知的有L1范数即lasso(the Least Absolute Shrinkage and Selection Operator)[9]，可为模型自动选择变量，从而产生稀疏模型;还有一些其他具有不同惩罚项的正则化最小二乘方法，如L2正则化和P正则化。弹性网络综合了L1和L2的优点。最小二乘LDA引入了弹性网络惩罚项，用于解决具有高维奇异值样本数据。通过使用基于benchmark的文本数据来对比使用不同惩罚项的算法的预处理的有效性。实验结果显示，提出的正则化的LS-LDA方法具有很好的有效性。

1 回归分析

通常情况下，用OLS(Ordinary Least Squares)来解决线性回归问题，在OLS计算中，先将观察值X与目标值y中心化，每个变量x的系数都包含在加权向量w中，而w可通过计算下列函数的最小值求得：

其中w=[w1,w2……wk]是加权矩阵，得到w的解为：

如果测试一组不可见的观察值时，若允许出现稍小偏差而不影响结果，那么就可以得到比OLS具有更低错误的估计值。实现这种效果的最常用的方法是在加权向量w上加一些限制条件，方法有L1范数、L2范数和弹性网络等。

在最小二乘的公式上加上w的L1范数的惩罚项即对回归系数加以约束条件，称为lasso,wlasso的解可通过求lasso惩罚公式的最小值得到，即：

用L2范数替代L1范数惩罚项可得岭回归公式(Ridge regression)[10]，wridge的解可通过求岭回归惩罚公式的最小值得到，即：

Lasso是一项非常好的处理回归问题和变量选择的方法，但lasso也有一些局限性。若维数d大于样本数n,lasso会选择n个变量中最大的一个，而这并不能满足我们的要求。岭参数k的确定依赖于未知参数,但若只凭样本推断,就会使大量的经验和信息作用无从发挥。为了克服这些缺点，弹性网络被提出来了[11]。弹性网络吸纳了岭回归和lasso回归的惩罚项并进行了组合。对于任意一个非负参数λ和θ，弹性网络的wEN估计值可由下式给出，即：

当λ=0时，该式就是lasso问题了。在弹性网络的设置中，给一个固定值λ，通过计算一个简单的最小二乘式子，最小角回归可以给出一个与任意θ相符合的解。

2 改进的LS-LDA及其详述

2.1 线性判别分析（Linear Discriminant Analysis)

LDA的目的是使同类内尽可能地相似,不同类间尽可能地相异,从而达到对数据进行降维的效果。设有一组d维的样本数据{(xi,yi)}ni=1,其中xi∈,yi∈{1,2……,k}是第i中样本的类别属性,n是样本个数,d是样本维数,k是类别。数据矩阵X=[x1,x2,……,xn]被划分为k类,即X=[X1,X2,……,Xk],其中xi∈d×ni,ni是第i类中样本Xi的个数,且k i=1Σni=n。对于有k类的分类问题,要寻找(k-1)个投影向量wi=[i=1,…k-1],作为投影矩阵W的行向量。因此,任何一个降维后的观察值xL都可以用投影向量与原始观察值xh线性组合组成,即xl=wTxh。在线性判别分析中,三个散布矩阵即类内散布矩阵、类间散布矩阵和全局散布矩阵,定义如下:

其中第i类的中心值为μi=是全局的中心值,即,从定义可知St=Sw+Sb。

2.2 ULDA(Uncorrelated Linear Discriminant Analysis)与多元线性回归的关系

经典的LDA不适合应用于文本分析，是因为文本数据的全局散布矩阵是奇异的。ULDA是LDA的推广，用于解决小样本问题。通过求解下列函数的最优解来得出ULDA的转换矩阵WULDA，即：

由广义特征值分解可知，最优解WULDA是由St+Sb前几个非零特征值对应的特征向量组成的，其中全局散布矩阵St是奇异的。在最小二乘线性判别分析中[11]，可知，其中μi是第i类的中心值，μ是全局中心值，e是n×n单位矩阵，则Sb和St可用下式表示，即：

用奇异值分解(SVD)方法将Ht矩阵分解，得Ht=UΣVT,U、V都是正交矩阵，Σ=是对角矩阵，且St的秩等于t，那么：

把U矩阵分成两子块运算即U=[U1U2]，U1∈n×t,U2∈n×(n-t)，所以U2是处于St的空的空间中，即U2TStU2=0。由于St=Sb+Sw，且Sw是半正定矩阵，因此U2TSbU2=0，所以可得下列等式，即：

定义

多元模型的输出目标值y□可由下式得出：

其中w是加权向量，用于估计w值的常用方法是最小二乘算法，通过求解下列函数目标的最小值可得出w估计值，即：

由上所述的ULDA中可知，最优转换矩阵WULDA是由St+Sb的前几个非零特征值对应的特征向量组成，可得WULDA和WLS的关系如下所述。从等式(12)、(13)和(14)，可知St+Sb可以被分解成如下等式：

因此，ULDA的最优转换矩阵可写成：

由于对角矩阵Σb的前q个列是非零向量，所以Pq矩阵是由P矩阵的前q列组成的。另一方面

其中Q是正交矩阵，从等式(20)中可知WULDA和WLS的区别只在于对角矩阵Σb0.p5。

若矩阵Σbq是一个以q为长度的识别矩阵，在一个广义条件S1下，WLS和WULDA在本质上是等价的，这个广义条件S1即为[7]：

这个条件在包括具有高维和小样本数据的多种领域上都有广泛的应用。

2.3 正则化LS-LDA

基于上述的ULDA与LS之间的等价关系，可推出将正则化方法应用到ULDA的分析中。正则化通常用来控制模型的复杂性和改善模型性能。使用L2正则化的线性回归叫做岭回归[10]，使用等式(17)中的类指示矩阵，就可以获得L2规则化的最小二乘LDA算法(简称S-LDA2)，其公式为：

其中W=[w1,w2，……，wk]，λ>0是正则化参数。

在数值分析中，可知使用L1正则化来选择变量可得稀疏模型。在最小二乘里加入L1惩罚项产生的模型叫lasso。基于ULDA与LS之间的确立关系，可推出L1正则化的最小二乘LDA，简写为LS-LDA1，其目标函数为：

其中W=[w1,w2……wk]，θ是正则化参数。

由Zou和Hastie提出的弹性网络，它结合了L1正则化和L2正则化的优点，使得其能以高效率的速度解决回归问题。在最小二乘LDA中加入弹性网络惩罚项，可得弹性网络的最小二乘LDA，简写为LS-LDAEN，其目标函数为：

当1≤j≤k，最优解wj*为：

3 实验结果与分析

在这节中，将提取一组多类的数据作为实验仿真数据，通过此实验来说明我们所提出的算法的有效性。在这次实验中，将这五种方法即ULDA,LS-LDA,LS-LDA1,LS-LDA2和LS-LDAEN进行效果对比。所有的LDA方法可将高维数据投影到低维空间中，用KNN(K-Nearest-Neighbor)作为分类器进行类别分类，得到的实验结果与理论分析具有一致性。采用标准的文本数据TDT2作为实验数据。TDT2的数据集是在1998年上半年收集的，来自于六种资源，即两个通讯录(APW、NYT)，两个广播节目(VOA、PRI)和两台电视节目(CNN、ABC)。它是由被分为96个语义类别的11201个主题文本组成的。在这个数据集里，这些文件出现在两个或多个类别被删除，留下9394文件中最大的30类被列出来，如表1所示：

样本数据是从数据集2种类到10种类中取得的，这些样本都是高维的，而且都是维数大于样本数的。实验数据都是随机分配的，取2/3全部类样本作为训练样本，剩下的作为测试样本数据。每次对比用的数据都是在具有相同的维数下，用这五种方法进行结果对比，用KNN作为分类器进行分类。进行10次的实验对比，取平均正确率作为实验结果，如图1所示：

从图1中，可以看出，在用KNN分类之前，用正则化的方法即LS-LDA1,LS-LDA2和LS-LDAEN处理数据，所得到的分类效果比用LS-LDA和ULDA处理后的数据所得到的分类性能要好，而且还可以看出LS-LDAEN方法是这五种方法中最好的预处理方法。为了解释其原因，我们做了LS-LDA1与LS-LDAEN加权向量w的对比，如图2和图3所示：

图2和图3显示了LS-LDAEN的回归系数相比于LS-LDA1的回归系数要小，同时也可得出LS-LDA1回归系数不是很稳定，而LS-LDAEN有稳定的系数。此外，采用LS-LDAEN进行变量选择的系统具有稳定性和稀疏性，从而可将具有零系数的变量从系统中剔除。

为了能充分说明正则化算法具有优越性，且采用LS-LDAEN处理过的数据得到的分类效果较采用其他四种方法更好，可从这四种算法的平均运行时间而得出，如表2所示：

总之，通过此次实验可得出下列结果：

(1)条件S1适用于具有高维数据的样本;

(2)当条件S1成立，ULDA和LS-LDA具有等价性;

(3)即使条件S1不成立，ULDA和LS-LDA也可产生相类似的效果。

所以，在多元分类下，LS-LDA可推广到广义的最小二乘算法中去。从图1中，规则化的LS-LDA较LS-LDA和ULDA有较好的分类性能，而且LS-LDAEN在文本数集分类中较其他四种算法具有优越性。

4 结束语

在多元分类样本且满足S1条件下，ULDA与最小二乘具有等价性。基于这种等价关系，可推出正则化的LS-LDA算法。对文本数据进行实验仿真，验证了正则化LS-LDA算法的有效性，可将具有零系数的变量从系统中剔除，得到稀疏性的系统，使该系统具有更好的解释性。今后将对无记录的多元类别用正则化LS-LDA进行学习验证，并用正则化LS-LDA方法应用到网页中的文本特征提取中。

参考文献

[1]P.N.Belhumeour,J.P.Hespanha,D.J.Kriegman.Eigenfacesvs Fisherfaces:Recognition using class specific linear projection[C].Saudi Arabia.KFUPM ePrints.IEEE Trans Pattern Analysis and Machine Intelligence,1997,19(7):711-720.

[2]D.L.Swets,J.Y.Weng.Using discriminant eigenfeatures forimage retrieval[C].Saudi Arabia.KFUPM ePrints.IEEETrans.Pattern Analysis and Machine Intelligence,1996,18(8):831-836.

[3]J.H.Friedman.Regularized discriminant analysis[J].Journalof the American Statistical Association,1989,84(40):165-175.

[4]Y.Guo,T.Hastie,R.Tibshirani.Regularized linear discriminant analysis and its application in microarrays[J].Springer,2007,8(1):86-100.

[5]J.Ye.Characterization of a family of algorithms for generalized discriminant analysis on undersampled problems[J].The Journal of Machine Learning Research,2005,6(3):483-502.

[6]T.Hastie,A.Buja,R.Tibshirani.Penalized discriminantanalysis[J].Annals of Statistics,1995,23(1):73-102.

[7]J.Ye,T.Xiong.Computational and theoretical analysis ofnull space based and orthogonal linear discriminant analysis[J].Department of Computer Science and Engineering,2006,7(3):1183-1204.

[8]T.Hastie,R.Tibshirani,J.H.Friedman.The elements of statistical learning:data mining,inference,and prediction[J].The Mathematical Intelligencer,2005,27(2):83-85.

[9]R.Tibshirani.Regression Shrinkage and Selection via theLasso[J].Journal of the Royal Statistical Society,1996,58(1):267-288.

[10]J.Ye.Least squares linear discriminant analysis[C].ZoubinGhahramani.Computing Literature.Proceedings of the 24thinternational conference on Machine learning,2007,227(9):1087-1093.

探析非线性建筑的参数化设计篇2

从毕尔巴鄂古根海姆美术馆到扎哈·哈迪德建筑事务所设计的错综复杂的流线型造型，数字化气息的模型和令人震撼的渲染图在互联网上开始蔓延到生活中并随处可见。计算机数字化技术的引入，导致建筑单体与城市空间两者之间的功能特性界限变得越来越模糊。建筑物的复杂性转变是非线性建筑设计思想产生的前提条件，即强调影响因子之间参变量的相互作用，并在分析研究过程中让建筑形态自然的浮现，将空间形态的“结果”转化为“思维过程“。这种建筑设计逻辑的改变不仅能精确的控制设计过程中各种细小因素，同时又可偏离形式主义的误区，使设计的最终整体结果具备高度智能化。

非线性建筑的“参数化设计”概述

作为抽象逻辑“参数”起源于数学，定义为函数“量”的一种特定属性，它不是常数，一般可描述系统中各个部分的内在秩序，参数一旦发生改变，就有可能大幅度地影响整个系统的运行方式。将建筑视为一个非线性的动态系统，在这个复杂的系统之中就会存在很多参数，它们相互关联并且最终可决定整个系统的性能。当建筑师通过分析建立起参数化的关联模式后，就可以通过系统的自身运算来解决所面临的疑难问题。

简单来说，参数化设计是参数系统通过利用其相关运算技术，高效且全方位编排或组织系统的一种设计策略。广义的参数化设计是一种基于数字技术的设计方法，它伴随计算机图形技术的进步而逐步在设计行业中发展起来。在工业设计领域被应用得极其广泛，而在建筑设计之中才初现端倪，主要原因在于后者牵涉更多的相关学科专业，甚至囊括经济、政治等内在制约因素，使其相关软件在设计开发时需要解决更为复杂的技术难题。总体来说，国外对于非线性参数化设计的实践探索明显领先于国内，并且已经迈入了从实践跨越到教育的延伸阶段，其中颇具代表性的有Zaha Hardid Architects、AAEmtech、UN Studio等，相比之下，国内建筑生产环境的硬件设施陈旧，设计思维束缚于传统，导致建筑师自身表现出尴尬的矛盾性，即在更新设计技术的同时不得不进行方程式的设计操作。

参数化设计及其技术平台

参数化设计技术主要指的是计算机软件技术和数字建造技术，它们是参数化设计得以存在的关键因素和核心工具。参数化设计软件作为技术工具，不仅具备能够建立参数关系模式的机制，同时还拥有模拟和构造非线性动态的能力。使用者以交互的方式对参数进行设定和修改，再通过软件运行自身所内置的高级运算技术来模拟现实世界。如Bently公司研发的Generative Components，针对Rhino专门开发的Grasshopper，它们都是以十分直观的参数关系图示来呈现参数之间的关联机制。计算机脚本技术能将设计师的思维直接转译成计算机程序代码，从而实现参数化软件在某些方面无法涉及的任务，最常使用的有Rhinoscript和Maya Embedded Language，设计师在编写脚本时可能会耗费大量的时间，一旦程序检测出错，则需花费更多的精力来修改。

基于Autocad平台开发的Revit，其中的信息模型就由无数个虚拟构件拼装而成，在进行传递和共享数据时可有效地减少工程资讯的漏失。数字制造是通过信息的建模和处理来改进制造工艺，在非线性建筑建造的过程中，数控机床技术的激光切割和弯曲技术被广泛应用，前者适用于平面切割或板材加工，后者则可控制材料的塑性变形。

参数化设计的基本逻辑

非线性建筑的参数化设计是各种矛盾的综合体，在构建参数建造模型时，需设定参数并寻找彼此作用的平衡点。功能组织是绝大多数建筑所要解决的首要问题，既可运用软件转译后显示的功能组团之间的距离远近来表现不同区域之间的吸引力或排斥力，也能先用阵形密度代表空间的功能属性，再通过选定运算法则得到空间动静特征值进而确定功能排布。建筑的形体受其外部环境以及内部活动的双重影响，因此，遵从结构的多样性，在自然系统中探寻与环境相适应的形态并将其中某些能够用于建筑生成的组织结构转译为建筑形态的参数，这不仅能够创造出颇具视觉艺术的建筑形式，还可以解决某些实际的建筑问题。

建筑结构被称之为“骨架”，是建筑形式表达的物质基础，参数化设计从几何的角度输入结构规律与形式逻辑之间的参数值就能精确地生成建筑形式。建筑物理环境由声、光和热三部分构成，这些参变量可通过数学或物理描述直接转译，动态的数值得以生成不同的非线性建筑方案。同时，将人的心理及行为需求作为设计的重要参数，再通过数字技术识别，能使无生命的建筑物转变为具有交互能力的高级建筑形态。

结语

在设计实施过程中，设计师的主观倾向往往一直处于主导地位，而参数化设计打破了其主次关系，将客观条件的限制置于首要位置，并在此基础上不断地优化内在因素从而生成设计方案。建筑物是由很多关联因素共同影响生成，如何控制由这些参数整体形成的动态可调节系统，正是非线性建筑参数化设计的本质内涵。

（作者单位：湖南师范大学美术学院）