智能磨削云平台 篇1
进入21世纪后,美国电力科学研究院、美国能源部以及欧盟委员会等纷纷提出各自对未来智能电网的设想和框架,国际电工委员会、国际大电网会议组织等国际组织也给予智能电网高度关注[1,2]。在国内,国家电网公司确立了建设坚强智能电网的发展战略,提出了以特高压电网为骨干网架、各级电网协调发展、具有“信息化、自动化、互动化”特征的坚强智能电网发展目标。
电网的智能化体现为能够全面、及时地掌握电网运行的信息,综合各自动化功能系统对信息分析的结果,做出最优的反应。因此,精确、快速、开放、共享的信息系统是智能电网的基础,也是智能电网与传统电网的最大区别。信息平台是支撑统一坚强智能电网建设的公共平台和重要手段。统一坚强智能电网的建设对信息平台提出了更高的需求:①要求贯通智能电网的发电、输电、变电、配电、用电、调度6个环节,实现信息的全面采集、流畅传输和高效处理,支撑电力流、信息流、业务流的高度一体化;②要求建立信息共享透明、集成规范、功能强大的业务协同和互操作平台;③要求海量信息的可靠存储与管理,充分挖掘信息的潜在价值,提升智能分析和决策支持水平。
目前存在多种信息平台建设方案,包括国家电网公司的SG186与国家电网企业资源计划(SG-ERP)、南方电网公司的基于面向服务架构(SOA)的企业级信息系统、华东电网企业级信息系统、华北电网企业级信息技术集成平台、西北电网企业资源计划(ERP)项目以及上海电力公司SG186示范工程等[4,5]。SG-ERP将在更大范围内优化资源配置,以支撑坚强智能电网建设和公司集约化管理为重点,涵盖包括资产全寿命管理、用电信息采集、全面风险管理和电网调度等公司所有业务。上述解决方案仍然采用常规的数据存储与管理方法,基础架构大多采用价格昂贵的大型服务器,存储硬件采用磁盘阵列,数据库管理软件采用关系数据库系统,紧密耦合类业务应用采用套装软件,因此,系统扩展性较差、成本较高。智能电网环境下数据量将巨增,对可靠性和实时性要求更高,面对这些海量、分布式、多源异构的信息,常规的数据存储与管理方法会遇到极大的困难。
云计算是一种新兴的计算模型,具备可靠性高、数据处理量巨大、灵活可扩展以及设备利用率高等优势,正成为信息领域研究的热点,包括Google,Amazon,IBM与Microsoft在内的几乎所有的IT行业巨头都将云计算作为未来发展的主要战略之一[6,7,8],这给上述问题的解决带来了机遇。本文提出采用云计算技术构建智能电网信息平台,充分利用计算资源,实现智能电网全部业务信息的可靠存储和管理,具有成本低、可靠性高、易扩展等优势,为智能电网信息平台的建设提供了全新的解决思路。
1 云计算概述
目前,对于云计算的认识还在不断的发展和完善,云计算仍没有普遍一致的定义。
维基百科将云计算定义为一种计算方式,通过互联网将资源以服务的形式提供给用户,而用户不需要知道如何管理那些支持云计算的基础设施。
根据中国云计算网的定义,云计算是分布式计算、并行计算和网格计算的发展,或者说是这些科学概念的商业实现。云计算是虚拟化、效用计算、SOA等概念混合演进的结果。
结合上述云计算的描述,可以总结出云计算的主要特点,即分布式的计算和存储、超大规模、虚拟化、高可靠性、良好的管理性与扩展性、极其廉价等。
云计算技术研究尚处于起步阶段,目前主要应用于互联网、商业和科学计算等领域[9,10,11,12],例如中国移动已经正式将云计算确定为公司战略发展的重要方向之一,并建设了“大云”试验平台。目前,云计算在电力工业方面的深入研究与应用仍不多见。
2 云计算在智能电网信息平台中的应用
电网具有规模大、模型复杂、多级、多层次等显著特点。特别是随着太阳能、风能、水能等可再生能源逐渐接入电网以及分布式能源技术的不断发展,电网的规模将更大、复杂性更高、分布更广。下面分析智能电网信息平台的应用需求,结合云计算的虚拟化、平台管理、海量分布式存储、数据管理以及并行编程模式等关键技术,叙述基于云计算的智能电网信息平台的优越性。
2.1 异构资源的集成与管理
智能电网信息平台的首要功能是实现大规模异构信息与资源的整合优化,为智能电网提供资源集约化配置的数据中心。
1)异构资源的整合优化
电网各信息系统大多是基于本业务或本部门的需求,存在不同的平台、应用系统和数据格式,导致信息与资源分散,异构性严重,横向不能共享,上下级间纵向贯通困难。例如:电力系统中存在监视、控制、维护、能量管理、配电管理、市场运营、ERP等各类信息系统,大多处于相互分离状态,彼此不能有效结合,数据信息不能集成共享。
云计算可以充分整合电力系统现有的业务数据信息与计算资源,建立业务协同和互操作的信息平台,满足智能电网对信息与资源的高度集成与共享的需要。与网格计算采用中间件屏蔽异构系统的方法不同,云计算利用服务器虚拟化、网络虚拟化、存储虚拟化、应用虚拟化与桌面虚拟化等多种虚拟化技术,将各种不同类型的资源抽象成服务的形式,针对不同的服务用不同的方法屏蔽基础设施、操作系统与系统软件的差异。例如:云计算的基础设施层采用经过虚拟化后的服务器资源、存储资源与网络资源,能够以基础设施即服务(IaaS)的方式通过互联网被用户使用和管理,从而可以更有效地屏蔽硬件产品上的差异。
2)基础设施资源的自动化管理
智能电网信息平台的基础设施规模庞大,数量众多且分布在不同地点,同时运行着多种应用。例如:国网公司的信息化平台在公司总部与各个网省公司建立2级数据中心,实现公司总部、网省公司、地市县公司的3层应用。如何有效管理这些基础设施、减少数据中心的运营成本是一个巨大的挑战。
与网格计算侧重于聚合分布资源、主要支持协同科学研究等相对集中的挑战性应用不同,云计算主要以数据中心的形式提供底层资源的使用。另外,云计算从一开始就支持广泛企业计算,普适性更强。因此,云计算更能满足智能电网信息平台中数据中心建设的需要。
云计算的平台管理技术,例如Google的Borg,能够使大量的服务器协同工作,方便进行业务部署和开通,快速发现和恢复系统故障,通过自动化、智能化的手段实现大规模系统的可靠管理。例如:常规存储的管理往往非常复杂,不同存储厂商有不同的管理界面,而对云计算技术来说,每台存储服务器的使用状况,都可以在一个管理界面上看到。
目前,各省或地区供电公司闲置着许多未充分利用的计算与存储资源。云计算技术的扩容非常简单,可以直接利用闲置的x86架构的服务器搭建,且不要求服务器类型相同,大幅降低建设成本,并借助虚拟化技术的伸缩性和灵活性,提高资源的利用率。
传统数据中心通常建立在计算机集群之上,意外的硬件损坏不可避免。云计算技术通过将文件复制并且存在不同的服务器,解决了硬件意外损坏这个潜在的难题。另外,几乎所有的软件和数据都在数据中心,便于集中维护,而云计算对用户端的设备要求最低,几乎不存在维护任务。
2.2 海量数据的分布式存储与管理
在智能电网信息平台中,信息系统种类繁多,用户的服务请求巨大,数据呈现海量化,而电力系统现有的采用关系数据库系统等常规数据存储与管理的方法将无法满足海量数据存储与管理的需求。
1)海量电网数据的可靠存储
在未来智能电网环境下,数据采集与监控(SCADA)系统、相量测量单元(PMU)、设备状态监测系统、智能电表采集的数据量将是非常巨大的。
云计算采用分布式存储的方式来存储海量数据,并采用冗余存储与高可靠性软件的方式来保证数据的可靠性。云计算系统中广泛使用的数据存储系统之一是Google文件系统(GFS)。GFS将节点分为3类角色:主服务器(master server)、数据块服务器(chunk server)与客户端(client)。主服务器是GFS的管理节点,存储文件系统的元数据,负责整个文件系统的管理;数据块服务器负责具体的存储工作,文件被切分为64 MB的数据块,保存3个以上备份来冗余存储;客户端提供给应用程序的访问接口,以库文件的形式提供。客户端首先访问主服务器,获得将要与之进行交互的数据块服务器信息,然后直接访问数据块服务器完成数据的存取。由于客户端与主服务器之间只有控制流,而客户端与数据块服务器之间只有数据流,可以极大地降低主服务器的负载,并使系统的I/O高度并行工作,进而提高系统的整体性能。因此,云计算可以满足智能电网信息平台对海量数据存储的需要,相比较IBM的通用并行文件系统(GPFS)和Sun公司的Lustre等传统分布式文件系统,由于采用廉价计算机、中心服务器模式、不缓存数据以及在用户态来实现,可以在一定规模下达到成本、可靠性和性能的最佳平衡。
2)各类电网数据的高效管理
电网数据广域分布、种类众多,包括实时数据、历史数据、文本数据、多媒体数据、时间序列数据等各类结构化和半结构化数据,各类数据查询与处理的频度及性能要求也不尽相同。例如:电力设备状态数据包括实时在线状态数据,以及设备基本信息、试验数据、运行数据、缺陷数据、巡检记录、带电测试数据等离线信息,其中有结构化的采集密集的时间序列数据(包括输电线路监测的短路、泄露电流的采样数据,故障录波器的暂态波形和事故数据)和非结构化数据(包括输电线路覆冰、舞动、危险点的图片和视频等),对在线状态数据的处理性能要求远高于离线数据。
云计算的数据管理技术能够满足智能电网信息平台对分布的、种类众多的数据进行处理和分析的需要。以作为云计算中数据管理技术的Google的BigTable为例。BigTable是针对数据种类繁多、海量的服务请求而设计的,这正符合上述智能电网信息平台的特点与需要。与传统的关系数据库不同,BigTable把所有数据都作为对象来处理,形成一个巨大的分布式多维数据表,表中的数据通过一个行关键字、一个列关键字以及一个时间戳进行索引。BigTable将数据一律看成字符串,不作任何解析,具体数据结构的实现需要用户自行处理,这样可以提供对不同种类数据的管理。另外,采用时间戳记录各类数据的保存时间,并用来区分数据版本,可以满足各类数据的性能要求,具有很强的可扩展性、高可用性以及广泛的适用性。因此,云计算能够高效地管理智能电网信息平台中类型不同、性能要求不同的各类多元数据。
2.3 快速的电力系统并行计算与分析
为了实现电网的安全稳定运行,需要在智能电网信息平台提供的海量数据的基础上,进行大规模的电力系统计算、分析、仿真、优化、规划、设计和决策,包括潮流与最优潮流计算、暂态稳定计算、故障计算、拓扑分析、状态估计、数据挖掘与智能决策等,其计算需求已远远超出普通计算系统的承受能力。例如:电力系统暂态稳定计算的基本方法之一是时域仿真法,面对大规模的智能电网,计算量极大,由于计算能力的限制,只能应用于离线的安全分析。
云计算可以为电力系统计算提供高性能的并行处理能力,并提供并行编程模式使并行算法的开发变得简单方便。
MapReduce是Google提出的一个并行编程模式,用于大规模数据集的并行计算,其运行环境由客户端、主节点和工作节点组成。客户端将用户的并行处理作业提交给主节点;主节点自动将作业分解为Map任务和Reduce任务,并将任务调度到工作节点;工作节点负责任务的执行。可以看出,MapReduce对数据的所有操作都归结为Map和Reduce这2个阶段,这样,开发人员向MapReduce提交的程序中仅仅需要定义Map函数和Reduce函数,而并行化、容错和负载均衡等依靠MapReduce的自动处理。因此,MapReduce能够将电力系统业务逻辑与并行计算的复杂细节划分开来,屏蔽底层实现细节,赋予开发人员强大的并行应用开发能力。
综上所述,云计算应用于智能电网信息平台是可行的,并能有效解决智能电网环境下异构资源的整合、海量数据的分布式存储和快速并行计算等问题。
3 基于云计算的智能电网信息平台
3.1 基于云计算的智能电网信息平台的体系结构
本文参照云计算技术体系结构,并结合智能电网信息平台的实际需要,将云计算技术引入智能电网信息平台,如图1所示。
基于云计算的智能电网信息平台技术架构应该包括4个层次:基础设施层、平台层、业务应用层与服务访问层。
1)基础设施层:
是经虚拟化后的硬件资源和相关管理功能的集合,通过虚拟化技术对计算机、存储设备与网络设备等硬件资源进行抽象,实现内部流程自动化与资源管理优化,包括数据管理、负载管理、资源部署、资源监控与安全管理等,从而向外部提供动态、灵活的基础设施层服务,包括系统管理、用户管理、系统监控、镜像管理与账户计费等。
2)平台层:
是具有通用性和可重用性的软件资源的集合,为云应用提供软件开发套件(SDK)与应用编程接口(API)等开发测试环境,Web服务器集群、应用服务器集群与数据库服务器集群等构成的运行环境,以及管理监控的环境。通过优化的“云中间件”,能够更好地满足电力业务应用在可伸缩性、可用性和安全性等方面要求。
3)业务应用层:
是云上应用软件的集合,对于智能电网信息平台而言,这些软件包括电力安全生产与控制、电力企业经营管理和电力营销与市场交易等领域的业务软件,以及经营决策智能分析、管理控制智能处理与业务操作智能作业等智能分析软件。
4)服务访问层:
作为一种全新的商业模式,云计算以IT即服务的方式提供给用户使用,包括IaaS、平台即服务(PaaS)和软件即服务(SaaS),能够在不同应用级别上满足电力企业用户的需求。IaaS为用户提供基础设施,满足企业对硬件资源的需求;PaaS为用户提供应用的基本运行环境,支持企业在平台中开发应用,使平台的适应性更强;SaaS提供的支持企业运行的一般软件,使企业能够获得较快的软件交付,以较少的IT投入获得专业的软件服务。
考虑到智能电网信息平台规模庞大、业务种类众多,在实现过程中,可以结合业务的特点与实际需要,进行必要的简化设计。下面以上述基于云计算的智能电网信息平台的体系结构为基础,以智能电网信息平台中的电力设备状态监测作为切入点,研究智能电网状态监测云计算平台的实现。
3.2 智能电网状态监测云计算平台的设计
针对智能电网状态监测的特点,结合Hadoop开源云计算技术,提出智能电网状态监测的云计算平台,采用廉价的服务器集群,借助虚拟机实现资源的虚拟化,采用分布式的冗余存储系统以及基于列存储的数据管理模式来存储和管理数据,保证智能电网海量状态数据的可靠性和高效管理。另外,设计基于MapReduce的状态数据并行处理系统可以为状态评估、诊断与预测提供高性能的并行计算能力以及通用的并行算法开发环境。智能电网状态监测云计算平台如图2所示。
为了充分利用目前各省或地区供电公司闲置的大量服务器资源,采用廉价的服务器集群,由于不要求服务器类型相同,可以大幅降低建设成本,并借助虚拟机实现资源的虚拟化,提高设备的利用率。当然,廉价服务器集群虽然性价比高,但是机器故障率大,因此采用分布式的冗余存储系统来存储数据,保证数据的可靠性,以高可靠的软件来弥补硬件故障率大的缺陷。
智能电网使状态监测数据向高采样率、连续稳态记录和海量存储的趋势发展,远远超出传统电网状态监测的范畴。不仅涵盖一次系统设备,还囊括了二次系统设备;不仅包括实时在线状态数据,还应包括设备基本信息、试验数据、运行数据、缺陷数据、巡检记录、带电测试数据等离线信息。数据量极大,可靠性和实时性要求高。以绝缘子泄漏电流监测为例,假设10 ms采集1次数据,1个杆塔在1个月内就达到了2.5亿条数据记录,对于关系数据库来说,在一张有2.5亿条记录的表内进行结构化查询语言(SQL)查询,效率极其低下乃至不可忍受。因此,不采用传统的关系数据库,而采用基于列存储的数据管理模式,来支持大数据集的高效管理。
智能电网需要在状态数据基础上进行各种电力系统计算与应用,例如:状态诊断、预测评估、状态评价、风险评估、检修策略、检修维护等。基于MapReduce的状态数据并行处理系统,可以为状态评估、诊断与预测提供高性能的并行计算能力以及通用的并行算法开发环境,主要由算法调用和任务管理2部分组成。算法调度采用插件的形式调用第三方开发者实现的各种算法,例如模糊诊断、灰色系统诊断、小波分析、神经网络以及阈值诊断等。任务管理实现基于MapReduce并行模型的任务管理、调度和监控系统。MapReduce并行算法可以跨越大量数据节点将任务进行分割,使得某项任务可被同时分拆在多台机器上执行,能够在很多种计算中达到相当高的效率,而且可扩展。
考虑到智能电网是国家重要的基础设施,并且状态监测不同于搜索引擎等典型的互联网应用,Google的GFS和BigTable,Amazon的EC2,以及Microsoft的Windows Azure等云计算技术无法直接应用,因此本文的研究围绕开源的Hadoop技术架构展开,采用HBase作为海量数据管理系统、Hadoop分布式文件系统(HDFS)作为分布式存储系统、Xen作为虚拟机、Hadoop技术路线的MapReduce作为并行编程模型。Hadoop采用主/从架构,将数据拆分,划分成多个数据块,分别存储到不同的存储节点上。集群由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器,负责管理文件系统的名字空间以及客户对文件的访问,Datanodes负责管理所在节点上的存储。这种单节点的设计可以极大地简化系统的设计和实现。另外,Hadoop的开源化便于二次开发、原型系统的建立与实验。
3.3 尚待解决的问题
云计算作为一种新兴的分布式计算技术,尚处在初期的发展阶段,体系结构、虚拟机、数据管理、能耗管理、资源调度、编程模型以及云安全等很多关键问题有待深入研究,其在智能电网中的应用也存在诸多挑战。
安全性是云计算理论研究及在智能电网中应用实践中需要重点解决的一个极具挑战性的问题。相比较公共云,本文是在电力企业内部建立私有云,电力企业自有并自我管理,数据通过电力企业内部的通信网传输,保存在自有的存储设备上,在自有的服务器上进行计算处理,另外,电力企业具有严格的安全防护体系,因此,在一定程度上可以保证云计算在智能电网应用中的安全。
云计算在互联网领域的典型应用主要以存储HTML页面、可扩展置标语言(XML)文件等半结构化数据为主;在应用层主要采用HTTP等协议进行数据传输。相比较典型的互联网应用, 智能电网的业务数据与性能要求有其自身特点,数据可靠性要求更高,不同应用的数据对可靠性与实时性要求不同,更难以收集和存储,因此,为了适应智能电网应用的需要,单点失效与负载均衡等问题有待深入研究。另外,电力系统计算与分析主要运行在集中式平台或小规模的分布式平台上,应逐步根据云计算大规模分布式计算的特点来进行设计与实现。
4 结语
本文将云计算引入智能电网信息平台,并根据智能电网状态监测的特点,结合Hadoop云计算技术,提出智能电网状态监测云计算平台的解决方案。后续工作拟建立一个智能电网状态监测云计算平台原型系统,实现一个用于变压器状态评估的并行数据挖掘工具,在原型系统上进行实验测试,从性能和扩展性等方面进行测试与比较,验证所提出的方法的正确性。
智能磨削云平台 篇2
1 背景
电网智能化可以全面呈现、及时的掌控电网的运作信息, 并综合各个自动体系将所获取的信息进行有效的分析, 显示最优的反应, 所以精准、迅速、开放、共享的信息体系是智能化电网最基础的特征, 也是智能化电网和较为传统的电网之间最大的区别。信息平台是能够支撑统一坚强智能化电网构建的共同平台与重要方式, 统一的坚强智能化电网构建对信息平台有着很高的要求:第一, 要能够贯通智能化电网的全部环节, 包括发电、输电、变电、配电、用电、调度, 呈现信息的全方位获取、顺畅传送、高效处理, 并能支撑电力流、信息流、作业流的全部一体化;第二, 要求所有的信息共享透明、集成规范以及诸多的业务能进行共同协作和互相操作;第三, 要有大量的信息安全可靠储存以及高效率的管理, 最大化的挖掘潜在的价值, 提高智能化分析与决策支撑的水平。
2 云计算的应用
2.1 异构资源
智能化电网信息平台的主要功能就是能全方位呈现大规模的异构信息以及资源的规整优化, 给智能化电网供给资源集约化配置的数据库。
2.1.1 异构资源的规整与优化
云计算能够将电网所有业务数据的信息以及计算资源进行有效的整合来构建业务协作与互相操作的信息平台, 以满足智能化电网信息以及资源的强化集成和实时共享等要求。云计算运用服务器、网络、储存、应用、桌面等众多的虚拟化技术, 把各类的资源形成抽象服务的形式, 并针对不一样的服务提供不一样的方式进行屏蔽基础设备、操作体系、系统软件的差别。
2.1.2 自动化管理基础设施资源
智能化的电网信息平台设施有规模大、数量多、分布区域广的特点, 但又要求能够同时运作各类应用。跟网络计算侧重于集合分布的资源, 注重支撑协同相应集中的性质不一样, 云计算主要是以数据中心资源池为基础提供数据给底层的资源运用。云计算还可以广泛支持企业的相关计算, 有很强的普适性。传统的数据中心一般都是以构建计算机服务器集群的方式建立的, 经常因意外的硬件损毁而导致无法正常提供功能数据服务, 而云计算技术利用文件复制可将数据存放在服务器中, 解决了硬件意外损毁导致无法提供正常数据服务的潜在问题。并且所有的软件以及数据都是存放于数据中心资源池, 这样既方便数据的集中维护, 也极大提高了数据传输和共享的效率。
2.2 大量数据的分布式存储和管理
在智能化电网的信息平台中普遍存在信息体系类型繁多, 用户服务需量大, 数据存在海量化等问题, 而电网信息系统当下的常规数据存储以及管理的方式不能满足海量的数据储存与高效率的管理需求, 所以, 以云计算方式构建电网信息系统数据中心势在必行。
2.2.1 大量的电网数据可靠储存
云计算利用分布式储存的方法来进行大量数据的储存, 且运用多余的储存以及高可靠性质的软件方法来保障数据的可靠性。云计算体系中多数广泛应用的数据储存系统便是利用分布式储存大量的数据, 数据可靠性以冗余的储存方法加以保障, 并运用数据管理技术高效率的管理智能化电网中不同类型、种类以及众多的数据进行有效的处理与分析。其会把节点进行分类, 主服务器、数据块服务器、客户端此3类角色。这些都能够极大的降低服务器的负载, 所以云计算能够满足智能化电网信息平台的大数据储存要求, 并且采用较为廉价的计算器、中心服务器、不缓存数据等用户态呈现, 这样在一定的规模下能够呈现成本、可靠性以及性能的最优平衡。
2.2.2 众多数据的高效率管理
电网的数据分布广、种类多, 云计算的数据管理技术可以满足智能化电网的信息平台的各类需求。云计算基于各种虚拟化技术, 以不同种类的资源抽象化形成服务的形式, (比如网络、储存、服务器等虚拟化的技术) 充分的归整电力系统的计算资源以及数据业务, 运用不同的方式进行不同服务基础设备的屏蔽、软件与操作系统的差异, 且支持广泛的企业性计算, 以业务协同与互相操作信息平台来满足数据中心的构建需求以及信息和资源的集成共享, 并依靠平台的管理技术, 快速的发现并恢复电力系统中出现的故障。
2.2.3 迅速的电力系统与计算分析
为了让电网安全运行就要在智能化电网信息平台提供的大量信息基础上, 实行大规模的电力体系计算、分析、模拟、优化、规整、设计、举措等, 同时还包含潮流以及最优化的潮流计算、故障的计算等众多的计算体系, 这些需求远远超出了普通计算体系所能承载的能力范围。而云计算能够提供高效率的并行处理, 并且能提供并行的编程模式让并行算法能简单快速的开发。近年来, 启发式的智能化算法是最主要的研究趋向, 经典的启发式算法主要有Min-min算法、Sufferage算法、遗传算法GA、模拟退火算法SA。GA算法、SA算法的复杂度比较高, Min-min算法能以最快的速度降低任务作业, 尽量的缩减全部作业完成的时间, 不过Min-min算法会促使系统出现负载不均衡的情况, 并致使makespan较大。Sufferage算法综合性能比较强, 它的makespan比较小, 并且系统的负载较均衡, 不过它没有考虑到任务的Qo S要求, 还会产生任务被多次分配的状况。
2.3 云计算在电力系统中的应用
以云计算为基准的海量数据储存模型是基于云计算并结合虚拟模式把电网系统中大量的数据都布置在Hadoop平台上, 运用云计算核心算法Map Reduce进行数据的处理, 再把数据储存在虚拟的资源库。主服务控制群是总体体系的控制器部分, 负责接收应用请求以及依照请求进行相对的回答。储存节点的诸多机群可以说是储存器部分, 是运用巨大的磁盘阵列体系以及拥有大量数据储存力的机群体系组成, 它的主要功能就是进行数据资源的存取处理。HDFS以及Hbase是用来把数据储存或是布置于各类计算节点上。用户不会直接利用Hadoop的架构进行数据的读取, 也不能直接利用HDFS、Hbase进行数据的有效存取, 用户在Hadoop构架上传送讯息给主服务控制机群, 并和储存节点进行相应的信息交换与读取。如图1所示, 基于云计算的海量数据存储模型示意图。
3 基于云计算的智能电网信息平台
3.1 体系结构—基础设施层
基础设施层是把虚拟化的硬件资源以及相关管理功能集合, 通告虚拟化技术将计算机、储存设施、网络设施等硬件资源抽象化, 呈现内部的流程自动化, 并向外部供给动态、灵活的基础设备服务。如图2所示, 基于云计算的智能电网信息平台系统构造:
3.2 体系结构—平台层
平台层有很强的通用性以及可重复性, 能将软件资源整合, 为云应用提供软件开发的相关套件以及编程接口、Web集群、服务器集群、数据库集群等。以此来构建可靠高效的系统运行环境和管理监控环境。这种平台方式能够很好的满足电网业务运用可伸缩性、可用性、安全性等需求。
3.3 体系结构—业务应用层
业务应用层主要负责云应用的软件整合, 这些软件涵盖了电网的安全生产、控制、经营管理、营销、市场交易等多部门多专业的业务性软件, 以及其他智能化分析软件。
3.4 体系结构—服务访问层
服务访问层能够充分满足用户的硬件资源需求、基础环境需求, 针对不同应用软件具有更强的适应性、快速的软件支付, 用少量的IT投入得到专业的软件服务。
3.5 智能化电网状态监测云计算平台的设计
通过利用智能化电网状态监测的特性, 融合Hadoop开源云计算技术, 构建出的智能化电网状态监测云计算平台可利用较廉价的服务器集群, 以虚拟机来呈现资源的虚拟化, 运用分布式储存体系和列储存的高效率数据管理模式来进行数据的储存与管理, 保障智能化电网的大量数据可靠高校的管理。智能化电网状态监测云计算平台还能以Map Reduce状态数据并行处理体系, 呈现高性能高效率的并行计算及并行算法开发环境。如图3所示。
3.6 技术实现
电网体系作为我国国民生计最重要的基础设备, 电网体系云计算信息中心的呈现应以开源软件技术为主要基础, 依照Hadoop的技术特性, 总体信息中心的计算平台是利用主从形的框架, 在虚拟化的服务器集群处择选一个作为主要节点, 其他的节点则为从节点, 且数据资源池以及数据仓库是电网体系为中心中心呈现数据挖掘和辅助决策的基准, 利用Hadoop以及Hbase密切的结合作为信息中心的分布式数据存储模式, 把粗粒度、结构化的不同数据依照列族存储在一个统一稀疏表中, 这种方式使得数据具有可靠性高、性能高、实时读取等特点。并且Hadoop还可以把传统的关系型数据库中的数据平滑迁移至Hbase中。如图4所示, 基于Hadoop的智能电网信息中心云计算平台简图。
4 结语
云计算是现代新型的计算模型, 它的高可靠性、大数据处理能力、可扩展性、高效的设备利用率等众多优势, 是当下信息行业研究的热点以及发展的趋势。几乎全部的IT领域都将云计算作为未来信息数据发展的重要方向。云计算的低成本、高可靠性、可扩展性等优势也将成为电网信息平台构建的新思路。
摘要：近年来随着智能电网的快速建设与发展, 电网信息化建设也迈开了发展的大步伐。云计算作为当今IT产业发展的一大趋势, 越来越多的应用在电网信息管理、运维和信息系统应用中, 这些技术不仅给电力企业带来效益的提高和工作开展的便利, 也为构建安全、稳定、可靠的电力生产环境提供了坚实基础。本文介绍了云计算基本概念及核心技术, 并结合智能化电网信息平台现状, 探讨了基于云计算的智能电网信息平台的信息存储、业务功能服务以及安全运行方面的解决思路。
关键词：云计算,智能化,电网信息平台,信息存储,安全运行
参考文献
[1]赵瑞锋, 卢建刚.智能电网中的云计算平台研究[J].软件导刊, 2013 (12) .
[2]徐志勇.基于云计算的智能电网信息平台[J].科技传播, 2013 (23) .
[3]樊邦奎, 丁冠军, 兰海滨, 龙腾, 刘岩, 王晶.面向智能电网应用的云计算架构研究[J].电力信息与通信技术, 2014 (01) .
[4]翁志华.浅谈智能电网中云计算技术的运用[J].科技风, 2012 (17) .
迈普剑指云时代智能平台 篇3
迈普信息科技集团首席执行官肖志辉表示：“目前迈普的市场聚焦策略为细分式‘3+X’格局。3代表的是金融、运营商和政府，X则代表了军队、商业等其它适合迈普特质的行业市场。对于众多行业市场，我们不会采用广撒网的策略，而是会有所聚焦。”对于如何才能更好地拓展行业市场，肖志辉表示迈普将通过推出弹性、安全、高可靠性的，覆盖高中低端完整的产品组合，来满足不同客户的多样性需求。
提供弹性新平台
随着云计算、物联网、三网融合、宽带中国等重大战略布局的提速，加剧了企业对网络高性能、高稳定性的进一步需求。作为数据通信网的核心，路由器设备成为制约数据业务表现的关键要素，尤其是数据密集型的云计算应用日益升温，对高端核心路由器的需求更是与日俱增。
“在过去10年间，网络厂商解决的都是网络速度的问题，但企业网络的需求不仅要快，还有稳定以及扩展性。”迈普产品总监陈植炜表示，“现在企业网需要的是与运营级网络一样的稳定级别。基于此，迈普经过长时间的市场调查、技术研发，推出了首款基于众核处理器技术的高端分布式核心路由器MP8800。此款具有自主知识产权的路由器基于高级电信计算架构eATCA构建，实现了数据平面、控制平面、监控平面分离的全分布式架构，系统具备高可靠性、高可用性、高性能的业务并行处理能力及扩展能力。”
MP8800系列路由器是迈普基于对行业用户业务应用的充分调研和深刻理解，而推出的一款万兆级高端骨干核心路由器。它充分考虑云应用针对业务、内容的数据处理特点，可实现客户业务的开放化和业务的云端化。MP8800系列路由器可以通过迈普特有的多线程专利处理技术和智能众核处理器，实现高速的IPv4/IPv6、MPLS转发，整机的包转发性能高达800Mpps。
此外，MP8800系列路由器还是一款多用途的高端核心路由器，主要应用于IP骨干网、IP城域网以及各种大型IP网络的核心和汇聚位置。MP8800路由器良好的转发性能和丰富的业务能力能够满足用户多种组网应用需求。陈植炜透露，该产品目前已在政府、政法、税务、海关和金融、电力等行业得到推广和应用。
点亮智能服务
除了不断丰富、扩展自身的产品线外，迈普深知目前企业，尤其是中小企业对于服务的需求日趋旺盛，在获取优质产品的基础上，企业用户更希望获得贴心、高效以及智能的服务。基于此，迈普提出了“智能服务”的新理念。
3月27日，在“智能服务高峰论坛”上，迈普集团董事局主席花欣表示：“智能服务对提升国家综合实力和经济转型可谓是举足轻重。要实现智能服务，政府应起到引领作用。”
对于迈普如何将智能服务落到实处，肖志辉表示，智能服务要实现“主动、高效、安全、绿色”的目标，需要四个准备：第一，建设基于标准的信息基础设施，依托物联网无处不在的感知功能，随时随地获取信息；第二，建设海量存储的数据中心，以及弹性的计算能力和云计算机制，促成弹性、高效、安全的网络；第三，基于标准的数据开放和共享，实现智能化的普遍服务；第四，做好数据及信息合法使用的法律准备。
整合渠道 联合发力
有了更完善的产品线，以及对于智能服务的深入认知，迈普要想实现在行业市场份额的大幅提升，渠道伙伴也是不能忽视的重要一环。
对于渠道建设，迈普有着精准的定位，主要关键词为价值、专业、创新以及交融。
2012年迈普与渠道商紧密配合，加强对传统金融行业的精耕细化；针对运营商市场，迈普着重丰富行业应用与渠道共同探索新的生意机会；在政府市场，迈普与各省及地市渠道商携手做深做广；在商业市场，通过各省分销总代来覆盖并支持地市分销商，通过多种方式、多种途径快速完成渠道地图的搭建，实现从行业到商业、从省到地市的矩阵式的渠道布局。肖志辉认为，只有与合作伙伴建立长期稳定的合作关系，才能及时发现市场变化、抓住市场机会、制定市场策略、占领目标市场。“2012年，迈普将品牌传播、市场活动与销售渠道完全合在一起，在全国范围内覆盖300家迈普形象店，配合区域开展30〜40场市场活动，深入一线贴近渠道。”
据悉，迈普还将提供专业的售前与销售团队、研发团队、产品团队、服务团队，对渠道伙伴进行多方面的培训，共同深入研究细分行业。对于潜在行业客户，迈普会连同渠道伙伴与客户做零距离的沟通，通过对客户需求的精准理解，量身定制解决方案，通过不断创新合作模式，实现多方共赢。
智能磨削云平台 篇4
根据智能计量业务的需求，智能计量平台将基于云计算技术，使系统需要和营销管理系统、95598系统、生产管理系统、智能小区系统以及省网营销管理系统进行数据的交互，以实现计量业务与营销其他业务的双向互助支撑。此外，系统还需要整合现有的居民集抄系统、负荷控制系统及配电变压器监测系统，构建电力客户与电网管理部门的智能化和多样化互动服务平台。系统的物理架构。
可知，本系统的目的是将不同领域的单一监测系统(如厂站电能量遥测系统、大客户负荷管理系统、配电变压器监测计量系统、低压集中抄表系统和智能小区系统)进行整合，通过利用虚拟化平台对上述系统涉及到的服务器、存储设备以及网络设备的资源进行虚拟化，屏蔽了由于硬件资源的不同导致相互通信受阻问题，并以虚拟机为单位进行统一的资源管理，通过虚拟机将各类系统数据集中到主站或者通过统一的虚拟机将主站的指令发送到各监测终端，然后在主站端进行计量业务的综合应用分析和用电信息辅助决策。
核心技术介绍
Hadoop是分布式系统基础架构，是由开源组织Apache开发。基于Hadoop[9]的应用系统可以运行在廉价的硬件设施组成的集群上，通过Hadoop可以快速构建一个具有高可靠性和良好扩展性的分布式系统。系统主要由HDFS、MapReduce和HBase等组件组成，其中HDFS和MapReduce是Hadoop的两个核心组件，HDFS是Hadoop实现的一个高度容错的分布式文件系统，具有较强的可扩展性，同时HDFS也是Hadoop系统的基础层，负责数据的存储管理，并且能够提供高吞吐量的数据访问，适合处理大规模数据集的应用程序。而MapReduce[10]是一种并行计算模型，它能够有效合理地分割输入数据，进而并行处理，适合对海量数据的处理。Hadoop实现的MapReduce计算框架提供一种简单的编程模型，节省时间，可以快速实现分布式计算应用;HBase是一个分布式的、面向列的非关系型数据库，是云计算中的开源实现，支持高性能并发读写。
在本项目中，H a d o o p 集群局域网由1 台NameNode服务器、1台SecondaryNameNode服务器、1台JobTracker服务器和多台从服务器组成。NameNode服务器负责管理海量数据文件的分割、存储以及监控DataNode的运行情况。应用程序需要读取数据文件，首先访问NameNode服务器，获取数据文件在各DataNode上的分布，然后直接与DataNode通信。一旦发现某个DataNode宕机，NameNode将通知应用程序访问宕机节点各数据块的副本，并在其他DataNode上增加宕机节点各数据块的副本，以保证平台的可靠运行。SecondaryNameNode服务器用来监控HDFS状态，与NameNode进行通信，以便定期保存HDFS元数据的快照，若NameNode发生问题，其作为备用NameNode使用。JobTracker服务器负责管理计算任务的分解和汇总，负责监控各TaskTracker节点的运行情况，一旦某个任务失败，JobTracker自动重新启动这个任务。从服务器承担了DataNode和TaskTracker两种角色，分别负责数据块的存储和数据计算的map、reduce任务的运行。平台框架结构
结合智能计量平台自身的特点，智能计量云平台在设计上采用分布式、分层结构，可以划分为整个系统的实现由云设备、云平台、基础服务、高级应用及表现层五层构成，云设备层由主机设备、存储设备、网络设备及其他设备组成。在本系统软件设计中，采用VMware虚拟化平台管理技术，通过对上述设备进行操作系统虚拟化处理，实现了对硬件资源的虚拟化，并对上述虚拟化后的硬件采用虚拟机的管理方式，实现了资源抽象、资源监控、资源部署以及安全的管理。通过虚拟化技术的实施，不但保证了资源的利用效率，还使系统管理人员可以不受形式各异的硬件资源及操作系统的影响，而将工作重心全部投入到系统业务应用上。
云平台由数据存储、计算服务、负载管理、数据隔离和备份管理等服务组成。该平台以虚拟机为单位构建了数据库集群、应用集群、网关集群、采集集群、Web集群和接口服务器集群等基础平台运行环境，采用分布式文件系统、分布式数据库管理系统、数据管理和数据分析等先进的云计算技术，实现了海量数据的大规模存储，为后续的数据挖掘，高级数据应用提供了高性能的分布式计算环境。服务层由系统模型管理、数据中心管理、数据访问服务、消息服务、报表服务、通信管理、规约管理、系统维护及权限服务等组成，本层是业务系统的坚强基础，高级应用的每个模块都要求这些服务的支撑。该层采用MapReduce作为处理海量数据的并行编程模型和计算框架。对于大规模的数据集合操作，采用任务分解与结果汇总的方法。此外，通过采用高级数据流语言Pig实现了简化MapReduce任务的开发过程。在系统模型管理提供了整个系统内在的基于IEC 61970/IEC 61968的数据结构，能够实现系统的互操作;数据中心管理及数据访问服务提供了基础运行大数据的快速准确访问机制;通信管理提供整个系统通信信道及通信方式的选择机制;而规约管理提供了系统数据交换的模型格式。
应用层由能耗管理、运维管理、降损节能管理、设备状态评估、信息发布及数据接口等组成。能耗管理主要涉及异常用电、虚拟费控管理、有序用电管理、动能管理、分布式新能源管理及智能家居管理等;运维管理主要涉及计量校验数据移动接入、计量设备缺陷分析及移动处缺管理等;降损节能主要涉及到关系电网经济运行的损耗分析、电能质量各指标分析以及增值服务等;设备状态评估主要涉及到供电仿真分析、配电变压器状态评估及设备全生命周期管理等功能。表现层主要是整个系统的访问界面，电力客户与供电部门可以通过计算机客户端、手持终端、LED大屏、触摸屏及多媒体电视等实现双向互动、用电信息的及时披露、异常供电的早通知及处缺管理的更加便利化。本层在设计时主要使用Flex技术来保证系统的易用性，并使用Swiz技术框架来实现模型-视图-控制器(Model-View-Controller，MVC)设计，并充分利用现有平台中的系统管理功能。平台系统特点
与原计量平台相比，新型智能计量自动化平台具有下述优点：
1)在主站平台系统的设计上，底层系统采用云平台架构，整合主机设备、存储设备、网络设备及其他设备，在这些设备基础上进行操作系统虚拟化处理，提供数据存储、计算服务、负载管理、数据隔离及备份管理等服务，保障设备高效利用、上层服务及时响应，保障高级应用各模块能够负载均衡，且快速得到处理。
2)在系统内核设计上，采用统一数据中心建设模式，采用模块化设计方式，即：统一设备建模、统一业务管理、统一数据采集、统一分析计算、统一网络平台、统一告警及统一信息发布，避免重复建设，以便各种后续高级应用模块能够灵活配置，达到即插即用的目的。
3)在网络设计上，以计量自动化系统主站为基础，与厂站电能量遥测系统、大客户负荷管理系统、配变监测计量系统、低压集中抄表系统及智能小区系统统一组网，共享通信服务资源，共用相同的数据库服务系统，建设一体化主站系统。一体化主站系统中市局、县局、供电所、变电站、母线、主变压器要求、线路、大客户、台区、专用变压器、配电变压器、表计、终端和计量点等对象各自唯一编码，可满足采集模型和分析模型的构建。
4)在系统部署上，采用集中式部署方式。即：只在地市供电局部署主站，各县级供电局不单独建设主站，而以工作站的方式接入主站，所有的业务都必须在主站完成。
智能磨削云平台 篇5
关键词：气象站,智能家居,云,GPRS,远程监控,太阳能供电
工业现代化的发展对人们赖以生存的环境产生了巨大的破坏,全球环境已经发生了很大的变化,如全球变暖、异常天气不断发生等[1]。天气状况及空气质量直接影响着人们的日常生活,人们每天最关心的话题之一。互联网未出现之前,人们主要从电视、广播及收音机中来了解天气;互联网出现后,可以通过网络查询[2]。但是这些查询结果都是大环境下的宏观参数,并不能完全准确表达出人们居住环境的局部状况。而每个人每天的家居生活平均约12个小时之多,因此,家居环境监测、报警和控制成为备受关注的课题。
家居环境质量除了受大气环境的影响还要受到周边环境和家庭各设施及使用情况的影响。故而,构建个人气象站,对家居环境进行监测和控制对于人们的生活和健康非常有必要。随着各种传感器、无线网络及随身携带的智能手机的出现,使得实时对家居环境的监测和远程控制成为可能[3]。 本文针对我国日趋恶劣的生活环境及人们改善生活质量的急迫需求,基于云技术进行了智能家居气象站的研究与设计。
1系统总体模型
如图1所示,系统中接入气象站所需各待测参数的专业传感器,并经过MCU(Micro-Control Unit)的处理后,将有效数据经过通信网络进行数据传输,再利用云端这个大的存储平台和各网络服务平台对数据进行分析、判断、表达和存储, 并且发送至智能终端(目前主流的是智能手机,以下以智能手机替代智能终端)。此时,用户可通过智能手机所安装的与云平台配套的软件即可进行气象站数据的查看,也能够收到相关的报警和提示信息,用户根据这些报警和提示信息再通过智能手机、云端及数据传输网络向相关智能家电或设备发送控制信息,如当室内的空气质量不如室外好时,用户可通过智能手机发送命令打开窗户进行换气。
在此模型中,充分运用了云、网络及智能手机这些公用平台,开发者可仅仅着重考虑数据采集与处理及数据如何传输这些环节上,能够极大降低开发难度、周期与成本。同时, 随身携带的智能手机使得用户能够实时查看天气和控制家居设备,如当在下班前,可通过智能手机开窗换气、打开空调或打开空气净化器等。本系统的硬件平台能够对温度、湿度、光照、大气压力及细颗粒物等5个主要气象要素进行实时采集和处理,并提供与云端的通信端口,及与智能家电或设备的控制端口和通信端口等。
2关键技术研究与实现
2.1数据采集与处理
本系统中在室外设置了两个气象数据采集点,室内可以根据需要设置多个数据采集点。室外每个采集站点都可采集温度、湿度、光照强度、大气压力及细颗粒物浓度;室内采集点可以采集温度、湿度和细颗粒物浓度;同时,MCU控制单元设置在某个室内采集点处。硬件上采用模块化设计方法, 从而能大大降低维修难度和维护成本。温度、湿度、光照强度、细颗粒物浓度和雨量的测量都有相对应的传感器模块进行信号转换,以便于测量计算和采集。转换后的电信号的处理由成本较低的单片机模块完成信号的预处理,并利用其集成的通信模块完成信息数据的传输。
2.2太阳能供电设计
因太阳能资源分布广泛且取之不尽,用之不竭,能为系统提供持续稳定的电能源,且能消除室外传统供电系统的布线烦恼,故而本系统设计了太阳能供电电路,如图2所示。 LTC3105芯片[4]是一款同步升压型转换器,比较适合从高阻抗可替代电源收集能量,比如,光伏电池。LTC3105芯片从光伏电池收集能量,收集的电压范围可在225 m V~5 V这样比较宽的范围,通过它的转换后,可在4 V左右电压对锂电池进行稳定的充电。锂电池作为恒压源能保证在黑暗或光照很少时各个站点都能正常平稳的工作。
2.3网络层的组建与设计
为利用云来实现数据转存、显示、远程监控及数据管理, 以便气象采集与相关控制的网络化,合理的网络设计是必须的。本系统的通信网络采用了GPRS(General Packet Radio Service)无线组网技术,取缔传统有线的传输方式,使得系统没有传输布线成本。整个家居气象监控系统网络自上而下分为感知层、网络层和应用层,如图3所示,具体分析如下。
1)感知层。由室内与室外的监测站构成。各站点的传感器将采集到的各类信号转化为电信号,再通过数据采集模块将电信号转化为信息数据,然后利用GPRS数据终端模块将各类数据信息同步传送到云平台,最后完成对气象数据的 “感知”工作。
2)网络层。由无线通信网络和支撑系统组成;通过GPRS的无线网络将各监控站点接入到云平台;云平台作为支撑系统是整个系统非常核心的部分。本设计利用乐联网云服务平台实现对感知层采集到的数据进行存储、分析和处理等工作。
3)应用层。用户通过乐联网发布的唯一访问接口对气象信息进行访问,用户终端(手机、PC及i Pad)运用各自权限实现气象数据的浏览、历史查询、数据处理及系统设置等功能,为人们的穿衣、佩戴和智能家电的调控提供参考。
2.4云存储、显示及数据管理
因气象信息具有明显的时间和空间特征,需进行多维空间的采集,其采集、整理加工及著录格式等环节都必须是科学、严谨和细致的,并且在实时性上要求较高,则数据量会更大[5]。因此,考虑到用户的操作简便和检索高效的需求,在气象数据存储与数据管理系统上做了特殊的设计。传统的气象存储与数据管理系统由路由器、服务器、交换机及显示器等系统硬件和Oracle、Sybase等数据库管理软件共同支持,显示部分需配套开发专用平台,并且为保证系统的连续性和数据的真实性,需要不断的备份[6]。故而,开发和维护成本都非常高。现在随着网络的发展,出现大量第三方的网络服务平台,如乐联网[7]。乐联网平台为用户提供了方便便捷的服务平台,如数据存储、数据分析与控制、API(Application Program Interface)及移动手机客户端接口等。
本设计利用此平台将测量数据实时转发到乐联网服务器上进行存储,并能将采集的数据分类存储,以便用户随时查询和分析,完成了云存储,这样使得存储和运营成本大幅下降。同时,用户可以随时查询不同时间点的气象数据,甚至几十年前的数据。在数据分析上,提供了通用的历史走势分析、数据分布统计及报警数据分析。而这些数据分析方法中,既有本站点的自身数据的分析,也有云数据的参考分析, 并在分析后向智能手机发送报警信息,用户可根据这些报警信息向相关智能家电发送控制信息。同时,利用乐联网提供的手机应用程序,实现了手机对智能家电的远程控制。
3实验分析
为验证该系统执行的效率,运用3D(Three Dimensions) 打印技术搭建了仿真家居系统环境,如图4所示。在仿真的家居系统环境中,设置了一个室内监测站点和一个室外监测点;为替代真实智能家电的控制,以控制电机的方式来驱动窗户、空调的打开与关闭;差别环境的产生是通过人为制造局部环境,如制造局部室内站点烟雾。同时,在电路设计上, 户外站点供电方式设计为光伏发电,绿色环保。当室内出现烟雾时,智能手机就会马上收到微信通知,如图5a所示。于此同时,在新浪微博上也会收到相应的通知(如图5b),在新浪微博里还会提供穿衣指数等更佳细节和温馨的提示信息。此时,用户可通过微信发送控制信息,打开窗户,相应的电机即可转动并打开仿真家居的窗户。在第三方网络平台也能实时看到监测结果,如图6所示,分别是温度、适度、大气压力、光照及细颗粒物测试结果。除了实时数据结果,本设计利用强大的云存储,能够存储近几个小时及近1个月的天气结果。
4结论