简介:在软件行业中,五年就像是一个地质时代。五年前,Microsoft宣布了自己的Micorsoft.NETFramework计划。从那以后,DataSet(数据集)才开始作为关键对象出现在基于.NET的应用程序中,执行多种数据相关的任务。也是五年前,DataSet被誉为ADO记录集(Recordset)的威力增强版。那么在.NETFramework出现之前,您是如何设计数据访问层(DAL,DataAccessLayer)的呢?我想您一定是以ADO和它全能的Recordset对象——断开的、且可进行XML序列化的——为中心构建数据访问层。
简介:入侵检测系统作为保护网络系统安全的关键技术和重要手段,已经成为当前网络安全研究方面的热点。粗糙集作为一种新兴的处理模糊和不确定性知识的数学工具,将其应用在入侵检测中具有重要的现实意义。关键词入侵检测;粗糙集;网络安全;属性约简中图分类号TN915.08文献标识码A文章编号1007-9599(2010)04-0000-01ResearchofIntrusionDetectionSystemModelBasedonRoughSetTheorySuHang,LiYanqing(DalianTransportationUniversity,EducationTechnicalCenterNetworkTechnologyDepartment,Dalian116028,China)AbstractTheIntrusionDetectionSystemasakeytechnologyandimportantmeanstoprotectnetworksecurityhasbecomeahotresearcharea.Roughsetsasanewmathematicaltooltodealwiththefuzzyanduncertainknowledge.Ithasimportantpracticalsignificancetouseitinintrusiondetection.KeywordsIntrusiondetection;Roughsets;Networksecurity;Attributereduction一、引言随着计算机网络和信息技术的发展,人们对互联网的使用越来越频繁,这也使得网络安全问题变得越发重要1。入侵检测系统作为保护网络系统安全的关键技术和重要手段,已经成为当前网络安全方面研究的热点和重要方向。二、粗糙集理论(一)粗糙集基本概念1.知识分类的概念知识是人类通过实践认识到的客观世界的规律性的东西,是人类实践经验的总结和提炼,具有抽象和普遍的特性。人工智能研究中的一个重要概念是智能需要知识。从认知科学的观点来看,可以认为知识来源于人类以及其他物种的分类能力,知识即是将对象进行分类的能力。设是我们感兴趣的对象组成的有限集合,称为论域。以分类为基础,可以将分类理解为等价关系,而这些等价关系对论域进行划分。2.粗糙集及其近似定义1设是对象集,是上的等价关系2。(1)称为近似空间,由产生的等价类为,其中。(2)对于任意,记,,称为的下近似,为的上近似。(3)若,称为可定义的集合,否则称为粗糙集(图1)。(4)的边界域定义为(5)集合称为的正域,称为的负域。(二)近似精度与粗糙度定义设集合是论域上的一个关于的粗糙集,定义关于的近似精度为,其中;表示集合中所包含元素的数目,称集合的基数或势。定义设集合是论域上的一个关于的粗糙集,定义的粗糙度为。如果,则集合关于是普遍集合;如果,则集合关于是粗糙集合。(三)核与约简属性约简包括两个概念约简(reduce)和核(core)。属性约简是指关系的最小不可省略子集,而属性的核则是指最重要的关系集。定义*对于一给定的决策系统,条件属性集合的约简是的一个非空子集。它满足1,都是不可省略的2则称是的一个约简,中所有约简的集合记作。三、入侵检测模型(一)入侵检测系统入侵检测系统全称为IntrusionDetectionSystem,简称IDS。它从计算机网络系统中的若干关键点收集信息,并分析这些信息,检查网络中是否有违反安全策略的行为和遭到袭击的迹象。进行入侵检测的软件与硬件的组合便是入侵检测系统。入侵检测作为一种积极主动的安全防护技术,提供了对内部攻击、外部攻击和误操作的实时保护,在网络系统受到危害之前拦截和响应入侵。入侵检测系统能很好的弥补防火墙的不足,从某种意义上说是入侵检测是防火墙之后的第二道安全闸门。(二)粗糙集理论在入侵检测中的应用本文主要探讨判断当前的网络连接是正常连接还是入侵,实现这个功能的系统模型分为四个部分。第一,数据预处理。主要包括删除重复记录,决策表缺失内容修正,数据离散化。第二,属性约简。采集到的大量数据里面包含了多种信息,但是所有的信息并不是同等重要的,有些时候是冗余的,通过属性约简可以有效去掉冗余信息以便得到更为简捷的决策规则。第三,根据约简结果得到逻辑规则。本文入侵检测系统体系结构如图2所示。(三)基于信息熵的属性约简改进算法属性约简部分是基于粗糙集理论的入侵系统模型中非常重要的部分,本文对一种基于信息熵的属性约简算法进行改进,使得算法更高效。文献3提出的cebarkcc算法是一种比较典型的基于信息熵的属性约简算法,该算法是建立在决策属性集相对于条件属性集额条件熵的基础上的,以作为启发式信息,以作为算法的终止条件。它以决策表核属性集为起点,逐次选择使最小的非核条件属性添加到核属性集中,直到满足终止条件。该算法步骤文献44中有详细说明,本文不在细述,现将改进算法步骤描述如下Cebarkcc的改进算法输入一个决策表,其中,为论域,和分别为条件属性集和决策属性集;输出决策表的一个相对约简;Step1计算决策表中决策属性集相对条件属性集的条件熵;Step2计算条件属性集中相对于决策属性集的核属性,并令,;Step3Step3.1计算条件信息熵,转Step3.4;Step3.2对,中的每个属性计算条件熵,求得到属性的重要度;Step3.3选择使最大的属性(若同时有多个属性达到最小值,则从中选取一个与的属性值组合数最少的属性),把从中删除,并把增加到的尾部;同时从中删除使的值为零的属性;Step3.4如果,则转Step4,否则转Step3.2;Step4从的尾部开始,从后向前判别每个属性的是否可约。如果,则从开始向前的属性都是核属性,不可约,算法终止;否则,如果,则是可约简的,把从中删除。四、结论一个完善的入侵检测系统是对系统防火墙有益的补充,能够在网络系统受到危害之前拦截和响应入侵。但是现今网络数据量非常大,环境复杂,这就需要入侵检测系统更加智能,能够适应复杂多变的环境。粗糙集能够不需要任何附加信息和先验知识的情况下,对数据进行分析从而得出人们想要的结果。所以将粗糙集理论应用于入侵检测系统是可行而且有效的,本文同时给出了改进的约简算法,该算法较先前算法效率更高,约简效果更好。参考文献1肖晓春.基于模型的网络安全风险评估的研究,复旦大学,20082张文修,仇国芳.基于粗糙集的不确定决策.清华大学出版社3王国胤,于洪,杨大春.基于条件信息熵得决策表约简J.计算机学报,2002
简介:文章介绍了利用计算机、数据库等技术,面向业务科研需要,建立基于基数据的西藏地区多普勒天气雷达资料管理及共享服务系统的实现方法。关键词多普勒雷达;基数据;管理中图分类号TL822+.6文献标识码A文章编号1007-9599(2010)04-0000-02DesignandImplementationofInformationManagementandSharingSystemBasedonRawDataofTibetDopplerRadarLiChunyan,LiuYong,CiRenCuoMu(TibetMeteorologicalInformation&NetworkCenter,Lhasa850000)AbstractThispaperintroducestheuseofcomputers,databasetechnology,business-orientedresearchneedstoestablishbasicdataonTibetDopplerweatherradardatamanagementandsharingsystemrealization.KeywordsDopplerradar;Rawdata;Management一、引言新一代多普勒天气雷达(CINRAD)采用了目前世界上先进的雷达技术、计算机技术、数字信号处理以及图像处理等高新技术,具有全天候和高时空分辨率的探测能力,是监测跟踪中小尺度天气系统发生、发展、成熟、消亡过程的有效探测工具。对多普勒天气雷达资料的广泛应用可以大大加强对中小尺度天气系统的探测和预警能力,为开展短时灾害性天气系统及洪涝灾害的监测和预警、人工影响天气、中尺度数值预报奠定坚实基础。随着中国气象局“新一代天气雷达发展规划”的全面实施,西藏地区已相继建成了四部多普勒天气雷达,并逐步投入业务运行。建立有效收集、管理、使用多普勒天气雷达资料系统,实现资料的共享,是最大限度地发挥新型探测设备作用的关键。二、西藏地区多普勒天气雷达资料的管理及共享系统的实现(一)系统设计原则针对目前西藏地区多普勒天气雷达资料管理分散、无统一的数据管理系统、资料使用效率不高等问题,面向业务科研需要,设计合理的多普勒雷达资料管理策略,对资料进行有效的存储管理,并搭建资料管理和共享服务系统,通过网络将资料进行方便、快捷的共享。(二)数据管理策略多普勒天气雷达资料主要包括基数据(既雷达体扫文件,该数据含雷达反射因子Z、径向风速度V、谱宽W等信息,为二进制文件格式),还有基于基数据经过各种气象算法和数字图像处理生成的产品,如组合反射率因子(CR)、垂直液态水(VIL)、回波顶(ET)、谱宽剖面产品(SCS)等丰富的天气雷达二次产品。由于多普勒天气雷达基数据数据量大,一个站点一天数据约为2.9G,其衍生产品可达三十多种,如何对这些资料进行有效分类,并进行科学的存储及管理是本项目需解决的重要问题之一。针对多普勒雷达资料基数据文件大、数据产品种类多等特点,系统研究制定了针对西藏地区多普勒雷达资料的管理策略1.根据业务需要及该资料的特点,确定资料存储管理的重点为雷达基数据资料,因为该资料为雷达运行的基础资料,其中包含天气变化信息、雷达运行状况信息、雷达所在环境信息等,所有的衍生产品均是基于此数据;2.由于基数据为二进制数据格式,需要专业的软件才能读取其中的有用信息,为便于该资料的共享使用,系统开发后台资料处理系统,实时提取基数据中最重要的雷达反射因子Z、径向风速度V、谱宽W三种数据,并运用图形图像技术,形成直观的图像,在共享系统上共享应用;3.根据现有资料的传输情况,对业务要求传输的资料进行存储管理及共享;4.由于基数据量大,为便于存储,系统采用压缩技术,开发资料自动压缩处理模块,对基数据进行有效压缩后存储;5.为便于资料的共享使用,与相关自动站站点资料结合,提供按时间和按天气类型两种方式进行资料检索;6.为便于历史资料的使用,系统开发了针对下载后的雷达资料显示软件。(三)技术实现针对多普勒雷达资料特点,系统采用B/S(浏览器/服务器模式)和C/S(客户端/服务器模式)结合的方式开发,其中数据共享应用系统采用B/S方式开发,资料管理系统采用C/S方式开发。1.系统流程为便于资料管理,本系统按时间将资料分为实时资料和历史资料两部分进行管理。(1)实时资料库为近期雷达资料,库中含①实时雷达基数据既雷达体扫文件;②宽带网实时传输的五种数据图;③基数据初步分析的四种数据产品图像回波强度、谱宽、径向速度、无定证回波强度。(2)历史资料库为非实时库中所有的雷达基数据,采用压缩格式存储,以天为单位,全天数据一个压缩包。为便于使用,提供两种检索方式①按时间检索、下载;②按天气要素检索、下载(与相关自动站资料相结合)。下图为系统资料管理流程及结构图。图1.资料管理流程图2.系统开发技术方法系统开发主要分为三部分资料管理系统、资料共享应用系统、基数据图像显示软件三部分。(1)资料管理系统系统采用C++BUIDER6.0作为开发工具,结合MYSQL数据接口技术、WINZIP软件的命令行工具(WZZIP.EXE和WZUNZIP.EXE)、目录监控技术以及利用MICPAS3系统中西藏各县的经纬度数据,实现了全区多普勒天气雷达资料的自动处理和存储。主要有以下模块1)多普勒天气雷达资料的监控和接收模块。2)多普勒天气雷达基数据的显示处理模块。3)多普勒天气雷达基数据图像化处理模块。4)多普勒天气雷达基数据图像的地图叠加模块。5)多普勒天气雷达基数据图像的自动生成模块。6)多普勒雷达基数据及图形产品自动入库模块。7)雷达数据自动入库和维护。8)历史多普勒雷达基数据的压缩存贮模块。(2)资料共享应用系统该系统以B/S模式采用PHP、MYSQL等工具开发,实现对雷达资料的网络浏览、共享、查询及下载等功能。主要有以下模块1)数据关联模块。2)共享系统数据演示模块。3)资料查询及下载模块。(3)雷达基数据显示程序以Windows系统作为操作系统系统,采用C++BUIDER6.0作为开发系统。(四)系统主要实现的功能1.资料管理系统(1)实现对西藏地区多普勒雷达资料的自动收集、分类、入库,监控;(2)实时处理基数据资料,并生成四种雷达图像产品实时入库;(3)实现了对实时资料和历史资料的可控管理,既实时资料的保留时间可根据实际需要进行调节,调节范围在1-21天之间;(4)图像压缩质量可根据资料存储状况进行调整;(5)实现了对历史资料的自动按天压缩、存储、入库;(6)实现了对雷达站相关自动站资料的自动收集、入库。2.数据共享应用系统(1)对实时传输的5种整点图形资料的动画显示;(2)对实时传输基数据的4种分析图像产品的动画显示;(3)实时基数据的查看、下载;(4)实时库中5种整点图形资料的回放;(5)实时库中4种分析图像产品的回放。3.资料应用软件针对已下载解压后的多普勒雷达基数据文件,实现基数据文件的图形显示,包括单个基数据文件的图形显示和多个基数据文件的动画显示,显示包括多个要素(回波强度、径向速度、谱宽、无订正回波强度),多个显示范围(240公里、120公里、60公里、30公里),多个层次(九个层次)。(五)运行情况系统于2009年9月正式投入业务运行,系统运行稳定。经相关单位应用,在气象业务及科研中,发挥了较好的作用。三、结论(一)系统采用计算机、数据库等技术针对多普勒雷达资料特点,以C\S和B\S模式相结合方式开发建设系统。数据管理科学规范,易于管理和共享、应用,为面向全区雷达资料的广泛应用奠定了基础。(二)系统采用开放式网络环境、标准化协议以及通用系统开发工具,使系统具有良好的可移植性,易于实现和其他系统的互操作,有利于系统未来的发展。(三)应用界面友好用户只需要浏览器即可初步使用该资料,显示、浏览、查询、下载、使用方便,操作简单、明了。参考文献1高梅,张文华,接连淑,阮征等.基于气象信息共享系统的雷达资料网络数据库.气象科学.第30卷第1期2002年2月