简介:随着“互联网+”概念的普及,网络上的资源随之成倍增长.面对庞大的数据资源,传统的搜索引擎Baidu、Google等已经不能满足人们对于特定信息的获取需求.作为搜索引擎抓取数据的重要组成部分,网络爬虫的作用非常重要.本文主要介绍了网络爬虫的概念、组成模块以及工作流程,在通用爬虫的基础上提出一种聚焦型网络爬虫系统,以python和相应的第三方库为主要工具,通过定义采集函数和给定豆瓣网最新上映电影的网址,快速搜索该网址某电影的影评信息,对页面内链接和外链接进行有效爬取.然后,再对获取到的数据进行分词处理,根据关键词的出现频率生成词云.实验结果表明,该聚焦型爬虫系统能够将所有影评信息以JSON格式存储到本地,并通过词云直观的展示出来.
简介:软件定义网络(SDN)将数据层与控制层相分离,是一种新型网络体系架构.针对目前SDN网络还不能提供路由服务问题,设计了一种基于OpenFlow技术,使得SDN网络拥有路由转发功能的方案.依托RouteFlow平台,以内核虚拟化技术为基础,以Quagga软件为路由引擎,通过OpenFlow控制器为数据平面提供路由逻辑控制策略.实验结果表明,该方案不仅让SDN网络具有了路由转发功能,还能使系统保持较好的稳定性.
简介:针对短期家庭电力数据随机性强,数据维度低等问题,提出了一种基于长短期记忆循环神经网络(LSTM)的单变量短期家庭电力需求预测模型.实验表明,该模型能够准确反映以小时为单位的家庭电力需求趋势,且在不同家庭上的泛化性能优于传统的循环神经网络(RNN)和门控循环网络(GRU).
简介:作为一个保边去噪的算法,各向异性扩散滤波(anisotropicdiffusionfilter,ADF)被广泛应用于磁共振成像(magneticresonanceimage,MRI)图像的预处理中,且对MRI图像中的莱斯噪声具有很好的去除效果.各向异性扩散滤波参数的选择对于其去噪性能影响很大,为找出滤波器的最佳参数,我们用改进的遗传算法对其进行参数优化,并且采用了一种新的精英选择策略,而且还在交叉和变异过程中采用了自适应的交叉和变异概率,再分别对各向异性扩散滤波的迭代次数t、扩散阈值k以及时间步长λ等三个参数进行选择优化.最后,从峰值信噪比(peaksignal-to-noiseratio,PSNR)、结构相似性指数(structuralsimilarityindexmetric,SSIM)、均方差(meansquarederror,MSE)三个方面,将经过参数优化的各向异性扩散滤波器对脑部MRI进行去噪处理,并与其它参数下的滤波结果进行对比.实验结果表明,经过参数优化的各向异性滤波器,无论是从视觉上还是相关评价指标上,均优于其它参数情况下的去噪效果.