简介:随着“互联网+”概念的普及,网络上的资源随之成倍增长.面对庞大的数据资源,传统的搜索引擎Baidu、Google等已经不能满足人们对于特定信息的获取需求.作为搜索引擎抓取数据的重要组成部分,网络爬虫的作用非常重要.本文主要介绍了网络爬虫的概念、组成模块以及工作流程,在通用爬虫的基础上提出一种聚焦型网络爬虫系统,以python和相应的第三方库为主要工具,通过定义采集函数和给定豆瓣网最新上映电影的网址,快速搜索该网址某电影的影评信息,对页面内链接和外链接进行有效爬取.然后,再对获取到的数据进行分词处理,根据关键词的出现频率生成词云.实验结果表明,该聚焦型爬虫系统能够将所有影评信息以JSON格式存储到本地,并通过词云直观的展示出来.
简介:在无线电综合测试仪的设计中,频谱扫描是一项基础技术.将需要扫描的频谱划分成子带,进而提出了一种通过在模拟前端采用可变频率本振的混频器和低通滤波器实现子带信号分离,然后对子带信号进行采样并且变换到频域,最后将所有子带频谱拼接获得完整频谱的技术.为了实现该技术,设计了一个由软件无线电(Software-definedRadio,SDR)接收机和数字信号处理片上系统(SystemonChip,SOC)组成的软件无线电平台.随后,在基于该平台实现的综测仪原型上对频谱分析技术进行了验证.仿真和实验表明,该方法和原型样机能够对0~6GHz范围的频谱进行扫描,同时具有较低的噪声水平和较好的动态范围,且能够提供相位谱,因而适用于嵌入式频谱仪和无线电综测仪的应用场合.