基于大数据的网络舆情监控系统设计探析

基于大数据的网络舆情监控系统设计探析

杨婧 李琳

山东东明石化集团

　摘 要：我国地大物博，人口数量众多，尤其是网络舆情比较复杂，所以网络舆情危机发生的概率比较高。如今，大数据背景下的网络舆情更是发生了巨大的变化，基于此，本文试图设计一款基于大数据的网络舆情监控系统，以期望能够及时监管以及感知舆情发展态势，为舆情危机治理提供有价值的参考依据，进而保障网络环境健康发展。

　　关键词：大数据 网络舆情 监控系统

　　引言

　　随着互联网的快速普及，我国移动网民数量已经超过11亿，随着数量的提升，网络舆情传传播速度也越来越快。虽然互联网为人们提供了极大的便捷，但是也为负面信息传播提供了渠道。尤其是在大数据时代背景下，各种数据信息可以说是唾手可得，这也就意味着网络舆情监控难度越来越大，因此，有必要设计一款基于大数据的网络舆情监控系统，将能够为公安机关和舆情防控部门开展舆情监控与引导奠定坚实的基础。

　　一、基于大数据的网络舆情监控系统总体架构分析

　　基于大数据的网络舆情监控系统，能够将众多信息汇集到系统数据库之中，通过全文索引功能对数据库中的数据信息的威胁度进行评估，并对其威胁等级进行划分，最后依托绘制图表的形式进行可视化展示。基于大数据的网络舆情监控系统总体架构如图1所示。其中，通过HDFS分布式系统实现数据获取以及存储功能，而数据存储的结构为HBase;同时，能够严格按照实际舆情管理的需求，进而自动生成对应的表格。

　　二、数据库设计分析

　　在基于大数据的网络舆情监控系统中数据库极为重要，因为数据的管理、检索、汇总、分析等工作均在数据库中完成。因此，在设计过程中应严格按照实际需求进行，这样才能实现对舆情的有效监控，并对恶意舆情进行及时管控。监控系统能够将网民的基本信息以及言论发布时间、内容等进行储存，利用关键词搜索功能，可以检索获得相关内容。Hadoop是数据库系统的核心，通过Hadoop能够将任务分布到每一个数据节点上并使其稳定运行。同时，所监控到的数据可以进行随时备份与调用，从而能够保障数据的完整性和安全性。

　　三、系统功能模块设计分析

　　1.数据信息采集模块设计

　　该模块的作用是提升采集效率与精准度，因此，通常是利用网络爬虫技术在Web页面上有针对性的采集数据，也就是通过关键词进行搜索，这样就能够获得对应的信息，同时也可以将无关的信息数据过滤掉，使其采集范围缩小，以此实现采集速度的提升。在对网络舆情监控过程中，通过数据信息采集模块可针对某一个特定领域进行数据采集，将有利于提升监控的效率以及精准性。

　　利用网络爬虫技术可以在Web页面上有针对性的采集数据，通过输入关键词，可快速获得与关键词有关联的信息数据，同时无关的数据会被排除。为了能够提升网络舆情信息采集的效率与精准性，还需完善以下功能：第一，根据需求建立网络舆情关键词库，并需要对每一个关键词进行循环检索，目的是保留有效数据，将无关数据清除;结合实际需求通过自定义的方式，可以有效采集与特定关注领域和话题相关的网络舆情信息数据。第二，对个人信息进行采集，例如，个人基本信息、发送信息内容与时间等。第三，网络爬虫技术可以在某一个特定时间内发挥其价值，例如快速获取发表言论用户的各项信息，并将结果以结构化数据进行存储，从而为舆情防控以及后续舆情引导、治理工作提供有价值的参考依据。

　　2.信息分析处理模块设计分析

　　完成信息采集后，需要对其进行深入分析，这样才能及時掌握某些观点或某些倾向性评价是否对网络舆情产生威胁以及其具体的威胁程度。互联网环境开放且复杂，用户所发布的观点往往比较多元，且内容繁多，这就可能会影响网络舆情监控的效率与质量。因此，为了避免这个问题，通常采用的是语义方法对其进行情感分析，主要是提取情感词，常用的是词典分析法与词语分析法，从实际来看，任何一种方法单方面来使用都存在局限性，所以常常将两种方法进行综合使用，可及时感知并明确用户发布内容的情感分值，根据分值的不同，主要有高、中、低三个舆论威胁等级。

　　3.信息交互模块设计

　　基于大数据的网络舆情监控系统的页面是对信息获取的主要窗口，基于实际需求，系统页面需要体现人机交互，因此通常会采用前台技术（HTML+CSS+Jquery+JSP）对系统页面进行设计。要实现网络舆情监控系统人机交互的目的，其方法比较多，其中报告文档生成、报表统计交互、图谱关联交互、表单查询交互等是常用的方法。例如表单查询交互，能够对所采集的信息数据进行直观展示，同时能够以Excel或Word形式进行呈现。

　　但是从实际网络环境来看，网民之间的关系往往更为复杂，其中，有个人信息的发布，也有互相@的关系以及各种转发的关系，所以信息交互的复杂度高，仅仅依靠表单查询交互无法将网民之间关系精准呈现，所以可通过关系图谱形态呈现网民与网民之间的关系和权重。具体来讲，就是将用户实体作为表达节点，例如，将关注数量很多的这类用户作为一个节点，然后再进行延伸扩展到其他成员，以此类推就能够形成一个有一定关联的人物关系图，从而为公安机关和舆情防控部门开展舆情监控与引导提供有价值的参考依据。

　　参考文献

　　[1]贾梦久.基于大数据可视化的网络意见领袖特征研究[J].信息技术与信息化，2020（02）：15-18.

　　[2]雷凯.大数据时代重大网络舆情事件治理研究[J].中国报业，2020（02）：92-93.