基于云计算与大数据的警务时空大数据平台建设研究

基于云计算与大数据的警务时空大数据平台建设研究

沈松雨

航天精一（广东）信息科技有限公司广东广州510665

摘要：针对警务时空大数据平台建设要求，依托云平台，采用大数据、深度学习、微服务等技术对警务时空大数据平台进行研究，并设计实现集标准、管理、数据、服务、应用于一体的警务时空大数据平台。

关键词：时空大数据；云计算；大数据；深度学习；微服务；

ResearchontheConstructionofSpatio-temporalLargeDataServicePlatformBasedonCloudComputingandBigDataTechnology

SHENSongyu

Keywords：patiotemporalBigData；CloudComputing；BigData；DeepLearning；MicroServices；

2019年1月，中华人民共和国自然资源部在2017年版技术大纲和试点经验的基础上，颁布新一代智慧城市时空大数据平台建设技术大纲。大纲对时空大数据资源汇聚、空间处理、数据引擎开发、分布式管理系统开发做了明确要求。

警用地理信息平台在新形势下亟待转型升级。本文从广东省公安厅提出的“智慧新警务”分析入手，对警务时空大数据平台进行分析研究，提出基于云计算和大数据的警务时空大数据平台，并完成设计开发。

1建设目标

1.1建设目标

为保障公安警用地理信息平台信息化均衡发展，构建时空大数据平台支撑能力，重塑业务开发模式，提升业务创新速度，确定如下目标：

（1）深度整合地理信息数据资源，构建时空大数据基础平台。

（2）搭建多源多时相开放的地图。

（3）依托大数据平台开展时空大数据共享服务。

（4）拓展警务业务应用。

（5）构建统一门户和运维监控平台。

2关键技术

①开展警务云平台建设应当由实际的应用需求出发，选用适当的技术手段来建立云计算平台。

2.1云计算

②云平台是开展大数据应用的基础。⑥云计算在公安信息系统建设中得到广泛应用，大大提高了公安的信息化水平。

采用虚拟化技术，对服务器、存储、网络等硬件资源进行整合，建立虚拟资源池，实现“基础设施即服务（IaaS）。

基于IaaS资源池服务，整合数据库、中间件、大数据组件等基础平台软件，建立公安资源服务平台，形成包括统一用户、统一消息、基础地图服务、可视化服务等通用服务的平台即服务（PaaS）。

采用大数据平台，对海量数据进行整合，并提供数据即服务（DaaS）支撑能力。

开发通用的业务上图、时空制图、视频应用、卡口应用、热力图应用，以及坐标转换、位置纠错、质量检查工具等，以应用即服务（SaaS）方式共享出去。

2.2大数据

随着社会上传感器和其他数据生产渠道越来越多，数据采集速速不断加快，结构化数据和非结构化数据

随之不断涌入，对大体量数据的采集、存储、分析提出了更高的要求。然而数据存在诸多噪音和歧义，如何在增速快、体量大、结构多样、不确定的大数据环境下挖掘有价值的信息是一种挑战，这也是警务时空大数据平台面临的挑战之一。不过各种各样的大数据技术应用为解决大数据环境所面临的各种挑战提供了可能。

2.3深度学习

标准地址是警务时空大数据平台建设的重要专题库，基于该专题库对汇聚的各种空间业务数据进行地址到标准地址与坐标、坐标到标准地址的匹配是一项警务时空大数据标准化的重要工作。

BiLSTM-CRF模型是将双向LSTM神经网络模型和条件随机场模型进行结合，即将原有BiLSTM模型中的Softmax层替换为条件随机场层。BiLSTM-CRF模型将原有神经网络中的Softmax层替换为CRF层，通过将BiLSTM网络计算出的状态序列向量作为CRF层的输入，能够考虑标注之间的转移特征，即会考虑输出标注间的顺序，从而求出联合概率最大的地址标注序列。

2.4微服务

③传统企业集成多用SOA（面向服务架构）技术，SOA是基于组件模型的面向服务的体系结构。随着业务规模的扩张，技术架构迫切需要从单体应用架构升级到分布式微服务架构，以降低技术成本，更好地适应业务快速发展的需要。

3平台设计

3.1逻辑架构设计

感知层主要用来接入各种传感器采集过来的数据，如视频、卡口、二维码、PDT、RFID等感应器件广泛捕获社会数据。

IAAS层④是整个云平台运行的基础，包括服务器、网络、存储等软硬件资源。该层主要依托云平台提供的弹性云服务器、计算、存储和网络服务，支撑时空大数据服务平台基础软硬件及网络环境。

PAAS层基于开源大数据组件和其他中间件开发地图、地址、可视化服务等基础通用的服务，注册到API网关，提供面向各警种提供统一的服务。

DAAS层主要提供数据接入、清洗、坐标转换、数据空间化等工具，根据数据标准组织起来，对外提供数据服务。

SAAS层⑤它是云架构的最上层，为用户提供最终的应用业务体验。调用PAAS或DAAS层服务面向特定警种业务做应用开发，并提供时空大数据服务平台的运维监控管理支撑能力。

3.2数据规划设计

数据接入层面，从地市汇聚业务资源和空间资源，从省厅汇聚警情、案件、人口、卡口过车轨迹、人口交通轨迹、警车等实时位置数据、一标三实等数据，并且与公安部下发的信息点数据、以及移动警务网移动采集的数据进行融合。

数据处理层面，对数据清洗、转换、比对，然后经过空间化治理数据同步到交换共享库；

数据组织层面，对交换共享库和其它资源库数据进行映射和组织，并结合公安人、地、物、组织、案事件五要素实战需要，提取、分析、组织形成地图主体库、地址资源库、业务索引库、导航路网库、实时位置库、平台日志库六大专题库。

数据服务层面，基于各个专题库生产基础地图服务、地址匹配服务、业务资源服务、路径分析等可视化服务、位置分发服务、统一日志服务。这些服务注册到服务中心并通过统一的服务网关提供给各个应用去消费。

3.3服务引擎设计

传统的面向服务架构（SOA）服务生产者和服务消费者关系很明确，服务注册方式也比较简单；但是在业务越来越复杂、服务被拆分的粒度越来越细、服务依赖关系越来越复杂的场景下相对良好的服务规划设计来说是远远不够，微服务架构技术应运而生。

3.4集成设计

3.4.1云平台数据集成设计

在云计算和大数据环境下，如何与华为云、阿里云、腾讯云、亚马逊云（AWS）、微软云（Azure）等常用云厂商适配是一个挑战。设计开发时时，我们选用常用开源、免费技术进行开发。如HDFS、Hbase、Zookeeper、Solr、Elasticsearch、Neo4j、Redis、Postgresql、SpringCloud、Nginx等，方便和主流云厂商中间件适配。

3.4.2服务集成设计

时空大数据平台深度研究公安实战应用场景，为便于进行服务集成，研究开发了服务网关，统一服务出入口，并实现统一鉴权，从而实现服务可方便地注册到其它厂商API网关、服务目录、服务总线上，降低了服务集成的复杂度。

3.4.3应用集成设计

时空大数据平台开发实现了时空门户并通过网关提供统一认证服务；新应用或第三方应用实现平台单点登录（SSO）接口后，通过配置可快速集成到时空门户中。

4平台实现

结合各警种对时空大数据平台的实战要求，研设计开发了警务时空大数据平台。平台基于华为云，支持云厂商快速适配，并在广东省公安厅时空大数据服务平台项目实践，实现了云平台数据、服务、应用三个方面的集成。

5结语

警务时空大数据平台依托云平台，综合运用大数据、深度学习、微服务等技术，分层解耦，实现警务时空数据接入、处理与组织，研发通用时空服务和应用，构建统一的时空大数据综合管理平台，对警务时空大数据服务平台建设有一定指导意义。

参考文献：

[1]邱少杰，林臻.警务云计算平台建设思路探讨[J].信息系统工程，2017（11）：25-25.

[2]韩瑛.基于云平台架构的警务大数据中心建设[J].警察技术，2018（4）：8-11.

[3]向红梅，郭明武.城市地理时空大数据管理与应用平台建设技术和方法研究[J].测绘通报，2017（11）：91-95.

[4]段志强，沈凤娇，黄冠宇，等.智慧城市时空信息云平台建设研究[J].地理空间信息，2018（8）：24-27.

[5]赵建平，陈道鸿.大数据视野下公安警务云平台建设及应用探讨[J].中国安防，2017（12）：93-99.