简介:大数据分析是检查具有各种类型的大量数据并快速生成以识别隐藏模式、未知相关性和其他有用信息的过程。在现代汽车集团的研发中心,有许多类型的机器能够以前所未有的规模生成数据。作者开发了一种名为VDMS的车辆信号采集设备。这种类型的传感器每天在大数据系统上存储超过1TB的数据。因此,分析不断增加的数据量和高速流传感器数据的能力是必不可少的。本文研究了传感器数据的分析方法,首先,建立了从信号数据相关性分析到分类模型的分析过程,并开发了针对信号优化的分析方法。另外,提出了一种将异常信号数据形成图案并检测特定图案的方法。
简介:本文以辽宁省公安厅交通安全管理局缉查布控系统大数据平台设计为例,介绍基于Had00p的大数据平台构建方法,重点介绍了基础软硬件平台的配置方法和计算依据。
简介:摘要:针对大数据的特点及其对存储系统的海量、融合和高性能的存储需求,提出了一种融合分布式存储系统,该系统基于本地物理存储介质构建统一的分布式存储资源池,采用去中心化的软件定义存储架构,利用多台存储服务器分担存储负荷,提高存储系统性能;通过多副本、纠删码数据保护模式,提高数据可靠性;向上层应用提供文件存储、对象存储、块存储等融合存储服务,提供数据管理效率;系统采用可扩展的方案,实现动态扩展。本文对分布式存储系统的系统架构、寻址方案、读写流程等设计要点进行研究,并给出了测试验证结果。