简介:摘要:Hadoop & Spark系统使用VMware workstation Pro 来部署安装相关虚拟机,使用xshell来进行对虚拟机的命令行操作,虚拟机操作系统使用Linux centOS 7。相关代码使用Scala编程语言编写,开发工具IDE使用IntelliJ IDEA开发。本次实验主要是旨在搭建一个成熟的、高效的、快速的大数据计算集群并利用该系统实现大数据领域常见的数据分析操作。以此来实现Hadoop 与 Spark 的融合,利用Hadoop HDFS的分块存储的优势为大数据系统提供底层的存储服务,利用Spark 的内存计算快速、高效的优势为大数据系统提供计算服务,这样就弥补了Hadoop系统计算效率低和spark系统无法提供存储服务的两大弊端,实现技术上的优势互补。
简介:摘要:数据分析的更广泛应用一般可分为两类方向,重点是数据的处理和呈现,是数据的采集、获取、处理和可视化方法;另一个重点是提取和确定数据的主要特征,即数据的质量。近年来,气象处十分重视收集气象资料。此外,许多国家气象站、区域站、气象雷达、气象卫星、闪电定位、大气场、土壤湿度、能见度等都得到了升级。在此基础上,本文主要分析了大数据时代气象数据分析结果应用的新趋势。
简介:摘要:现今我们正处于信息革命的漩涡,信息化的发展改变了我们对信息的认识,可用的数据量开始超越我们的研究能力,从长远来看,人类发展需要的是有效的分析数据的能力,即数据分析。
简介:摘要:电力企业在经过长期发展已经实现了稳定持久的电力供应,并且在现阶段我国电力企业逐渐增多,电力市场也最开始的卖方市场,逐渐转变成了卖方市场,为保证电力企业能具有良好的发展前景以及发展规模,也就需要电力企业能通过有效的方式做好市场营销。而在目前的电力市场之中还存在着较多的问题影响着电力企业的营销效果。针对电力市场随机性、多变量和时变性的特点导致电力客户服务需求预测值不准确的问题,提出了一种基于大数据分析的电力客户服务需求预测方法。该方法依托于贵州地区的智能电网大数据,从区域商业价值和区域宏观经济角度来采集数据并通过挖掘其中的关联信息,建立了电力客户的细分模型;并在客户细分模型的基础上,使用BP神经网络算法建立了电力客户的需求预测模型。
简介:摘要:随着移动互联网通信的快速发展,当今社会的信息量爆炸式增长,为了方便人们在短时间内能够记忆更多知识,设计实现这套基于数据分析的记忆学习系统。此系统前端采用Vue.js的框架来实现,后端采用SpringBoot技术构建,利用MySQL数据库来实现数据管理,采用前后端分离的模式实现了一套可以根据用户对于知识点的学习情况进行分析并根据分析结果推送个性化学习方案的系统。
简介:摘要:该文论述了土石坝安全监测的重大作用,研究了土石坝安全监测项目在监测装备、操作技术、监测自动化和数据的分析等方面出现的问题,并根据情况给出了具体的方案和具体措施,对已有土石坝的长期安全运营管理工作有着一定的帮助和参考意义。
简介:摘要:在大数据时代,互联网技术迅猛发展,给人类的生活带来了巨大的变化,但也给我们的信息安全带来了巨大的威胁。如果没有正确的保护措施,就会造成网络攻击、病毒等问题,从而导致用户的隐私被侵犯,个人和群体的利益受到损害。在此基础上,本文首先从大数据环境下的信息安全问题和保护技术特征入手,总结出相应的防范措施,以期能够发挥信息安全防护作用,加强大数据网络安全防护,构建良好的信息安全与防护环境,真正促进我国网络信息时代的健康发展。