简介:随着广播监测工作的积累和发展,广播监测数据与日俱增,传统的数据处理分析技术难以实现对海量广播监测数据进行高效的分析。基于此,利用Hadoop分布式文件存储系统HDFS和分布式计算框架Map-Reduce,提出了一种基于云计算的海量数据分析系统设计方案,探讨了云计算技术处理分析海量广播监测数据的应用。
简介:针对深空次表层探测雷达相邻帧道数据相似的特性,提出了一种对相邻帧道差值数据进行分块自适应量化的算法——帧间差分分块自适应量化(FrameDifferenceBlockAdaptiveQuantization,FD-BAQ)。该算法首先对数据进行分块,然后进行帧间差分,并对差值数据或原始数据进行Lloyd-Max量化,最后用量化后的数据进行重构。在选择对差值数据或原始数据进行量化时,提出用数据方差作为量化误差的衡量指标,当子块差值数据方差小于原始数据方差时,对差值数据进行量化来替代对原始数据量化,否则直接量化原始数据,从而大幅减小量化误差。将该方法与已有改进型BAQ算法比较,实验结果表明,在相同压缩比条件下,FD-BAQ算法在数据域和图像域均能取得更好的压缩效果。