简介:随着广播监测工作的积累和发展,广播监测数据与日俱增,传统的数据处理分析技术难以实现对海量广播监测数据进行高效的分析。基于此,利用Hadoop分布式文件存储系统HDFS和分布式计算框架Map-Reduce,提出了一种基于云计算的海量数据分析系统设计方案,探讨了云计算技术处理分析海量广播监测数据的应用。
简介:算术编码作为一种无损压缩方法得到广泛应用,但该算法对区间参数的运算采用递推模式,这种串行流程在多核及并行等资源环境下不适用,且执行效率较低。从固定概率空间二进制算术编码角度,先推导出编码序列区间参数非递推模式计算公式,进而得出序列分段各自编码,再合并计算原序列区间参数的计算公式,并从理论上证明了算法可行性。给出了算法物理意义描述和典型编码流程,针对多核和并行等资源环境提出了纵向和横向分段思路,并采用实际序列验证了算法正确性。该算法在某情报网关设备中应用可见,在确保压缩效果不变基础上,可使各中央处理器(CPU)核之间负载基本持平,有效利用了多核计算资源,将情报报文吞吐量提升近1倍,效果良好。