首页 > 《中国科技信息》 > 2024年11期 > 大数据处理中分布式计算框架的优化与应用研究

大数据处理中分布式计算框架的优化与应用研究

在线阅读下载PDF 导出详情

摘要摘要：深入探讨了分布式计算框架在大数据处理中的应用、特点、存在的问题及优化对策。分析了分布式计算框架的高可扩展性、容错性强和灵活性高等主要特点，这些特点使其成为处理海量数据的强大工具。然而，文章也指出了分布式计算框架面临的性能瓶颈、资源利用率低以及维护与管理复杂等问题。针对这些问题，提出了算法与策略优化、资源管理与调度改进以及系统架构与运维优化等对策，旨在提升分布式计算框架的性能、资源利用率和可维护性，为大数据处理提供更加高效、可靠的技术支持。

DOI 3j7mm753qj/8523177

作者姚勇

机构地区 362201197906040416

出处《中国科技信息》 2024年11期

关键词分布式计算框架大数据处理可扩展性容错性

分类 [建筑科学][建筑技术科学]

出版日期 2024年08月01日（中国期刊网平台首次上网日期，不代表论文的发表时间）

相关文献

1向守超. 分布式大数据处理与分析系统优化研究.建筑技术科学,2024-04.
2李娟,. 分布式计算在大数据处理中的应用.建筑技术科学,2023-09.
3学生,余纪浩,杜乃璐,马雷影,辅导员,胡莹莹. 大规模分布式数据处理框架的性能评估与优化.建筑技术科学,2024-06.
4吴婧. 大数据环境下分布式计算框架的性能优化研究.建筑技术科学,2024-06.
5高正浩1黄良1曹洪1赵立进1赵国杰2. 电力大数据高性能处理中分布式技术的应用.电力系统及自动化,2016-08.
6宋志超. 面向大规模数据处理的分布式计算与协同处理研究.产业经济,2023-11.
7宋志超. 面向大规模数据处理的分布式计算与协同处理研究.,2023-11.
8齐晓堋. 面向大数据的分布式计算框架性能优化与并行算法设计.教育学,2024-03.
9张光耀. 面向大数据的分布式存储与处理技术比较与优化.建筑技术科学,2024-05.
10张建平. 云计算、分布式存储技术在卫星数据处理中的作用.建筑技术科学,2023-11.

来源期刊

中国科技信息

中国科技信息

相关推荐

同分类资源更多

相关关键词

分布式计算框架大数据处理可扩展性容错性

返回顶部