浅析大数据时代生产行业困境及数据治理方法

浅析大数据时代生产行业困境及数据治理方法

戚欣然

（宝信软件（安徽）股份有限公司大数据业务部）

摘  要：近些年来，大数据吸引了越来越多人的关注，在各种场合被广泛提及，其具有大容量、高速度、多样性、真实性等特点。而对于生产企业来说，随着互联网时代的发展，高端应用行业如汽车和家电制造等，正发生颠覆性的变革——消费者与消费者、消费者与厂商，低成本地实现连接，每个消费终端的个性需求被放大。这对于企业来说是机遇也是挑战。大数据可以为企业提供丰富的数据资源，帮助企业了解市场和客户。但大数据的战略意义并不仅仅局限于拥有庞大的数据信息，而是如何在这些数据中提炼出有意义的部分进行专业化的处理。面对大数据这种规模巨大且复杂的数据集合，直接进行数据加工显得力不从心，各企业会提出针对数据使用的一套管理方法，即数据治理。数据治理可以帮助各企业有效的管理和使用其内外部数据流，将其转化为企业资产，为企业所用。

关键词：大数据，数据加工，数据治理

1 生产企业的现状及困境

随着互联网时代的发展，消费者和生产企业之间的联系日益密切，用户需求被放大，更多的定制化需求层出不穷。针对生产企业，如何提高产品的质量、生产速率以及响应用户的速度，变成了急迫需要解决的问题。

大数据技术就是生产企业首选的解决方法，然而仍然有一些难题待解决：

1.1数据收集、整合难题：以钢铁生产企业为例，从原材料的引进到最终各钢材产品的产出、销售，中间工序繁多且复杂。而在近些年的发展过程中，部分工序流程可能都各自开发了信息化的软件系统，用于对生产流程进行监督和管控，还有一部分可能仍然未实现信息化，如何去准确的收集这部分信息，以及如何将已经完成信息化的工序各自独立的系统数据进行关联，如何对这些已有信息进行格式的统一、数据内容的整合，变成了一大难题；

1.2数据分析困难：生产企业很多软件系统已经使用了较长年限，数据量巨大，很多都存在冗余等问题。除此之外，很多旧系统也存在数据挖掘算法不够成熟、数据可视化效果不佳等问题。如何对海量的数据进行完善的清洗，从中提取有价值的信息是一个巨大的挑战；

1.3数据安全风险：随着大数据的应用，企业需要存储和处理大量的敏感数据，如何防止出现数据泄露、数据丢失、数据被篡改等安全问题，也成为了企业面临的一个重要挑战。如果无法妥善存储这些敏感数据，可能会损害企业的声誉更有甚者会带来巨大的经济损失；

1.4数据应用的挑战：大数据提供的数据只是基础，如何运用才是重中之重，应针对各企业现状，结合各工序流程用户需求，设计合适的应用方案，不能一味的套用，将数据真正的运用起来，渗透到企业的方方面面。

为了解决这些难题，企业需要借助数据治理等手段，建立完备的数据仓库和数据管理系统，提高企业数据分析加工能力。

2 大数据

大数据这一术语，最早是在1980年由美国的未来学家阿尔文·托夫勒在其《第三次浪潮》中提及。而后，维克托·迈尔-舍恩伯格和肯尼斯·库克耶在《大数据时代：生活、工作与思维的大变革》一书中，详细讨论了大数据的定义、特征及其应用，大数据这一术语逐渐得到了广泛关注认可及应用，而这本《大数据时代》也被大家认为是大数据领域的重要文献之一。

时至今日，大数据的应用已经涵盖金融、医疗、公共服务等多个领域。

大数据的优缺点及其特征

2.1生产企业可以基于大数据的数据资源，识别用户需求、预测市场等，帮助企业作出更好的决策；

2.2企业可以通过大数据技术优化各工序生产过程，实现降本增效，提高企业自身竞争力；

2.3大数据规模巨大且复杂，其中数据的来源、格式等都参差不齐，不加以处理，无法保证数据质量，进一步会影响最终数据分析的结果；

2.4数据管理不当可能会导致隐私信息的盗用或滥用。

除去这些优缺点，大数据还具有5V的特征，即容量、速度、多样性、价值密度、真实性。其中价值密度指的是大数据中的数据价值密度相对较低，需要通过专业的数据处理及分析来获取有价值的信息。

3 数据治理

3.1 数据治理的概念

数据治理是各企业为有效的管理和使用其内外部的数据流，保证数据的质量、一致性、安全性、可用性等，针对数据使用的一套管理方法，帮助企业更好的发挥大数据的优势，减少错误数据为企业带来负面影响的可能性。

3.2 数据治理的常见方法

3.2.1数据分类与标准化：按照不同的属性对数据进行划分，例如钢铁企业的数据可以按照生产域进行划分，便于各单位及部门查找各自所需数据；制定统一的数据命名、格式等，达到标准化的要求，在后续的使用过程中，可以简化使用难度，提高利用率，使用户可以更快上手；

3.2.2数据抽取与质量管理：对于用户需要但过去软件系统没有获取到的数据进行抽取操作，对已有数据进行数据清洗，通过数据去重、纠错等手段，消除历史数据中存在的错误和冗余；并对整体数据进行校验和监控，定期检查数据是否符合治理规范，及时发现并纠正潜在或已出现的错误，以确保数据仓库中数据的准确性、完整性、一致性和及时性；

3.2.3数据安全与隐私保护：制定相对应的数据安全方案，对数据库数据以及数据表进行相应的保密等级划分。例如可以通过数据加密的方式保证数据在传输及存储的过程中不易被窃取或修改；运用访问控制的措施，控制可访问用户，达到保密层级的划分；通过日志跟踪的措施，日常使用过程中留下日志信息，让任何操作都留有痕迹，以便后续追溯，达到保护数据的目的；

3.2.4数据治理制度以及组织机构设置：为了维持已有治理数据后续的维护以及新数据的处理，应建立完善的数据治理的制度，为数据治理提供依据，并建立合适的组织机构和流程监督数据治理工作。

在数据治理的过程中，各企业应结合自身实际情况，选择最为合适的方式方法，同时还应注意数据治理办法的推广工作，以确保每位员工都了解数据治理的优势及其必要性，保障数据治理工作的顺利开展。

4总结

大数据对外可以帮助生产企业对当前市场环境以及用户需求有一个更为全面且准确的认知，对内也可以获取并存储全工序流程的生产数据数据，而仅仅是做到这一步是完全不够的。

数据治理可以进一步帮助生产企业提升数据质量，保证数据的准确性和完整性，为企业进行生产决策提供可靠的生产依据，提高企业的决策效率。同时企业也可以根据治理后的数据进行数据加工，例如工序全流程分析、报表展示等，可视化的展现各个工序的产出情况，便于企业员工定期检查回溯，及时的发现问题处理问题，以提升工序质量、生产质量，也可以结合历史数据信息，提前判断或预测后续产出品情况，及时做出相应调整，提高产品质量及生产效率。

随着互联网及数字化时代的发展，数据治理可以为生产企业提高其竞争力，生产企业应重视数据治理工作，以应对当前网络环境及社会环境的挑战，并抓紧发展机遇。

参考文献

[1]维克托·迈尔-舍恩伯格,肯尼思·库克耶,盛杨燕,等.《大数据时代》[J].教育科学论坛,2016,(10):56.

[2]李伟民,褚玉晓.大数据—生活  工作与思维的大变革[J].数字技术与应用,2014(07):213.DOI:10.19695/j.cnki.cn12-1369.2014.07.151.

[3]张树江,林德丽,王晓莉.我国企业数据治理的困境与解决之道[J].中国市场,2024(16):79-82+190.DOI:10.13939/j.cnki.zgsc.2024.16.020.

[4]项姣姣.浅析数据治理在企业中的实施过程[J].互联网周刊,2024(09):39-41.