大数据的数据质量

当前越来越多的企业认识到了数据的紧张性，大数据平台的建立如雨后春笋般。但数据是一把双刃剑，它给企业带来业务代价的同时，也是构造最大的风险泉源。糟糕的数据质量常常意味着糟糕的业务决定，将直接导致数据统计分析不正确、羁系业务难、高层领导难以决定等题目，据IBM 统计：
错误或不完备数据导致BI 和CRM 体系不能正常发挥上风以致失效。
数据分析员每天有30%的时间浪费在了辨别数据是否是“坏数据”上。
低劣的数据质量严峻低落了环球企业的年收入。
可见数据质量题目已经严峻影响了企业业务的正常运营。在企业信息化初期，各类业务体系恣意生长。厥后业务需求增长，必要按照同一的架构和标准把各类数据集成起来，这个阶段题目纷纷出现，数据差别等、不完备、不正确等各种题目劈面而来。费了九牛二虎之力才把数据融合起来，如果由于数据质量不高而无法完成数据代价的发掘，那就太痛惜了。
大数据期间数据集成融合的需求会愈加急迫，不但要融合企业内部的数据，也要融合外部（互联网等）数据。如果没有对数据质量题目创建相应的管理计谋和技能工具，那么数据质量题目的危害会更加严峻。数据质量题目会造成“垃圾进，垃圾出”。数据质量不好造成的结果是对业务的分析不但起不到好的结果，相反尚有误导的作用。很多人大概在纠结，数据质量题目毕竟是“业务”的题目还是“技能”的题目。根据我们以往的履历，造成数据质量题目的缘故因由紧张分为以下几种：
（1）数据泉源渠道多，责任不明白。
（2）业务需求不清楚，数据填报缺失。
（3）ETL处理处罚过程中，业务部门变动代码导致数据加工堕落，影响报表的天生。
（1）和（2）都是业务的题目，（3）固然外貌上看是技能的题目，但本质上还是业务的题目。因此，大部门数据质量题目紧张还是来自于业务。很多企业认识不到数据质量题目的根本缘故因由，只从技能单方面来办理数据题目，没有形成管理机制，导致结果大打扣头。在走过弯路之后，很多企业认识到了这一点，开始从业务动手办理数据质量题目。在管理数据质量题目时，接纳规划顶层筹划，订定同一数据架构、数据标准，筹划数据质量的管理机制，创建相应的构造架构和管理制度，接纳分类处理处罚的方式连续提拔数据质量。尚有，通过增长ETL 数据洗濯处理处罚逻辑的复杂度，进步ETL 处理处罚的正确度。