人工智能与大数据技术导论
④异常处理
在ETL的过程中，面临数据异常的问题不可避免，处理办法为：
●将错误信息单独输出，继续执行ETL，错误数据修改后再单独加载。或者中断ETL，修改后重新执行ETL。原则是最大限度地接收数据。
●对于网络中断等外部原因造成的异常，设定尝试次数或尝试时间，超数或超时后，由外部人员手工干预。
●诸如源数据结构改变、接口改变等异常状况，应进行同步后，再装载数据。
ETL不是想象中的一蹴而就，在实际过程中，你会遇到各种各样的问题，甚至是部门之间沟通的问题。给它定义到占据整个项目50%\~70%是不足为过的。
如图3-17所示是一个大数据采集平台，提供数据获取、清理、更换和存储数据。该平台允许访问不同的数据源，让不同的采集任务可以同时访问多个数据源。它可以追踪采集过程中的每个步骤。该产品既可以作为云服务部署来确保数据准备的灵活性，也可以作为内部部署的解决方案，可以整合到Hadoop、数据库和各种报表呈现工具中，以更快获取价值。
总之，大数据现在是一个热门话题，但企业和IT领导者需要明白，分析糟糕的数据意味着糟糕的分析结果，可能会造成错误的商业决策。正因为如此，读者一定要高度重视数据准备。在大数据平台建设中，推进数据标准体系建设，制定有关大数据的数据采集、数据开放、分类目录和关键技术等标准，推动标准符合性评估。要加大标准实施力度，完善标准服务、评测、监督体系，坚持标准先行。
- 数据profile能力
数据的 profile能力包括：
106