奎克的藏经阁 · 原书印刷页

人工智能与大数据技术导论 · 第 74 页

PDF 物理页索引 90 · 第3章

书名
人工智能与大数据技术导论
作者
未记录
印刷页
74
PDF 物理页
90(从 0 开始)
章节
第3章
UUID
cd4f7678-cd9b-4971-bde0-e9ad46a6cc71
来源类型
original_book
页面 SHA-256
e974e68493f2e32177a7606838f72054aecf3b89ec0beb262c6da972e0e74a11

上游备份策略如图3-8所示,每个主节点均记录其自身的状态和输出数据到日志文件,当某个主节点B出现故障后,上游主节点会重放日志文件中的数据到相应的副本节点中,进行数据的重新计算。上游备份策略所占用的系统资源最小,在无故障期间,由于副本节点B′保持空闲状态,数据的执行效率很高。但由于其需要较长的时间恢复状态的重构,故障的恢复时间往往较长。当需要恢复时间窗口为30分钟的聚类计算时,就需要重放该30分钟内的所有元组。可见,对于系统资源比较稀缺、算子状态较少的情况,上游备份策略是一个比较好的选择方案。

此外,大数据流式计算系统也离不开其他关键技术的支持,比如负载均衡策略。实现对系统中的任务动态、合理地分配,动态适应系统负载情况,保证系统中的任务均衡和稳定地运行。数据在任务拓扑中的路由策略促进系统中负载均衡策略的高效实现、数据的合理流动及快速处理。

3.4 大数据技术

对于普通人来说,大数据离我们的生活很远,但它的威力已无所不在:信用卡公司追踪客户信息,能迅速发现资金异动,并向持卡人发出警示;能源公司利用气象数据分析,可以轻松选定安装风轮机的理想地点:瑞典首都斯德哥尔摩使用运算程序管理交通,令市区拥堵时间缩短一半…这些都与大数据有着千丝万缕的关系。牛津大学教授维克托·迈尔-舍恩伯格在其新书《大数据时代》中说,这是一场“革命”,将对各行各业带来深刻影响,甚至改变我们的思维方式。如今,信息每天都在以爆炸式的速度增长,其复杂性也越来越高,当人类的认知能力受到传统可视化形式的限制时,隐藏在大数据背后的价值就难以发挥出来。理解大数据并借助其做出决策,才能发挥它的巨大价值和无限潜力。其中的一把金钥匙就是大数据技术。

人工智能与大数据技术导论

74