{"resolved":true,"match_type":"uuid","source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","requested_by":"printed_page","book":{"source_type":"original_book","book_id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","id":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","uuid":"cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title":"人工智能与大数据技术导论","normalized_title":"人工智能与大数据技术导论","author":null,"edition":null,"publisher":null,"year":null,"isbn":"9787302517986","isbns":["9787302517986"],"parsed":true,"ai_readable":true,"document_type":"book","page_count":490,"navigation_url":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","title_url":"https://workshop.closeclaw.top/ai/title/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E4%B8%8E%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%AF%BC%E8%AE%BA","fixed_page_url_template":"https://workshop.closeclaw.top/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","path_api_url_template":"https://workshop.closeclaw.top/api/ai/book/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page/{printed_page}","read_url":"https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71","page_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/page","search_url":"https://workshop.closeclaw.top/api/ai/books/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71/search"},"page":{"printed_page":63,"pdf_page":79,"physical_index":79,"physical_index_base":0,"printed_page_status":"recognized","page_sha256":"03e856d4141b072c0b05fbe650c5b25b938556745b8b207124c58bb92007d1b5"},"chapter":"第3章","content":"3.1.5数据关联\n\n数据无处不在，人类从发明文字开始，就开始记录各种数据，只是保存的介质一般是书本，这难以分析和加工。随着计算机与存储技术的快速发展，以及万物数字化的过程（音频数字化、图形数字化等），出现了数据的爆发。而且数据爆发的趋势随着万物互联的物联网技术的发展会越来越迅速。同时，对数据的存储技术和处理技术的要求也会越来越高。据IDC出版的数字世界研究报告显示，2013年，人类产生、复制和消费的数据量达到4.4ZB。而到2020年，数据量将增长10倍，达到44ZB。大数据已经成为当下人类最宝贵的财富，怎样合理有效地运用这些数据，发挥这些数据应有的作用，是大数据将要做到的。\n\n早期的企业比较简单，关系型数据库中存储的数据往往是全部的数据来源，这个时候对应的大数据技术也就是传统的OLAP数据仓库解决方案。因为关系型数据库中基本上存储了所有数据，往往大数据技术也比较简单，直接从关系型数据库中获得统计数据，或者创建一个统一的OLAP数据仓库中心。以淘宝为例，淘宝早期的数仓数据基本来源于主业务的OLTP数据库，数据不外乎用户信息（通过注册、认证获取）、商品信息（通过卖家上传获得）、交易数据（通过买卖行为获得）、收藏数据（通过用户的收藏行为获得）。从公司的业务层面来看，关注的也就是这些数据的统计，比如总用户数，活跃用户数，交易笔数、金额（可钻取到类目、省份等），支付宝笔数、金额，等等。因为这个时候没有营销系统，没有广告系统，公司也只关注用户、商品、交易的相关数据，这些数据的统计加工就是当时大数据的全部。\n\n但是，随着业务的发展，比如个性化推荐、广告投放系统的出现，会需要更多的数据来做支撑，而数据库的用户数据，除了收藏和购物车是用户行为的体现外，用户的其他行为（如浏览数据、搜索行为等）这个时候是完全不知道的。这里就需要引进另一个数据来源，即日志数据，记录用户的行为数据，可以通过Cookie技术，只要用户登录过一次，就能与真实的用户取得关联。比如通过获取用户的浏览行为和购买行为，进而可以给用户推荐他可能感兴趣的商品，看了又看、买了又买就是基于这些最基础的用户行为数据做的推荐算法。这些行为数据还可以用来分析用户的浏览路径和浏览时长，这些数据是用来改进相关电商产品的重要依据。\n\n2009年，移动互联网飞速发展，随着基于Native技术的App大规模出现，用传统日志方式获取移动用户行为数据已经不再可能，这个时候涌现了一批新的移动数据采集分析工具，通过内置的SDK可以统计Native上的用户行为数据。数据是统计到了，但是新的问题也诞生了，比如在PC上的用户行为怎么对应到移动端的用户行为，这个是脱节的，因为PC上有PC上的标准，移动端又采用了移动的标准，如果有一个统一的用户库，比如登录名、邮箱、身份证号码、手机号、IMEI地址、MAC地址等，来唯一标识一个用户，无论是哪里产生的数据，只要是第一次关联上来，后面就能对应上。\n\n第3章 数据\n\n63","previous_page":62,"next_page":64}