--- schema_version: "library-reader-v1" source_type: "original_book" title: "人工智能与大数据技术导论" author: null edition: null publisher: null year: null isbn: "9787302517986" library_document_id: "cd4f7678-cd9b-4971-bde0-e9ad46a6cc71" source_sha256: "5011cdcf83cd5e047c93a1ce7465f970fc88be69c93b94be3d7fa5fbddbb43f0" pdf_physical_page_count: 490 pdf_physical_page_index_base: 0 range_start: 140 range_count: 10 html_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71?start=140&limit=10" markdown_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=140&limit=10" previous_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=130&limit=10" next_url: "https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=150&limit=10" --- # 人工智能与大数据技术导论 > 页码规则：PDF_PHYSICAL_PAGE_INDEX 是从 0 开始的权威文件物理页索引；PRINTED_PAGE 是页面中识别出的印刷页码，可能为空，二者不得混用。 ## PDF_PHYSICAL_PAGE_INDEX=140 | PRINTED_PAGE=124 数据存储与管理、数据分析与挖掘、数据运维及数据应用几个环节，覆盖了数据从产生到应用的整个生命周期。 1. 数据标准与规范 大数据标准体系是开展大数据应用的前提条件，没有统一的标准体系，数据共享、分析、挖掘、决策支持将无从谈起。大数据标准包括体系结构标准、数据格式与表示标准、组织管理标准、安全标准和评测标准。在标准化建设方面，参与单位主要包括各个行业的标准化组织。 2. 数据安全 随着海量数据的不断增加，对数据存储和访问的安全性要求越来越高，从而对数据的访问控制技术、加密保护技术以及多副本与容灾机制等提出了更高的要求。另外，由于大数据处理主要采用分布式计算方法，这必然面临着数据传输、信息交互等环节，如何在这些环节中保护数据价值不泄露、信息不丢失，保护所有站点的安全是大数据发展面临的重大挑战。在大数据时代，传统的隐私数据内涵与外延有了巨大突破和延伸，数据的多元化与彼此的关联性进一步发展，使得对单一数据的隐私保护变得极其脆弱，需要针对多元数据融合的安全提出新的要求。 3. 数据采集 政府部门、以BAT为代表的互联网企业、运营商是当前大数据的主要拥有者。除此之外，利用网络爬虫或网站公开API等途径对网络数据进行采集也是大数据的主要来源。现实世界中的数据大多不完整或不一致，无法直接进行数据挖掘或挖掘结果不理想，需要对采集的数据进行填补、平滑、合并、规格化、检查一致性等数据预处理操作，并且往往需要大量的人工参与，因此数据采集和清洗成为大数据产业链的一个重要环节。 4.数据存储与管理 大数据存储与管理主要基于Hadoop和MPP。各家企业针对大数据应用开展各具特色的数据库架构和数据组织管理研究，形成针对具体领域的产品。 人工智能与大数据技术导论 124 ## PDF_PHYSICAL_PAGE_INDEX=141 | PRINTED_PAGE=125 5. 数据分析与挖掘 大数据分析与挖掘的意图主要集中在两方面：一是从大量的机构结构化和半结构化数据中分析出计算机可以理解的语义信息或知识；二是对隐性的知识（如关联情况、意图等）进行挖掘。常用的方法包括分类、聚类、关联规则挖掘、序列模式挖掘、时间序列分析预测等。数据分析与挖掘的能力直接决定了大数据的应用推广程度和范围，是大数据产业的核心。 6. 数据运维 由于数据的重要性得到普遍认可，除政府部门不具备数据运维服务条件外，数据的采集者通常就是数据运维者。各地政府则通常利用大数据平台建设来推动政府大数据的公开与共享，吸引个人和企业用户开展创新与创业，积极推动大数据的增值服务。 7. 数据应用 大数据对传统信息技术带来了革命性的挑战，正在重构信息技术体系和产业格局。国内企业在国际先进的开源大数据技术基础上，形成了独立的大数据平台构建和应用服务解决方案，以支撑不同行业、不同领域的专业化应用。虽然BAT企业在平台构建上有着得天独厚的优势，但是在某些具体的业务领域，并不擅长或者关注。传统企业以及从事大数据的微型企业是具体业务领域大数据应用的主力军。应用是大数据价值的体现，是大数据发展的原始推动力。当前大数据的应用正倒逼软件技术、数据架构、数据共享方式的转变，在这个过程中需要积极转变思想，明确数据共享的方式是什么，数据拥有者的利益如何平衡，商业模式如何开展，等等。 目前来看，许多企业在大数据产业链里仅拥有一项或两项能力是完全不够的，只有将大数据产业链融合连通才能催生更大的市场和利润空间。在大数据推动的商业革命浪潮中，只有打通数据流通变现的商业模式才能创造商业价值，从而在大数据驱动的新生代商业格局中脱颖而出。 3.8 政府大数据案例分析 这些年来，我国非常重视大数据产业的发展，早在2014年，“大数据”便被写入《政府工作报告》。而在2016年3月，“十三五规划纲要”的发布，更是提出了“实施国家大数据战略”，正式将大数据提升至国家战略层面。到了2016年7月，《促进大数据发展行动纲要》发布并提出，2018年底前建成国家政府数据统一开放平台，进一步推动数据互通互联。中共中央政治局2017年12月8日下午实施国家大数据战略进行第二次集体学习。中共中央总书记习近平在主持学习时强调，大数据发展日新月异，我们应该审时度势、精心谋划、超前布局、力争主动，深入了解大数据发展现状和趋势及其对经济社会发展的影响，分析我国大数据发展取得的成绩和存在的问题，推动实施国家大数据战略，加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国，更好地服务我国经济社会发展，改善人民生活。 大数据产业已经热了5年，今天所面临的最大问题依然是数据源。内部数据源主要面临的是治理、标准化和互通等问题，外部数据源主要面临的是开放、流通和保护等问题。工业和信息化部通信发展司副司长陈家春曾表示，中国的数据总量增长速度迅猛，预计到2020年将占全球的21%，我国正向着数据资源大国的方向前进。不过，此前由于政策法规的不完善以及数据标准不统一等因素，造成我国虽然数据资源丰富，却无法实现这些资源的有效共享和应用。如今，政务信息共享交换平台的建设将有望破解这些大数据资源的瓶颈。在我国，政府部门掌握着全社会量最大、最核心的数据。了解政府大数据应用的案例和数据价值释放的方法将有利于激活沉睡的数据，释放政府数据的价值。 第3章 数据 125 ## PDF_PHYSICAL_PAGE_INDEX=142 | PRINTED_PAGE=126 利用大数据技术实现政府各业务部门产生的业务数据、社情民意数据、环境数据以及社会数据等结构化数据和非结构化数据的汇聚和落地存储，并进行质量治理、挖掘融合、深度学习，形成基础库、主题库、共享库、开放库等，通过数据管理门户、数据开放门户共享开放给政府部门和社会大众，为政务大数据应用提供计算、分析、展示等基本能力服务，为政府及社会提供共享交换、数据增信、金融创新等数据增值服务。 3.8.1 政府有哪些数据资源 政府的数据资源主要包括以下两个方面。 ●政府所拥有和管理的数据，如典型的公安、交通、医疗、卫生、就业、社保、地理、文化、教育、科技、环境、金融、统计、气象等数据。 ●政府工作开展产生、采集以及因管理服务需求而采集的外部大数据(如互联网舆论数据)。 从政府“拥有或控制”的角度来讲，政府数据资产大致可分为5类，分别如下。 ●政府资源才有权利采集的数据，如资源类、税收类、财政类等。 ●政府资源才有可能汇总或获取的数据，如建设、农业、工业等。 ●因政府发起才产生的数据，如城市基建、交通基建、医院、教育师资等。 ●政府的监管职责所拥有的大量数据，如人口普查、食品药品管理等。 ●政府提供的服务的客户级消费和档案数据，如社保、水电、教育、医疗、交通路况、公安等。 3.8.2政府大数据应用案例 政府在建设和应用大数据的过程中有独特的优势。政府部门不仅掌握着80%有价值的数据，而且能最大限度地调动社会资源，整合推动大数据发展的各方力量。政府作为大数据建设和应用的主导力量，积极应用大数据决定着能否发挥大数据隐含的战略价值，对行业来说具有引领性作用。以下是一些政府大数据的应用案例。 1. 工商部门 ●企业异常行为监测预警 重庆依托大数据资源探索建立注册登记监测预警机制，对市场准入中的外地异常投资、行业异常变动、设立异常集中等异常情形进行监控，对风险隐患提前介入、先行处置，有效遏制虚假注册、非法集资等违法行为。同时，积极推动法人数据库与地理空间数据库的融合运用，建设市场主体分类监管平台，将市场主体精确定位到电子地图的监管网格上，并集成基本信息、监管信息和信用信息。平台根据数据模型自动评定市场主体的监管等级，提示监管人员采取分类监管措施，有效提升监管的针对性和科学性。 人工智能与大数据技术导论 126 ## PDF_PHYSICAL_PAGE_INDEX=143 | PRINTED_PAGE=127 ●中小企业大数据服务平台精准服务企业 山西省中小企业产业信息大数据应用服务平台依托大数据、云计算和垂直搜索引擎等技术，为全省中小企业提供产业动态、供需情报、会展情报、行业龙头、投资情报、专利情报、海关情报、招投标情报、行业研报、行业数据等基础性情报信息，还可以根据企业的不同需求提供包括消费者情报、竞争者情报、合作者情报、生产类情报、销售类情报等个性化定制情报，为中小微企业全面提升竞争力提供数据信息支持。 2. 规划部门 ●运营商大数据助力城市规划 重庆市綦江区规划局委托上海复旦规划建筑设计研究院及重庆移动共同开展，利用重庆移动相关数据及綦江相关统计年鉴数据对綦江中心城区人口、住宅、商业、公共服务配套等进行大数据分析，量化綦江房地产库存，从城市建设角度提出改进策略，完善城市功能，促进城市健康发展。据介绍，重庆移动率先将手机信令数据引入城市规划，通过建立人口迁移模型，提供2013-2015年期间綦江区人口的流入流出情况（包括国际、省际、市内流动），建立职住模型提供綦江区居住及工作人口的分布，通过监控道路周边基站人口的流动情况，反应綦江区全天24小时道路人口的流动情况，识别出各个时段道路的堵点。 3. 交通部门 大数据助力杭州“治堵” 2016年10月，杭州市政府联合阿里云公布了一项计划：为这座城市安装一个人工智能中枢——杭州城市数据大脑。城市大脑的内核将采用阿里云人工智能技术，可以对整个城市进行全局实时分析，自动调配公共资源，修正城市运行中的问题，并最终进化成为能够治理城市的超级人工智能。“缓解交通堵塞”是城市大脑的首个尝试，并已在萧山区投入使用，部分路段车辆通行速度提升了11%。 4.教育部门 ●徐州市教育局利用大数据改善教学体验 徐州市教育局实施“教育大数据分析研究”，旨在应用数据挖掘和学习分析工具，在网络学习和面对面学习融合的混合式学习方式下，实现教育大数据的获取、存储、管理和分析，为教师教学方式构建全新的评价体系，改善教与学的体验。此项工作需要在前期工作的基础上，利用中央电化教育馆掌握的数据资料、指标体系和分析工具进行数据挖掘和分析，构建统一的教学行为数据库，对目前的教学行为趋势进行预测，为“徐州市信息技术支持下的学讲课堂” 第3章 数据 127 ## PDF_PHYSICAL_PAGE_INDEX=144 | PRINTED_PAGE=128 提供高水平的服务，并能提供随教学改革发展一直跟进、持续更新完善的系统和应用服务。 5. 医疗卫生部门 ●微软助上海市浦东新区卫生局更加智能化 上海市浦东新区卫生局在微软的帮助之下，积极利用大数据推动卫生医疗信息化走上新的高度：公共卫生部门可通过覆盖区域的居民健康档案和电子病历数据库快速检测传染病，进行全面的疫情监测，并通过集成疾病监测和响应程序快速进行响应。与此同时，得益于非结构化数据分析能力的日益加强，大数据分析技术也使得临床决策支持系统更智能。 6. 气象部门 ●气象数据为理性救灾指明道路 大数据对地震等“天灾”救援已经开始发挥重要作用，一旦发生自然灾害，通过大数据技术将为“理性救灾”指明道路。抓取气象局、地震局的气象历史数据、星云图变化历史数据以及城建局、规划局等的城市规划、房屋结构数据等数据源，通过构建大气运动规律评估模型、气象变化关联性分析等路径，精准地预测气象变化，寻找最佳的解决方案，规划应急、救灾工作。 7. 环保部门 ●环保部门用大数据预测雾霾 微软在利用城市计算预测空气质量上已推出UrbanAir系统，通过大数据来监测和预报细粒度空气质量，该服务覆盖了中国的300多个城市，并被中国生态环境部采用。同时，微软也已经和部分其他中国政府机构签约，为不同的城市和地区提供所需的服务。该技术可以对京津冀、长三角、珠三角、成渝城市群以及单独的城市进行未来48小时的空气质量预测。与传统模拟空气质量不同，大数据预测空气质量依靠的是基于多源数据融合的机器学习方法，也就是说，空气质量的预测不仅仅看空气质量数据，还要看与之相关的气象数据、交通流量数据、厂矿数据、城市路网结构等不同领域的数据，不同领域的数据互相叠加、相互补强，从而预测空气质量状况。 8. 文化旅游部门 ●山东省用旅游大数据带动农村经济发展 山东将省内公安系统、交通系统、统计系统、环保系统、通信系统等十余个涉旅行业部门联合，整合全省旅游行业的要素数据，开发完成旅游产业运行监测管理服务平台。通过管理分析旅游大数据，提升景区管理水平，挖掘省内旅游资源，开发更多符合游客需求的景点以及“农家乐”乡村旅游服务，进而带动景区，特别是农村地区的经济发展。 9. 政法部门 ●济南公安用大数据提升警务工作能力 浪潮帮助济南公安局在搭建云数据中心的基础上构建了大数据平台，以开展行为轨迹分 人工智能与大数据技术导论 128 ## PDF_PHYSICAL_PAGE_INDEX=145 | PRINTED_PAGE=129 析、社会关系分析、生物特征识别、音视频识别、银行电信诈骗行为分析、舆情分析等多种大数据研判手段的应用，为指挥决策、各警种情报分析研判提供支持，围绕治安焦点能够快速精确定位、及时全面掌握信息、科学调度警力和社会安保力量迅速解决问题。 ●上海利用大数据助百姓找律师 2016年底，上海市律师协会开发的上海市律师行业信用信息服务平台上线，整合上海市司法局法律服务行业信息平台、上海市人民法院律师诉讼服务平台、上海市人民政府公共信息信用平台三大权威数据来源，通过对法院已经公开的裁判文书数据进行大数据分析，自动梳理出律师以往诉讼代理的情况，方便百姓、企业以及政府机构等查找律师，促进法律服务信息透明对称，推动法律服务市场良性竞争。信用信息数据库中包括基本信息、执业信息、奖惩信息、业务信息和社会服务信息五大方面。平台信息分为法定公开、行业公开、自愿公开三种，并对信用主体提供了多角度的信息展示。对于信用主体自行申报的信息，上海律协在形式审查后会标注明确的告知事项，向社会公布，接受社会的监督。 10. 农业部门 ●农业大数据在三农中的应用 某公司以积累的涉农基础数据为起点，开展农村普惠金融服务和供应链金融服务，以一个大数据平台加两个应用系统（农资经销商系统和新农人系统），帮助新型经营主体、农资经销商解决规模、资金和效率三大难题，并借此收集农业生产中的动态数据，将服务延伸到农业全产业链中的其他七大市场农业金融、农产品流通、农机服务、农技服务、农事服务、土地流转服务、农业物联网，打造农业大数据生态链闭环。 ●美国企业：大数据预测农作物生长 美国在农业大数据领域不乏创新公司。2006年，两名前谷歌员工创立了ClimateCorporation。该公司通过海量公开的国家气象服务数据，重点研究全美范围内的热量与降水类型。通过这些数据与美国农业部积累的60年农作物产量数据进行分析，从而预测玉米、大豆、小麦等农作物生长。同时，通过实时气象观察与跟踪，公司在线上向农民销售天气保险产品。从2007年开始，ClimateCorporation持续获得了17个投资人4轮1.08亿美元的投资，公司2013年被著名农业公司孟山都以9.3亿美元的价格收购。 11. 财税部门 ●无锡地方税务局应用大数据进行税收监管 无锡地方税务局自2013年起就着手研究大数据时代对税收管理发展带来的影响，探讨大数据技术应用于税收风险管理的前景，并建设了“无锡地税涉税情报分析管理平台”作为信息化支撑，着重研究行业、事项和大企业三类税收管理领域，通过从互联网上收集与纳税人有关的各类数据，经处理后与征管系统中的信息进行分析、比对，产生风险疑点实施推送应对。值得注意的是，相比国内，美国政府的税务大数据应用场景要具体得多。自2012年起，美国联邦及州的税务部门就开始尝试应用大数据技术寻找偷税、骗税行为的共同特征来打击逃税。美国税务局(InternalRevenue Service，IRS）对纳税人申报信息与各种公开信息记录进行比较，特别针对申报表中的税前列支内容、退税信息创建了大量算法，寻找其中的疑点。仅就2011年度的纳税申报，就发现了36亿美元的虚假税前列支，并发现超过3%的退税存在欺诈行为。 第3章 数据 129 ## PDF_PHYSICAL_PAGE_INDEX=146 | PRINTED_PAGE=130 金融证券 针对金融证券领域高频算法交易、数据综合分析、违规操作监管、金融研究报告交易、金融数据服务等方面的需求，建设了金融大数据分析与智能决策支持系统。汇聚融合国内外证券及相关衍生品市场的高通量交易数据，整合行业媒体实时资讯与舆情，为相关机构提供金融监管和风险管控等智能决策支持，为投资者提供金融市场数据和经济数据、投资方向等个性化的金融数据服务。 12. 人社部门 ●镇江市打造劳动保障监察“大数据”维权监管体系 江苏省镇江市人社局牵头整合就业、社保、监察、人才培训及税务、工商、民政、公安等数据资源，形成全市“信息共享、网格联动、预防处置、指挥调度”劳动关系智能化预警监控“信息链”。通过信息数据库的比对，市人社部门可以第一时间发现并纠正企业劳动保障违法行为，改变了以往单靠劳动保障监察部门处理案件的被动局面，促进了全市劳动关系的和谐稳定。 13. 民政部门 以群众办理低保手续为例，以前居民办理低保要提交各种申请，先给社区，社区给县区审核，县区再给市里的民政局，通过它的系统来录入。之后国家民政部下面的系统去核对，一层层下来将近一个月。现在把政务服务系统（比如车管所系统）和民政部的低保系统打通，一周就可以办，市民只要跑一次。如果通过数据比对发现居民在车管所的数据显示有车，那么肯定不符合办理低保的手续，这样可以一次性排除掉审核对象，也同时为公职人员减轻了工作负担。所以，数据的打通能够给政府和百姓双方都带来极大的便利。 3.8.3政府大数据面临的挑战 政府大数据面临着诸多挑战，譬如各自为政、条块分割、烟囱林立、信息孤岛；系统数量多、分布散、缺乏统一规划和标准规范、信息资源纵横联通共享难，导致政务服务中标准不统一、平台不连通、数据不共享、业务不协同等后果，造成了数据散、少、乱、差、死的困境，最根本的原因是系统庞杂、数据混杂、网络复杂、管理乱杂等。政府大数据建设的核心是打破信息壁垒，通过信息共享互通提高效率，将一个个“信息孤岛”有效地串联起来，形成城市大数据平台。依托大数据，形成以智慧城市基础设施为依托，以大数据平台为信息中枢，以人工智能技术产品应用为媒介的分析系统。 政府大数据在数据资源标准、共享、应用、评价以及数据资产转化方面面临着严峻挑战，因此需要从保障数据流动性的角度来重构信息体系，从关注流程和业务逻辑的角度转向关注数据流动性和数据价值，遵从信息流动的内在逻辑，发挥数据的最大价值，提高数据复用率。城市大数据发展应遵从四大准则，首先，城市信息资源是国家资源，非某个政府部门更非某个人所有；其次，共享开放是原则，非共享开放是例外（重点在提高复用率）；再次，数据元标准化是前提；最后，数据与系统分离是趋势。所以，我们要在数据采集源头、数据元标准、安全管控规则、数据开放能力及数据运营能力方面助力大数据发展。 人工智能与大数据技术导论 130 ## PDF_PHYSICAL_PAGE_INDEX=147 | PRINTED_PAGE=131 国务院办公厅印发的《政务信息系统整合共享实施方案》要求消除“僵尸”系统、加快政务部门内部信息系统整合共享、政务信息资源目录编制和全国大普查、推进国家政务网共享平台和网站建设、加快国家数据开放平台和网站建设、规范建设互联网上的政务服务平台和网站、全国联动开展“互联网+政务服务”等，对政务信息资源元数据的类型、共享属性、开放属性的界定做了分析，对政务信息资源目录梳理编制的工作流程、规范等进行了界定。 总之，政府大数据的建设首先是建设云计算中心，将各个行业搬到云上。然后整合政府各部门的数据，形成政府部门数据共享，利用云计算和大数据形成政府大数据平台。与此同时，政府选择城市大数据运营商，帮助政府达到本地化独具特色的智慧城市目标。 3.8.4 政府大数据应用启示 数据是基础性资源，也是重要生产要素。如何管理政府大数据资产，我国各部门还缺乏统一标准，如何利用大数据进行精细分析，仍处于探索起步阶段，应用分散。分析我国政府大数据应用的现状和特点，借鉴国外的有益经验，推动我国政府大数据的应用，应着重从以下几个方面开展。 1. 建设政府数据开放平台，做好政府数据资产整合与管理 政府数据资产到底有多大价值？按照麦肯锡给出的测算方法，北京市政府部门数据开放的潜在价值可达3000亿元\~5000亿元，按此推算，全国政府部门数据开放的潜在价值可达10万亿元\~15万亿元。 鉴于政府数据的巨大价值，美国、新加坡、英国都已经建成国家层面的数据开放平台。在我国，上海、北京、广州、武汉等地相继建立开放数据平台，在数据公开方面做了有益的尝试，但在数据开放数量和质量上与国外还有很大差距许多信息支离破碎，且使用的格式各异，用户搜寻信息并进行统一处理的难度很高。建设统一的政府数据开放平台，整合所有的政府公开数据，将之以统一的数据标准与数据格式进行发布，并为开发者提供API接口，可以大大提升公众对政府数据的使用效率。 建设政务数据资源目录平台，这是一个政府内部数据共享的平台，政务数据按照共享程度分为无条件共享、有条件共享和不予共享三种类型。只有无条件共享的数据才会对公众开放。政府部门的数据打通有助于服务于智慧城市的建设。所谓智慧城市，是指政府利用先进的信息和通信技术手段对城市运行的各项数据进行监测、分析和整合，从而为民生、环保、交通、工商业等领域的活动提供更加智能的服务。 打破信息孤岛，对已有的政务数据进行交换、共享、溯源，整合基础资源库和各电子政务系统的相关信息，建立数据分析模型，对重要民生领域相关数据进行挖掘分析，并将结果及时推送给相关部门，为政府决策和管理提供数据支撑。逐步向社会开放交通、医疗、教育等重点领域公共数据资源。 第3章 数据 131 ## PDF_PHYSICAL_PAGE_INDEX=148 | PRINTED_PAGE=132 2. 以需求为导向，推动大数据服务民生 政府数据本质上是国家机关在履行职责时所获取的数据，采集这些数据的经费来自于公共财政，因而这些数据是公共产品，归全社会所有，应取之于民，用之于民。因此，政府大数据必须充分考虑到老百姓的实际需求，而不仅仅是将原来分散管理的业务数据集中起来提供给政府部门内部办公使用。例如，近年来各地政府部门推广实施“一号一窗一网”，将大数据引入政府治理，解决群众“办证多、办事难”等问题，就是通过数据资源畅通流动、开放共享，推动政府管理体制、治理结构更加合理优化、透明高效。 3. 鼓励数据开放，引导社会力量开发数据应用产品 在大数据时代，对于政府来说，一方面应建设政府大数据，实现政务数据资源的公开和共享；另一方面应承担起引领、推动大数据产业发展的使命。通过开放政府数据，供社会进行增值开发和创新应用，可以激发大众创新，万众创新，推动大数据产业发展。这方面美国的经验值得借鉴。在政府大数据应用方面，美国重视启发民智，鼓励公众对大数据的应用。一方面，政府、社会与企业可以从Data.gov免费下载数据，还可以利用Data.gov提供的API实现丰富的第三方应用的开发；另一方面，基于Data.gov，美国政府还建设了Apps.gov，面向全国所有政府部门提供政府公用云服务，并整合了一系列的应用程序，实际上类似于一个政府的应用程序商店。仅仅在Data.Gov网站上就汇集了几千个应用程序和软件工具。其中，有近300个是由民间的程序员、公益组织等社会力量自发开发的。 人工智能与大数据技术导论 132 ## PDF_PHYSICAL_PAGE_INDEX=149 | PRINTED_PAGE=NOT_DETECTED 第4章 机器学习概述 从1956年达特茅斯会议“人工智能”这一概念被提出，到现在已经有62年，这期间经过了多个阶段。2010年以后，随着深度学习使得语音识别、图像识别和自然语言处理等技术取得了惊人发展，前所未有的人工智能商业化和全球化的浪潮席卷而来。总的来说，人工智能是最早出现的概念，其次是机器学习，最后出现的是深度学习，是当今人工智能大爆炸的核心驱动（见图4-1）。 4.1 走进机器学习 大数据是怎么与图像识别、语音识别等具体的AI技术联系起来的呢?靠的就是机器学习。 4.1.1 什么是机器学习 机器学习（MachineLearning）是让机器从大量样本数据中自动学习其规则，并根据学习到的规则预测未知数据的过程。以上是机器学习的一个定义。如果你在网上搜索“机器学习”你会看到很多版本的定义。毕竟，越是火热的词汇，人们越难给它下一个精准而权威的定义。在机器学习的众多定义中，我们认为这个定义是相对让初学者容易接受的一种说法。这个定义中的关键字是“学习”二字。机器学习的目标是发现数据中暗藏的规律，并由此来对未知进行预测。这个过程要通过“学习”来实现，而学习用到的材料则是数据。 4.1.2 机器学习的感性认识 如果你是第一次接触机器学习，其实机器学习离你绝不遥远。机器学习可以类比小孩认知事物的过程，只不过这里的认知过程是交给机器来完成的，让机器发现事物的规律。在我们小的时候，我们对周边的事物还并不了解，不知道什么是苹果，什么是猫，什么是汽车。但在经过某种“训练”之后，我们逐渐能够自信而准确地判断出我们看到的、听到的、感知到的东西是什么。这个“训练”可能来自外部的教导，也可能源自于我们自身的探索和尝试。 下一段：[继续读取](https://workshop.closeclaw.top/api/ai/read/cd4f7678-cd9b-4971-bde0-e9ad46a6cc71.md?start=150&limit=10)