本帖最后由 Helloamy2014 于 2015-11-8 20:38 编辑
我的4G之路-《大数据》阅读记
"信息之于民主，就如货币之于经济。" -托马斯·杰斐逊(Thomas Jefferson)
Big Data这个词相信大家都不陌生。几乎都被讲烂了...
马云最近的演讲中天天都在提，还有有本详细介绍的书《大数据时代》，可惜我实在觉得太枯燥，即便在地铁这种阅读圣地也无法看下去。
上次去华工校友会的时候，一拨一拨超级牛的校友上去演讲，讲了啥东西我是一点都记不起来了。就记得其中有个演讲者说，非常有幸能够紧接着前一位演讲者之后上台，并提及相识即是因为读了其著作，即《大数据》、《数据之巅》。
前一位演讲者即是徐子沛。 我当时立即搜索了一下该两本书在豆瓣的书评，貌似还不错，于是马上购买。
刚开始看，就觉得作者很有创意。 大数据应用在各个行业,五花八门，而作者则是偏重从美国历史政治上的大数据应用的一些故事出发。
美国人是如何构建强大的数据帝国，能够让美国站在了全世界数据开放和创新的潮头浪尖。看完之后，你就明白，大数据在整个社会经济中的关键作用。
对于米国人民而言,帝国的数据从何而来?海量数据的源头在哪里?这些数据有什么用？
文中列举了美国总统选举中的民意调查、纽约的警察利用对案发的时间地点进行归类打击犯罪，这些就是最早的利用大数据的例子。 到后来的国家安全局对通话记录的跟踪找到本.拉登的蛛丝马迹。这些故事都显示了数据挖掘的魅力。
无处不在的微小计算设备和无处不在的互联网相结合，实现无处不在的信息自动采集、传递和计算，构成强大的数据帝国。 数据也构成了企业赢之道而被大量使用。 在专利可以模仿，创新越来越难的今天，以"低成本、高效率"的运作也许可以构成企业竞争的基础。于是，数据分析来优化企业的各个运营环节，通过基于数据的优化和对接，把业务流程和决策过程当中存在的每一分潜在的价值都"挤"出来。 有名的例子有沃尔玛超市的尿布和啤酒捆绑销售的故事。
除了在经济中，数据也在社会运动当中发挥作用，权力结构正在发生变化，政府数据的公开使得权利去中心化。文中举了一个有趣的例子，即奥巴马政府的Data.Gov的公共数据库公开。
从古至今，所有的政府，都带有保密、封闭的文化基因。但公民意识很强的美国人却向政府叫板，要求公开数据，甚至总统的访客记录。
迫于压力，政府之后主导了向全社会开放政府拥有的公共数据。虽然做不到全部数据的开放，不得不佩服美国人的创新精神，立马就有APP开发大赛出来。 参赛作品即使用Data.gov 开放的公共数据。即便开放的数据不多，但很快汇集了民间开发的1140 个应用程序和手机应用插件。
群众的创造力是无穷的。
其中就有针对美国交通部开放的全美航班起飞数据开发的航班延误系统，查看商品召回的应用，有基于一些手机运营商开放的用户消费的明细数据而设计出的专用算法，迅速为用户寻找到最经济的流量套餐。 甚至2010年西弗吉尼亚州的矿难中专业记者就利用利用煤矿公司的数据记录发现背后政府掩盖的复杂的事实。 政府数据的公开成为提高政府透明度政府，打击腐b的利器。
读到这里，我一方面佩服美国人的公民意识，创新来自于民间。 一方面想到，俺之前参加过一些互联网的交流，逢人就是听说在做APP，想要圈钱。偶尔有次去车库咖啡，有个人跟我说，他们想做一个基于星座配对的APP，并且说了一大堆基于星座的社交，连后头的婚姻咨询、心理咨询服务、离婚服务都给想好了。瀑布汗哪... 俺当时就问，你们如何获得这些相信星座配对的用户数据呢？谁会用这个东东呢？反证俺是觉得不太靠谱啊。 国内这些大大小小的想做APP的人是否可以参考一下美国人基于已有数据做出来的APP？ 这就是传说中的C2C(Copy to China)吧？
当然穿插在这些故事中，作者提及了数据处理的历史。
怎么才能让数据流动得更好、管理得更好、分析得更好? 首先就是数据仓库的构建，它可以形象地理解为一种格式一致的多源数据存储中心，数据源可以来自多个不同的系统，如企业内部的财务系统、人力资源系统，但其数据可以按统一定义的格式被提取出来，再通过清洗、转换、集成，最后百流归海，加载进入数据仓库。这个提取、转换、装载数据的过程，目前已经有很多数据提取工具（ETL）在做这个事情。
再说说数据的分析。大家是否还记得我们N年前的大学学的数据库，其中就讲到了关系型数据库。 我现在还略微记得就是一个问答方式，即根据用户指定的条件，返回“一对一”的查询结果。显然需要由软件开发人员将最常见的问题定制在软件中。没有定制的问题，系统就无法回答。这种方式比较静态的、固定。
后来又衍生出联机分析，用户可以自己随时创建自己所需要的报表，开发人员只需要预先为用户在后台构建多维的数据立方体( Cube) 。一且多维立方体建模完成，用户可以在前端的各个维度之间自由切换，并可以从不同的维度、不同的粒度对数据进行分析
之后，就是真正给数据带来智能生命的数据挖掘的兴起，即前文提及的尿布和啤酒捆绑销售量双双增加。这种风马牛不相及的数据发现带来了经济效益。
但随着商业竞争的白热化，更加高端的数据挖掘也开始初现端倪。
例如，之前说的为什么你无法收到宝马推送广告的事情。如果你每天9点之后用滴滴打车回到回龙观或者天通苑，你就是不太可能收到宝马产品的推送...道理你懂的。 还有就是，我觉得可以挖掘一下大家在朋友圈晒各种美食自拍，应该可以通过得到相比美团评价而言更加可靠的餐厅推荐。
可见，“大数据”之“大”并不仅仅在于其“容量之大”，更多的含义是人类可以分析和使用的数据。通过这些数据的交换、整合和分析，人类可以发现新的知识，创造新的价值。
关于未来： 1)语义网：大数据时代将重构互联网。 数据不再是死的数字，而是有一定的含义，可以和其他数据关联起来。终有一天，全球将数数相联。 就像浏览网页己经成为我们的生活方式一样，数据在网上的自动整合和跳转，将会成为我们新的生活方式。通过这种新的方式，互联网将向我们"推送信息而不再是我们在网上“搜索”信息。 有兴趣的同学可以观看TED演讲《万维网之父谈下一代网络》。
2)自我量化，数据将驱动个人新生活。 即人类利用计算机、智能手机以及各种新的电子便携感应器来记录自己学习、工作、 运动等。从大家携带的各种手环就可以看到。
3）数据竞争将作为企业赢之道。 前文已经提及，在创新越来越难的今天，节约成本、能够始终保证自己以“数据最优”的方式运营的公司将会在竞争中坚持到最后。
4）后信息时代的最大特点将是创新。 如果信息人皆可得，创新将走向民主化，集中表现为终端用户的创新、普通大众的创新。
以上是我的阅读记录。总之，该书不是那么枯燥，想要了解大数据的同学们可以先从本书入手吧。 P.S. 舍不得花钱的同学可以找我要电子版:) | 
18
发表于 2015-10-12 10:35:34
