转载！原文链接！http://www.itpub.net/thread-1893829-1-1.html

欢迎大家做客第97期名人堂，我是主持人皮皮。有人把数据比作新的石油，认为大数据将彻底改变人类文明的发展脉络，重塑我们对于世界、对于生活的认知。互联网的对决不再止于速度，深度的较量将越演越烈,而如何挖掘数据这座巨大而未知的宝藏，让数据会说话，成为了时下企业扭转乾坤的关键突破口。

谭磊曾经说过，“数据是最底层的东西，它是0和1，是对事物最原始的记录，数据之上才有信息。”如果说内容为王是媒体行业经久不衰的秘诀，那么数据为王则是互联网企业决战大数据时代的枪支弹药。本期我们很荣幸邀请到了数据分析挖掘专家谭磊（社区ID：SeattleRaymond）做客名人堂，为我们分享大数据的真知灼见。

皮皮（Q1）：谭老师，您好！我了解到您在美国微软总部服务了13年，后回国创业，可见您的人生阅历很丰富，能否和我们介绍下自己？在人生的道路上，您有哪些心得体会？能否和我们分享下您的故事？

谭磊（A1）：我人生的前28年是非常顺利的，除了考初中和TOEFL、GRE之外，高中和大学是直升的，就连研究生班也是直升的。我在复旦读研一的时候，拿到了美国杜克大学的全额奖学金去读博士，在1995年我也是学校唯一一个通过微软面试去做实习的博士生。进了微软之后，我的仕途也一帆风顺，每年升一个级别，很快就开始带团队做项目了。

不过正因为一开始就特别顺利，在过去的二十年职业生涯中，我犯过非常多的错误。等到哪天我功成名就了，我会写一本《Raymond的99个错误》，希望大家能从我过往的失败中吸取教训。

在这里，我给大家分享一个小故事。小时候盖茨是我的偶像和榜样，当我刚进微软的时候，我就和大家说过，我进微软就是因为Bill Gates。哪一天他离开，也就是我离开的时候。结果在13年之后的2008年，在盖茨向全公司宣布他要离开微软的之前的几个小时，我群发邮件给我微软所有的朋友们，宣布那天是我在微软工作的最后一天，虽然当时我也并没有完全想好打算要做什么。

我一直都喜欢数字的游戏，在美国的时候经常去拉斯维加斯，一边在玩，一边在计算每种不同玩法对应的赌场胜率（odds）以及每笔赌注的投资回报率。和别的去赌场的人心态不同，在去之前我就定好一个数额，比如$5000，这笔钱会花在拉斯维加斯。“What happens in Vegas，Stay in Vegas.”如果输了，那就最多$5000。如果赢了，也在当地花掉，不带回来。这样的话， 赌场就变成了娱乐。你可以这么想，每小时花$30，在这么好的场地，请这么多人陪你一起玩，太合算了。注一下，如果玩每把$50的21点，平均每小时庄家会发60轮牌，按照正常的打法，赌场的胜率在51%，也就是平均每小时赌场会从我身上赚$30。

在美国让我最难以接受的地方就在于节奏太慢了。而反过来看中国，大家的想法很多，机会非常多，而有执行力的人也不少。我有时候在想，应该和唐骏或者熊明华他们一块儿回来的。不过换一种心态来想，一切都很释然了。我们今生在什么时间什么环境会遇上什么样的人，发生了什么事儿，是冥冥之中注定的，过去的一切都是积累。如果没有这些年在微软的沉淀和努力，我对于数据和技术的理解恐怕难以达到这么深的高度。如果之前没有在青岛和北京做过一段时间，我不会下决心杀回国内。如果不是在杭州结识了一群兄弟，我也不会在网络营销上有实际操作的经验。

皮皮（Q2）：很多人认为数据是死的，人是活的，数据分析到底是一种艺术还是一门科学？

谭磊（A2）：准确地说，数据分析不只是艺术，也不只是科学，而是用来帮我们做决策的一种手段和方法。在现有数据上做数据分析，只要统计学毕业的同学就能胜任了，而随着今天各种工具的出现，具有数据分析和商业运营背景的同学也能做数据分析了。不过，要真正把数据分析做好，其终极目标是要做基于数据的运营。

谈到数据分析，我想举一个司空见惯的例子。一旦你曾经在搜索引擎上搜索过某一件东西，你的互联网世界里都将离不开这个东西的影子，它的广告图片会出现在你浏览的网站上。只因为你之前输入了搜索关键字，这些图片的针对性是很强的，而出现得太多就让人厌烦了。图片的出现是数据分析，而图片出现的频率可能就接近艺术了。

每个公司都有很多自己的数据，极少数公司能够充分用好这些数据，有些公司能够通过这些数据做一些分析，而绝大多数公司的数据都是沉睡在那里的。2014年大连的iTechClub峰会上，我和大家说过这样一个事情：其实每家公司，包括在座的百度、阿里、腾讯、360、乐视和京东等等，其实都需要一个mini-Raymond，把数据真正使用起来。这个意思并不是说我有多强，而是说当你想要使用数据的时候，你需要把技术、商业和运营都考虑在内。数据是基础，商业是土壤，而运营是在这之上，真正让数据产生价值的东西。单纯的数据科学家或者业务专家是不可能成为CDO的。

皮皮（Q3）：在大数据的时代里，数据是一个让企业很纠结的话题，数据挖掘的世界既是地雷阵，同时又是金矿，如何在海量的数据里挖掘出有价值的数据为已所用？有没有捷径可走？能否结合一些实际场景为我们分享下数据挖掘的流程？

谭磊（A3）：在数据分析和数据挖掘中当然有捷径。我是双子座，捷径是我的专利。 我曾经帮一些朋友的企业做过咨询，教他们如何用好他们自己公司的数据，如何构建自己的数据仓库，采集哪些数据点和做什么样的分析。如果你有合适的人来做企业的数据分析，其实地雷阵的问题是可以避免的。

数据挖掘的基本流程其实是很简单的。虽然我写的两本关于大数据挖掘的书尽量用白话来写，还是有读者向我反馈说还是有难度。我打算过一段时间和朋友合作，写类似于《24小时读懂数据分析》这样的书，希望能让更多的朋友了解为什么数据挖掘是金矿，以及如何从数据中发现价值。

数据挖掘的过程是有一个大概的流程的，例如CRISP-DM就是数据挖掘流程的一个标准。我拿一个朋友的咖啡馆来举例，她要解决咖啡馆的盈利问题，然后就开始收集数据。收集的数据包括每天进什么样的原料、会有哪些客户群体以及每个客户点了哪些东西。做完数据收集之后的下一个步骤是做数据清洗，把其中属于她夫妇二人买单的部分清除掉。之后就是建立数据模型，看每种原料在哪些产品中是被用到的，以及它们的使用情况。然后她就发现鲜牛奶的使用和外部蛋糕的采购是有问题的，这就是数据挖掘的分析阶段。当在日常运营中通过一些规则处理了这两个问题，咖啡馆的盈利状况就有明显的改善，这就是数据在商业中的应用。

数据挖掘和数据分析的本质就在于商业运营上的价值，不以商业逻辑为重点的数据分析师毫无意义的。

皮皮（Q4）：很多互联网企业都很看重广告这块市场，比如中国的百度和巨无霸Google，社交网站Facebook，还有广告联盟，它们是如何通过数据来做到精准营销的？

谭磊（A4）：从有互联网开始，一直到今天，广告收入一直都是互联网收入的主要来源，在你提到的百度、Google等公司中，广告收入都占到90%以上。我们以Google为例，Google的收入主要来源是AdSense和AdWords，前者是Google网站联盟的广告，而后者是在Google上的搜索排名。只要在浏览器上有Google的cookie存在，当你用Google做搜索的时候，Google后台会记录你的搜索行为，那么当你访问的网站上的广告是由Google提供的时候，Google就能判断你是谁，根据你之前搜索的结果，给你推送相应的广告。所以说跨网站精准营销的基础第一在于海量的网站基数和海量的广告主。比如说当你在Google上搜索“压缩机”，而没有对应的广告主，那么无论你以后去到哪一个网站上，出现“压缩机”图片的可能性几乎为零。而跨网站精准营销的基础之二是在于cookie。大家不妨试一下，当你保持每天清除浏览器cookie的习惯时，那些到处跟随你的网站就不见了。

其实在这个领域上，存在两个问题。第一个问题是隐私的问题，也就是这些公司是否能够用他们收集到的客户的信息来做定向的广告推送，例如当我们能判断一个客户很可能怀孕的时候向她推送怀孕相关产品这件事情是否侵犯了她的隐私？第二个问题是碎片的问题，这是我和1号店CTO韩军同学讨论过的问题。每个人在一个网站上的时间其实不是他们的全部，而只是生命中的一个片段。完全分析出一个人的具体情况是不可能的，只能把顾客分成不同的群组。

皮皮（Q5）：电商坐拥互联网行业最丰富的用户数据金矿，能从中挖掘出真金白银的屈指可数。双十一能成为时下IT圈的弄潮儿，离不开阿里利用大数据个性化推荐的法宝，而亚马逊可以领跑美国电子商务，也得益于它们的个性化推荐系统。我相信有很多从事电商行业的朋友们，很辛苦但赚不到钱，这里面到底有哪些窍门，能否支支招？

谭磊（A5）：个性化推荐引擎的原理其实非常简单，这里用到的协同过滤和关联分析的法则归根到底就是把商品推荐给“alike“的人。我以前说过，”like是像，like是喜欢“。这是数据挖掘的基础，你要把alike的产品推荐给alike的人。这也是数据挖掘中”物以类聚人以群分“的概念。当你能够充分理解这个概念的时候，你就学会了个性化推荐。

这里的个性化推荐说起来简单，做起来就没那么容易了。通过用户经常访问的页面和曾经购买过的产品我们可以大概收集到客户的年龄、性别、购物地点、购物时段、大致页面停留时间等数据。同时我们可以通过对商品上的数据点做分析，从而找到匹配的客户和商品。 我们举个小的例子来说明个性化推荐是不能盲目执行的。假使说某个客户刚买了一件羽绒服，那么和这件羽绒服最类似的产品是另外一件羽绒服。那么推送这件羽绒服的广告对这个客户有意义吗？显然是完全没有意义的。而话又说回来，如果某个美女购买的是某一款韩版上衣，你完全可以推送另外一款韩版上衣，因为对于女生来讲，衣服是永远不嫌多的。

皮皮（Q6）：如果说，2013年是互联网金融元年，那么2014年则很可能会以互联网金融监管元年记入中国商业史。在这股热潮的推动下，我们习惯了用微信、支付宝来买理财。正所谓得屌丝者得天下，怎么用数据来赚钱？能否和我们分享下互联网金融下，怎么用数据来说话？

谭磊（A6）：到目前为止，几乎每一个在中国的互联网上成功的产品都是依靠草根成功的，微信、支付宝和360都是。这里可能没有太多数据的概念可言。

而通过数据做互联网金融在美国有一个不错的案例是Zest Finance，使用了大数据技术来评估个人贷款的信贷风险指数，特别是为那些个人信用不良或者不满足传统银行贷款资格的个人提供服务。

Zest Finance是由前Google首席信息官及工程副总裁Douglas Merrill和前Capital One公司主管Shawn Budde一起合作的结果。Capital One可以说是美国的信用卡公司中最会运用数据的公司。他们相信不仅仅是银行的内部数据，一切数据都可以是信用数据，实际上，Zest Finance大量采集用户在社会媒体上留下的数据，从这些数据中对用户的信用进行判断，预测用户拖延还贷的概率。Zest Finance通过这种分析，能够在低于行业平均拖延还贷率的条件下，进行更快更低成本的贷款发放。

[课程]Linux pwn 探索篇！