关于学习大数据的体会(一)

大数据的时代商业模式的创新分析

大数据对商业模式具有创造性破坏的潜能。将大数据与商业模式有效结合，从商业模式的经济、运营和战略3个视角指出大数据能提升竞争优势。基于创新目标和机制分析了大数据时代商业模式创新的框架，围绕商业模式的4个界面分析了大数据背景下商业模式构成要素和构成结构的变革。

大数据的核心是建立在相关关系分析法基础上的预测。在诸多领域，大数据浪潮正引致颠覆性创新，也必将带来制度变迁。供应商和自身运营状况数以亿计字节的信息。大数 据大量可被获取、交流、集聚、存储和分析的数据，现在已是全球经济活动中每个部门和每一功能的核心，已成为与实物资产人力资本同样重要的生产要素。

大数据作为一个很好的视角和工具。从资本角度来看，从其拥有的数据规模、数据的活性和这家公司能运用、解释数据的能力，就可以看出这家公司的核心竞争力。而这几个能力正是资本关注的点。移动互联网与社交网络兴起将大数据带入新的征程，互联网营销将在行为分析的基础上向个性化时代过渡。

　　一、绪论。

进入2012年以来，大数据（Big Date）一词越来越多地被提及与使用，它已经出现过在《纽约时报》、《华尔街时报》的专栏封面，人们用他来描述和定义信息爆炸时代产生的海量数据，进入美国白宫网的新闻，在国内一些网络主题的讲座沙龙中，被嗅觉灵敏的银河证券、国军证券、国泰君安等写进了投资推荐报告，大数据时代来临。移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域。有人说21世纪是数据信息时代，我们在享受便利的同时，也无偿贡献了自己的“行踪”。各种数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。现在互联网不但知道对面是一只狗，还知道这只狗喜欢什么食物，几点出去遛弯，几点回窝睡觉。我们不得不接受这个现实，每个人在互联网进入到大数据时代，都将是透明性存在。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。

　

　　二、大数据的概念。 

  大数据（Big Data）是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息，定制出高度个性化的用户体验，并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。

举一个有趣的例子。人品与删除浏览记录，就是一个典型的曾经看似风马牛不相及的关联体。但来自以色列西南财经大学天府学院大数据时代的信息分析实训报告的Shvat Shaked却通过努力告诉人们，如此寻常的行为中同样蕴含着道理，也许还蕴含着无限商机。很多人喜欢上网后删除浏览记录。在保护隐私的旗帜下，这种行为很少受到关注，也很少激起人们的兴趣，自然也就不能调动人们深入思考和仔细研究的积极性。Shvat有一个坚定的信念：一个人的品行与其不经意间的行为密切相关，那些“坏人”为防被人追踪一定会不断删除自己在互联网上的踪迹，而“好人”则一般不介意在互联网上留下自己的印记。基于这个信念，Shvat通过对海量数据的分析研究出了一款独特的欺诈系统。这一防欺诈系统受到了ebay的关注。后者的paypal系统允许两个通户通过电邮地址在线交易，这微钓鱼式攻击提供了可乘之机：一些欺诈网站伪装成真实网站以获得用户的登录信息。paypal近年来不断加强在线安全却一直收获不大，Shvat的创意及其防欺诈系统出色的性能就在此时吸引了ebay。2008年，ebay以1.69亿美元将Shvat及其公司Fraud Sciences收入囊中。

　　

　　三、大数据的发展。　　

     最早提出大数据时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素。而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。大数据迅速成为了计算机行业争相传诵的热门概念，也引起了行业内的高度关战略

虽然大数据目前在国内还处于初级阶段，但是商业价值已经显现出来。未来，数据可能成为最大的交易商品。但数据量大并不能算是大数据，大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。大数据的整体态势和发展趋势，主要体现在几个方面：大数据与学术、大数据与人类的活动，大数据的安全隐私、关键应用、系统处理和整个产业的影响。大数据整体态势上，数据的规模将变得更大，数据资源化、数据的价值凸显、数据私有化出现和联盟共享。因此，大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。在他看来，未来大数据将会如基础设施一样，有数据提供方、管理者、监管者，数据的交叉复用将大数据变成一大产业。随着大数据的共享越来越大，隐私问题也随之而来，比如说每天手机产生的通话、位置等等。但这给带来了便利的同时也给带来了个人隐私的问题。大数据的发展会催生许多新兴新职业，会产生数据分析师、数据科学家、数据工程师，有非常丰富的数据经验的人才会成为稀缺人才。随着社会的不断发展，大数据对IT技术架构的挑战，大数据的生态环境问题，大数据的应用及产业链将日益突出。随着大数据的发展，数据共享联盟将逐渐壮大成为产业的核心一环。数据资源化，大数据在国家和企业和社会层面成为重要的战略资源，成为新的战略制高点和抢购的新焦点。

虽然大数据目前在国内还处于初级阶段，但是商业价值已经显现出来。未来，大数据的整体态势和发展趋势，只要体现在几个方面：大数据与学术、大数据与人类的活动，大数据的安全隐私、关键应用、系统处理和整个产业的影响。大数据整体态势上，数据的规模将变得更大，数据资源化、数据的价值凸显、数据私有化出现和联盟共享。随着大数据的发展，数据共享联盟将逐渐壮大成为产业的核心一环。大数据的发展会催生许多新兴职业，会产生数据分析师、数据科学家、数据工程师，有非常丰富的数据经验的人才会成为稀缺人才。随着大数据的共享越来越大，隐私问题也随之而来，比如说每天产生的通话、位置等等，但这给带来了便利的同时也给带来了个人隐私的问题。数据资源化，大数据在国家各企业和社会层面成为最重要的战略资源，成为新的战略制高点和抢购的新焦点

四、大数据的分类。

（1）、按照数据分析的实时性，分为实时数据分析和离线数据分析两种。

 实时数据分析一般用于金融、移动和互联网B2C等产品，往往要求在数秒内返回上亿行数据的分析，从而达到不影响用户体验的目的。目前比较新的海量数据实时分析工具有EMC的Greenplum、SAP的HANA等。要满足这样的需求，可以采用精心设计的传统关系型数据库组成并行处理集群，或者采用一些内存计算平台，或者采用HDD的架构，这些无疑都需要比较高的软硬件成本。互联网企业的海量数据采集工具，有Facebook开源的Scribe、LinkedIn开源的Kafka、淘宝开源的Timetunnel、Hadoop的Chukwa等，均可以满足每秒数百MB的日志数据采集和传输需求，并将这些数据上载到Hadoop中央系统上。对于大多数反馈时间要求不是那么严苛的应用，比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等，应采用离线分析的方式，通过数据采集工具将日志数据导入专用的分析平台。但面对海量数据，传统的ETL工具往往彻底失效，主要原因是数据格式转换的开销太大，在性能上无法满足海量数据的采集需求。

、按照大数据的数据量，分为内存级别、海量级别三种、BI级别。

这里的内存级别指的是数据量不超过集群的内存最大值。不要小看今天内存的容量，Facebook缓存在内存的Memcached中的数据高达320TB，而目前的PC服务器，内存也可以超过百GB。因此可以采用一些内存数据库，将热点数据常驻内存之中，从而取得非常快速的分析能力，非常适合实时分析业务。

海量级别指的是对于数据库和BI产品已经完全失效或者成本过高的数据量。海量数据级别的优秀企业级产品也有很多，但基于软硬件的成本原因，目前大多数互联网企业采用Hadoop的HDFS分布式文件系统来存储数据，并使用MapReduce进行分析。本文稍后将主要介绍Hadoop上基于MapReduce的一个多维