关于学习大数据的体会(二)

BI级别指的是那些对于内存来说太大的数据量，但一般可以将其放入传统的BI产品和专门设计的BI数据库之中进行分析。目前主流的BI产品都有支持TB级以上的数据分析方案。种类繁多，就不具体列举了。

五、大数据的特点。

1、海量性

企业面临着数据量的大规模增长。例如，IDC最近的报告预测称，到2020年，全球数据量将扩大50倍。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。简而言之，存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外，各种意想不到的来源都能产生数据。

   上图是上海双击信息科技有限公司的数据，这个是美国进口LED灯的部分数据，它记录了日期、采购商、供应商、原产国、产品描述、和重量等，这样的数据是非常庞大的，如果这样的话数据给到中国出口型企业是没有用的，所以要进行专业的数据分析，让数据产生价值。

2、易变性

　　大数据具有多层结构，这意味着大数据会呈现出多变的形式和类型。相较传统

的业务数据，大数据存在不规则和模糊不清的特性，造成很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式，能够被标准的商务智能软件识别。目前，企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。

3、多样性

　　一个普遍观点认为，人们使用互联网搜索是形成数据多样性的主要原因，这一看法部分正确。然而，数据多样性的增加主要是由于新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中，部分传感器安装在火车、汽车和飞机上，每个传感器都增加了数据的多样性。

4、高速性

高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。根据IMS Research关于数据创建速度的调查，据预测，到2020年全球将拥有220亿部互联网连接设备。

六、大数据的影响和发展趋势。

在数字时代，人们的生活方式和思考方式在发生一系列的变化，这种变化同样也使得人们的消费观念发生较大的转变。大数据时代对生活、工作的影响  大数据，其影响除了经济方面的，它同时也能在政治、文化等方面产生深远的影响，大数据可以帮助人们开启循“数”管理的模式，也是我们当下“大社会”的集中体现，三分技术，七分数据，得数据者得天下。它赋予消费者更广阔的视野，同时也在提高着消费者的自主意识。这些影响足够消费者不再完全相信传统营销“轰炸式”的传播和灌输，他们更加倾向于受到质疑的品牌和产品，他们能够在基础上发表自己的观点，影响到其他的人群。“大数据”的影响，增加了对信息管理专家的需求。事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。

在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。在这种时代环境下，如果企业和厂商对他们的观点是漠视的态度，那么他们将会失去大量的关注人群，也使得传统的营销模式传播的影响力大打折扣。大数据在个人隐私的方面，大量数据经常含有一些详细的潜在的能够展示有关我们的信息，逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出，我们不应该简单地服从法律方面的隐私保护问题，这些远远不够的，公司都应该遵从谷歌不作恶的原则，甚至更应该做出更积极的努力。

1 大数据的趋势

20年后互联网发生的巨大的变化，移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域。我们在享受便利的同时，也无偿贡献了自己的“行踪”。在物理世界中，许多行为是“人似秋鸿有来信，事如春梦了无痕”。但在互联网上却是“处处行迹处处痕”。任何行为，皆有前兆。要买商品，必先浏览，对比，询价；要搞活动，必先征集、讨论、策划；互联网上恰恰保留了大量的前兆性的数据，通过对这些数据的收集和分析，互联网企业具备了预判物理世界中，人类未来行为的能力。收集分析海量的各种类型的数据，并快速获取影响未来的信息的能力，这就是大数据技术的魅力。事实上大数据的来源非常广泛，天上的卫星、地上汽车、埋在土壤里面的各类传感器，无时无刻不在生成大量的数据。这些数据如果综合利用，产生的社会价值和经济价值将是难以估量的。

围绕数据和最终用户，我们观察到计算机行业的发展有三大方向：第一应用软件一定会泛互联网化。第二，行业会垂直整合。越靠近终端用户的公司，在产业链上将拥有更大的发言权。第三，数据将成为资产。泛互联网化是收集数据的重要渠道，没有泛互联网化的应用软件，公司就难以获得用户的行为数据；行业垂直整合趋势在数据运用层面，通过搜集大量的用户数据，更贴近用户，更理解用户，为其提供更适当的服务；数据成为资产更强调数据的战略意义。三大趋势的提出，拓展大数据主题的研究范围，开辟了新的视角和逻辑来观察软件公司成长路径和投资价值。成为我们分析研究TMT公司的顶层逻辑的要素之一。

2发展趋势

趋势一：成为重要战略资源。在未来一段时间内，大数据将成为企业、社会和国家层面重要的战略资源。大数据将不断成为各类机构，尤其是企业的重要资产，成为提升机构和公司竞争力的有力武器。企业将更加钟情于用户数据，充分利用客户与其在线产品或服务交互产生的数据，并从中获取价值。此外，在市场影响方面，大数据也将扮演重要角色——影响着广告、产品推销和消费者行为。

趋势二：数据隐私标准将出台。大数据将面临隐私保护的重大挑战，现有的隐私保护法规和技术手段难以适应大数据环境，个人隐私越来越难以保护，有可能会出现有偿隐私服务，数据“面罩”将会流行。预计各国都将会有一系列关于数据隐私的标准和条例出台。

趋势三：分析方法发生变革。大数据分析将出现一系列重大变革。就像计算机和互联网一样，大数据可能是新一波的技术革命。基于大数据的数据挖掘、机器学习和人工智能可能会改变小数据里的很多算法和基础理论，这方面很可能会产生理论级别的突破。

趋势四：与云计算深度融合。大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供了新的商业价值，因此，从2013年开始，大数据技术与云计算技术必然进入更完美的结合期。总体而言，云计算、物联网、移动互联网等新兴计算形态，既是产生大数据的地方，也是需要大数据分析方法的领域。

趋势五：网络安全问题凸显。大数据的安全令人担忧，大数据的保护越来越重要。大数据的不断增加，对数据存储的物理安全性要求会越来越高，从而对数据的多副本与容灾机制提出更高的要求。网络和数字化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，可能会出现更高明的骗局。

趋势六：大数据学科诞生。数据科学将作为一个与大数据相关的新兴学科出现。同时，大量的数据科学类专著将出版。

趋势七：催生数据分析师等职业。大数据将催生一批新的就业岗位，如数据分析师、数据科学家等。具有丰富经验的数据分析人才成为稀缺资源，数据驱动型工作机会将呈现出爆炸式的增长。

七、结论。

在大数据的时代，在信息爆炸的时代，创造商业价值的源泉来自于社会，以共享为核心，三大运营商都不在把管道作为价值的唯一来源。他们认为除了做管道之外，还要做流量价值。整个时代的应用创新模式，这就要求企业要注重信息的价值，更加重视商业创新，商业模式创新，包括像DOUBLE-CLICK的方式，从传统的贸易方式包括展会、B2B平台和贸易情报的创新。商业模式创新的目的是抓住企业用户需求的痛点，挖掘用户内心真实的需求。企业要摆脱困境或打破发展瓶颈，实现快速增长，就必须进行商业模式创新。

商业模式创新的灵魂就是文化因素，商业模式创新的目的是为了增强企业的盈利能力，增强企业的抗风险能力，降低企业营运成本和难度，给竞争对手设置门槛，超常规快速发展，这些只是商业企业发展过程中的技术问题。而文化的建设则体现出企业的素质问题。提升企业的自身形象和社会形象。所以从这个角度来说，企业也必须进行商业模式的创新。