学习成长_7月份_迎接大数据时代
——王志纲工作室战略研究院星河沙龙侧记
运营部 2013-03-22
“大数据时代”最早是由麦肯锡提出,麦肯锡认为:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”
1、何为大数据?
大数据(big data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”,但是不能简单理解为大数据只是一堆数字,其核心还是如何挖掘数据、如何利用数据表达、如何利用数据进行预测和决策。
图1:大数据概况
我们生活在一个被信息和数据包围的空间。到2012年,Facebook每天评论32亿条、新上传照片近3亿张,每周新增图片容量60TB,图片总量约 2600亿张,已超过20PB,平均每秒3500次写操作。亚马逊目前EC2有450000台服务器。谷歌搜索、Facebook的帖子和微博消息使得人 们的行为和情绪的细节化测量成为可能。有46亿全球移动电话
第1页共2页10/24/2013
用户有1亿美元和20亿人访问互联网。 2、大数据特征 大数据典型特征为:“4V+1O”,即大量(Volume)、多样(Variety)、价值(Value)、快速(Velocity)、开放(Open)。
大 量(Volume)。存储量大、计算量大。截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、 EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为 0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上 的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文 明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。
多 样(Variety)。来源多、格式多。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构 化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。
价值(Value)。沙漠淘金。价值密度的高低与数据总量的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。
快速(Velocity)。增长速度快、处理速度快。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告,预计到2020年,全球数据使用量将达到35.2ZB。在如此海量的数据面前,处理数据的效率就是企业的生命。 开放(Open)。数据开发是关键。数据本身没有价值,未来大数据要开放,怎么把大数据变成一个公共数据,如何实现数据价值的最大化,未来谁
能创造市场,谁能获得最大价值和利益。 3、大数据的应用领域
农业领域。硅谷有个气候公司,从美国气象局等数据库中获得几十年的天气数据,将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表,预测农场来年产量,向农户出售个性化保险。
商业领域。如沃尔玛通过分析销售数据,了解顾客购物习惯,得出适合搭配在一起出售的商品,还可从中细分顾客群体,提供个性化服务。
金融领域。支付宝根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业,对他们发放无需担保的贷款。
医疗保健领域。“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况,与美国疾病控制和预防中心提供的报告对比,追踪疾病的精确率达到97%。
社会安全管理领域。通过对手机数据的挖掘,可以分析实时动态的流动人口来源、出行,实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎,可以收集热点事件,挖掘舆情,还可以追踪造谣信息的源头。
4、大数据带来的变化
改变我们的生活方式。典型的如网购,网购现在已经成为个人生活习惯中的一部分比如“携程网”,它本身就可以看做一个“大数据库”,它可以为人们提供查机票、酒店、天气、特产、特色美食、天气预报等各种信息和数据,这些数据或者信息是不断更新和重复利用的。
改变我们的思维方式。大数据在改变我们生活方式的过程中,顺便改变我们的思维方式,不是追求样本而是追求总体、不是追求精确性而是追求混杂型、不追求因果性而追求相关性。
新商业文明时代到来。大数据促进带来商业发展的变革,电子商务对传统商业冲击、融合、创新,带来了全新的经营方式、经营空间、经营主体、客户群体等。诞生了阿里巴巴、京东等大型的电子商务平台,2012年中国网络零售总额达1.3万亿元,位居全球第二位。 大数据支持改变生活方式三大阶段:
第2页共2页10/24/2013
第一阶段:数据仓库。如同把全国的粮库联系起来,成为巨型粮库,数据仓库就是把各种数据或信息用计算机连接起来,形成一个数据的“大粮仓”。
第二阶段:数据挖掘。就是从数据仓库中大量的数据中挖掘出有价值的信息,帮助决策者实现准确的决策,减少风险。关键在于怎么挖?不同的人针对不同的目标挖掘不同的信息。
第三阶段:智能商务。就是利用数据仓库、数据挖掘技术对客户数据进行系统地储存和管理,并通过各种数据统计分析工具对客户数据进行分析,提供各种分析报告,如客户价值评价、客户满意度评价、服务质量评价、营销效果评价、未来市场需求等,为企业的各种经营活动提供决策信息。
5、大数据时代下的企业
面临四大挑战。伴随云计算、大数据、移动互联网等新型运算方式的出现,企业发展将会面临四大新的挑战:数据爆炸的环境、愈加苛求的客户、超级互联的社会、持续创新的压力。
三大侧重点。数据在企业内部有三大侧重点:第一,有合适的能力和技术,把数据转变为决策。第二,通过数据来改进企业的流程和性能。第三,通过数据创造新的机会和收入。 6、未来思考?
传统企业如何做电商?传统企业进入电商的方式,怎么与电商结合?改变商业模式?
电子商务研究方向?不同行业的企业进入电商的模式?自主电商还是依靠大型电商平台?
学习成长_7月份_迎接大数据时代
——王志纲工作室战略研究院星河沙龙侧记
运营部 2013-03-22
“大数据时代”最早是由麦肯锡提出,麦肯锡认为:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”
1、何为大数据?
大数据(big data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”,但是不能简单理解为大数据只是一堆数字,其核心还是如何挖掘数据、如何利用数据表达、如何利用数据进行预测和决策。
图1:大数据概况
我们生活在一个被信息和数据包围的空间。到2012年,Facebook每天评论32亿条、新上传照片近3亿张,每周新增图片容量60TB,图片总量约 2600亿张,已超过20PB,平均每秒3500次写操作。亚马逊目前EC2有450000台服务器。谷歌搜索、Facebook的帖子和微博消息使得人 们的行为和情绪的细节化测量成为可能。有46亿全球移动电话
第1页共2页10/24/2013
用户有1亿美元和20亿人访问互联网。 2、大数据特征 大数据典型特征为:“4V+1O”,即大量(Volume)、多样(Variety)、价值(Value)、快速(Velocity)、开放(Open)。
大 量(Volume)。存储量大、计算量大。截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、 EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为 0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上 的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文 明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。
多 样(Variety)。来源多、格式多。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据,非结构 化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。
价值(Value)。沙漠淘金。价值密度的高低与数据总量的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。
快速(Velocity)。增长速度快、处理速度快。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告,预计到2020年,全球数据使用量将达到35.2ZB。在如此海量的数据面前,处理数据的效率就是企业的生命。 开放(Open)。数据开发是关键。数据本身没有价值,未来大数据要开放,怎么把大数据变成一个公共数据,如何实现数据价值的最大化,未来谁
能创造市场,谁能获得最大价值和利益。 3、大数据的应用领域
农业领域。硅谷有个气候公司,从美国气象局等数据库中获得几十年的天气数据,将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表,预测农场来年产量,向农户出售个性化保险。
商业领域。如沃尔玛通过分析销售数据,了解顾客购物习惯,得出适合搭配在一起出售的商品,还可从中细分顾客群体,提供个性化服务。
金融领域。支付宝根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业,对他们发放无需担保的贷款。
医疗保健领域。“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况,与美国疾病控制和预防中心提供的报告对比,追踪疾病的精确率达到97%。
社会安全管理领域。通过对手机数据的挖掘,可以分析实时动态的流动人口来源、出行,实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎,可以收集热点事件,挖掘舆情,还可以追踪造谣信息的源头。
4、大数据带来的变化
改变我们的生活方式。典型的如网购,网购现在已经成为个人生活习惯中的一部分比如“携程网”,它本身就可以看做一个“大数据库”,它可以为人们提供查机票、酒店、天气、特产、特色美食、天气预报等各种信息和数据,这些数据或者信息是不断更新和重复利用的。
改变我们的思维方式。大数据在改变我们生活方式的过程中,顺便改变我们的思维方式,不是追求样本而是追求总体、不是追求精确性而是追求混杂型、不追求因果性而追求相关性。
新商业文明时代到来。大数据促进带来商业发展的变革,电子商务对传统商业冲击、融合、创新,带来了全新的经营方式、经营空间、经营主体、客户群体等。诞生了阿里巴巴、京东等大型的电子商务平台,2012年中国网络零售总额达1.3万亿元,位居全球第二位。 大数据支持改变生活方式三大阶段:
第2页共2页10/24/2013
第一阶段:数据仓库。如同把全国的粮库联系起来,成为巨型粮库,数据仓库就是把各种数据或信息用计算机连接起来,形成一个数据的“大粮仓”。
第二阶段:数据挖掘。就是从数据仓库中大量的数据中挖掘出有价值的信息,帮助决策者实现准确的决策,减少风险。关键在于怎么挖?不同的人针对不同的目标挖掘不同的信息。
第三阶段:智能商务。就是利用数据仓库、数据挖掘技术对客户数据进行系统地储存和管理,并通过各种数据统计分析工具对客户数据进行分析,提供各种分析报告,如客户价值评价、客户满意度评价、服务质量评价、营销效果评价、未来市场需求等,为企业的各种经营活动提供决策信息。
5、大数据时代下的企业
面临四大挑战。伴随云计算、大数据、移动互联网等新型运算方式的出现,企业发展将会面临四大新的挑战:数据爆炸的环境、愈加苛求的客户、超级互联的社会、持续创新的压力。
三大侧重点。数据在企业内部有三大侧重点:第一,有合适的能力和技术,把数据转变为决策。第二,通过数据来改进企业的流程和性能。第三,通过数据创造新的机会和收入。 6、未来思考?
传统企业如何做电商?传统企业进入电商的方式,怎么与电商结合?改变商业模式?
电子商务研究方向?不同行业的企业进入电商的模式?自主电商还是依靠大型电商平台?