您当前的位置:首页 > 专题解读 > 业务
电商大数据:淘宝数据王国的构建
时间:2012-11-05 14:58:15  来源:2012年9月主刊  作者:媒介杂志-刘珊

 

2008年,一个庞大的“大淘宝战略”伴随着阿里妈妈并入淘宝网而正式启动。在这个强调平台化、开放式的“大淘宝”战略中,淘宝所要打造的是一个容纳更多行业在内、层次更为丰富而全面的生态系统。

这其中,既包括了被喻为电子商务“水、电、媒”的支付、信用和物流环节,也将线上线下、纸媒电视等多种与消费者接触的渠道囊括在内。而作为平台将它们串联在一起的淘宝,不仅将以这种方式为越来越多不同规模层次的淘宝卖家提供从营销推广到销售配送的多种选择和整体方案,也将打通这些传统行业中固有的价值传递链条,实现参与各方价值的最大化。同时,淘宝这个单纯的交易平台也将在无形中升级为承载整个“生态圈”的基础服务提供商。

而这一切的基础,就是大数据:在成为开放平台与服务提供商,面向全球开放数据、打造全新盈利模式的过程当中,淘宝利用大数据改变了电商的运作模式,并充分利用自身平台的这些海量数据构建起一个大数据王国。

QQ截图20121105144319.jpg

 

大数据王国的建构基础:海量数据的采集与存储

根据淘宝网的数据显示,至2011年底,淘宝网最高单日独立用户访问量超过1.2亿人,比2010年同期增长120%,注册用户数量超过4亿,在线商品数量达到8亿,页面浏览量达到20亿规模,淘宝每天产生4亿条产品讯息,每天活跃数据量已经超过50TB……

大量搜索、浏览、收藏、交易、评价等来自买方、卖方以及网页自身的数据造就了淘宝的海量数据库,这是淘宝打造数据平台与产品,自主研发其海量数据库OceanBase并逐渐转型为数据服务商的重要基础。

以交易为核心的海量数据

淘宝网的数据以及流量产生的核心是围绕着买卖双方的交易展开的,以此向外扩展,衍生出海量的相关数据与信息。同时,也正因为这些数据、信息都与交易相关,因此也形成了极具商业价值的数据信息,为淘宝转型为电商“生态圈”的基础服务提供商、数据服务商进行数据开发与销售奠定了基础。

通过对用户网上消费行为的全流程追踪,我们大致可以看出淘宝数据的各种产生来源与过程。这些数据的产生从大范围上可以划分为三种。第一种是来自淘宝网外部的数据,主要包括相关的广告点击、搜索引擎的搜索数据、SNS上的推荐与链接、关联软件的操作与推荐。第二种是直接访问带来的相关数据,包括浏览器访问、软件访问等。第三种也是最大的数据来源,即淘宝网站内部的数据产生,这些数据的产生与买卖双方的交易密不可分,同时也围绕着这种交易产生了相关的信息与数据,包括内部搜索、站内SNS社区、页面浏览与点击、会员及用户相关页面、购买与交易数据、后台管理数据以及即时通讯数据信息等。

QQ截图20121105144236.jpg

通过对这些数据的存储、运算、管理以及分析,除了用以优化自身的界面、服务、管理和产品之外,淘宝还可以对外提供至少三类具备极大商业价值的数据与信息。第一类是针对消费者,方便其购物与消费的数据信息,包括各类商品及店铺信息、促销信息等;第二类是针对店铺以及卖方,可有效提升其店铺管理及商品销售效果的数据信息,包括消费者的消费行为、网络使用行为、媒体接触及使用行为,市场发展及行业竞争数据与信息等;第三类是可以提供给社会及第三方机构帮助其了解电商企业以及淘宝相关的数据集信息,包括销售数据、购买数据、交易数据、消费者行为数据等。

QQ截图20121105144302.jpg

正是这些数据与信息,构成了淘宝数据王国的构建基石。

自建云存储系统OceanBase

对于淘宝来说,其数据的产生绝大部分来自与卖家与买家,在这其中商品、交易、订单、购物爱好等等是最为核心的数据,这些数据通常是结构化的,并且数据之间存在各种各样的关联。传统的关系数据库曾经是这些数据的最佳载体,然而,随着淘宝业务的快速发展,这些数据急剧膨胀,记录数从几千万条增加到数十亿条,数据量从百GB增加到数TB,未来还可能增加到数千亿条和数百TB,传统的关系型数据库已经无法承担如此海量的数据。

OceanBase作为淘宝研发的云存储系统,自2010年研发以来,其目的就是解决不断增加的结构化数据存储与查询的问题,从而适应全新的数据量级及存储、运算要求。最初,OceanBase应用于淘宝收藏夹,用于存储淘宝用户收藏条目和具体的商品、店铺信息,每天支持4千万~5千万的更新操作。等待上线的应用还包括CTUSNS等,每天更新超过20亿条,更新数据量超过2.5TB,并逐步在淘宝内部推广。

对于淘宝来说,OceanBase云系统是其对各类数据信息进行处理、管理和分析的重要工具,也是大数据王国建立的一个重要支撑。

 

数据王国的构建方法:从数据信息到数据产品

如果仅仅有这些海量数据,对这些数据进行了存储和管理,用以优化自身的网页设计、用户体验等,这样略显初级化的数据挖掘还离大数据王国相去甚远。只有掌握了这些数据的运用方法,将其商业价值做到最大化的开发,针对不同群体提供不同服务,才能够满足淘宝网“大淘宝战略”的种种构想,实现其从“单纯的交易平台到‘生态圈’基础服务提供商”角色的转变,完成其由平台销售向数据销售的盈利模式转变的目标。

通过对多源数据的采集以及对这些数据进行的分类存储、管理与分析,淘宝完成了从数据信息到数据产品的转换过程,形成了针对不同使用群体的多项数据产品。

QQ截图20121105144403.jpg

专业的数据产品化团队与多样化的数据产品

淘宝的技术平台部建立了淘宝数据产品化团队,根据团队中具体职能的不同又划分为产品研发、实时计算、数据开发、数据挖掘、数据中间层、UED、可视化实验室等。淘宝数据产品化团队在淘宝网海量数据库与大数据处理技术的基础之上进行专业的海量数据挖掘,并形成了面向进驻商家的多项数据产品。

目前,在淘宝的卖家服务平台上,基于淘宝数据所提供的营销运营类产品主要分为营销推广与数据分析两大类。其中,营销推广主要包括会员营销、促销工具、互动营销、店铺推广和导购展示,数据分析工具主要包括需求挖掘、订单分析、买家分析、售后服务与运营支撑分析、供应链分析、商品优化分析、营销效果分析以及店铺基础运营分析等,同时也向卖家提供专业的数据解读与分析报告服务。

其中,通过目前最为重要的数据产品:“数据魔方”平台,商家可以直接获取行业宏观情况、自己品牌的市场状况、消费者行为情况等非隐私性数据。

QQ截图20121105144338.jpg

淘宝开放平台与第三方数据产品

一方面,利用大数据平台,淘宝已经成功地将数据魔方、量子统计、好店铺、小艾分析等数据分析软件产品的使用可能给予了淘宝网的卖家,然而数据价值的挖掘还存在极大的空间;另一方面,针对淘宝超过4亿的注册用户的买方数据产品目前还非常稀少,所以,为了更加高效、迅速地满足高速发展中的电子商务产业链上的数据需求,从而提升整个电子商务产业的发展,开放平台的建设成为了“大淘宝”战略当中一项非常重要的内容。

20086月,淘宝网宣布开放API接口。通俗地说,就是任何第三方开发者都可以通过API接口访问淘宝网数据,提供可以“安装”在网络页面上的应用。比如,淘宝商城中产品图片变化的技术就是名为“闪光店铺”的产品,这不是淘宝的技术人员的创造,而是微软发明的Silverlight技术。淘宝开放API,惠及的不仅是微软这样的大公司,大量的ISV开发者(独立软件开发商,可以是公司或个人)针对淘宝上卖家的需求设计出诸多应用,已经形成了一条完整的产业链条。

之后,淘宝开放平台(TaobaoOpenPlatform,简称TOP)逐渐形成规模,成为面向第三方应用开发者,提供API接口和相关开发环境的开放平台。软件开发者可通过淘宝API来获取淘宝用户信息(买方和卖方用户信息,私有信息需要授权)、淘宝商品信息(全淘宝超过1亿个商品的名称、类目、型号、介绍等信息)、淘宝商品类目信息(全淘宝商品索引及分类明细)、淘宝店铺信息(全淘宝店铺信息)、淘宝交易明细信息(在取得用户授权的情况下,查询每笔交易的详细情况)、淘宝商品管理(淘宝商品的上传、编辑、修改等接口)等信息,并建立相应的电子商务应用。同时,作为淘宝开放平台TOP项目的唯一合作平台——阿里软件平台在其中也扮演着重要的角色,它将为开发者提供整套的淘宝API的附加服务:测试环境、技术咨询、产品上架、版本管理、收费策略、市场销售、产品评估等。

在这样的背景之下,2010330日,淘宝网在上海正式对外宣布,将面向全球开放数据,商家、企业及消费者将在未来分享到其海量原始数据。这些淘宝数据将分为三个层面进行开放:其一,涉及电子商务行业的宏观数据,以及让消费者了解最新消费风向标的数据,淘宝将实行免费开放策略;其二,涉及各个行业市场情况、消费者行为研究等商业数据,淘宝将通过商业方式开放;其三,涉及消费者个人隐私、企业商业隐私数据,淘宝绝对保护,防止任何泄漏。通过淘宝开放数据平台,第三方机构可以通过对这些数据的挖掘与分析,针对不同的需求群体提供打造不同的数据产品与工具,满足各类群体对于淘宝数据产品工具的需求。

QQ截图20121105144422.jpg

目前,在充分进行数据挖掘的同时,淘宝开放平台上已经形成了软件销售、淘宝客佣金、广告分成和游戏充值等较为清晰的盈利模式,为淘宝开放平台持续稳定、健康的运作做出了充分的保障。

 

结语

与其他拥有庞大流量与海量数据的网络巨无霸相同的是,淘宝正利用大数据改变着自身,改变着所在行业的产业链,改变着整个市场格局;然而与其他网络巨头不同的是,淘宝的开放平台让更多的角色与力量参与到这个大数据王国的构建当中,给予了所在行业更加开放的环境与氛围,因而也在更大程度上改变了电商行业的产业链与市场格局,更加迅速地建立起了自身的大数据王国。

2003年建立之初到现在,淘宝走过了将近十年的发展历程,从商业数据上来看,亚马逊的财报显示2011年其完成了大约480亿美金的交易额,EBAY2011年财报则表明其完成了大约600亿美金的交易额(不包括其独立的汽车交易平台),淘宝正在从交易额、商品数量、同比增速等指标上赶超这些海外电商巨鳄。在迅速发展与变身转型的过程中,淘宝的数据王国功不可没。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
推荐内容
2013中国互动营销趋势论坛案例征集
2013中国互动营销
专题解读第二十期:收视率新时代
专题解读第二十期
专题解读第十九期:解读百度昌荣联姻
专题解读第十九期
专题解读第十八期:有线电视运营商2012年报解读
专题解读第十八期
相关文章
    无相关信息
栏目更新
栏目热门