朋新宇 – 庄闲棋牌官网官方版 -199IT //www.otias-ub.com 发现数据的价值-199IT Wed, 01 Nov 2023 05:11:33 +0000 zh-CN hourly 1 https://wordpress.org/?v=5.4.2 瓴羊重磅发布数据服务枢纽“瓴羊港”,推动企业数据流通及价值增长 //www.otias-ub.com/archives/1656209.html Wed, 01 Nov 2023 05:11:33 +0000 //www.otias-ub.com/?p=1656209 11月1日,在2023云栖大会“数据流通和企业价值增长”专场,瓴羊正式发布数据服务枢纽——“瓴羊港”,破解企业长期面临的数据缺失、数据资产难以管理、外部数据无法融通等关键问题,提供“寻、买、管、用”的数据服务,帮助企业通过数据驱动实现业务增长。

今年7月,瓴羊推出针对零售行业的一站式数据智能产品 “瓴羊One”,就是为了解决目前企业在多平台多渠道现状下经营数据分散的“数据烟囱”问题。而除了企业内部的数据烟囱之外,企业与企业、产业与产业、甚至企业与公共部门之间也存在着数据烟囱,如何把数据烟囱变为钻井平台,让数据像石油一样通过融通产生动力价值,从而推动企业业务增长和创新?时隔半年,瓴羊再次推出企业数据服务枢纽瓴羊港。

杭州市政府副秘书长、市政府办公厅党组成员、市数据资源管理局党组书记、局长徐青山出席会议并致辞:“杭州市数据资源局将以公共数据授权运营为引领,推进公共数据与企业数据开放应用。我们希望与瓴羊等头部企业一道,形成数据共享、价值共创的数据要素杭州发展新模式。”

(图为:杭州市政府副秘书长、市政府办公厅党组成员、市数据资源管理局党组书记、局长徐青山)

阿里巴巴副总裁、瓴羊CEO朋新宇表示:“数据正站在一个流通变革的时代,这其中最核心的关键是如何破解数实融合发展的堵点。数据流通中最重要的原则是,不流通无价值,无价值不流通。而瓴羊扎根数字化领域十多年,作为曾经阿里巴巴数据中台的核心团队,对数据的理解非常深,在用数据驱动企业价值增长上已经有了非常多的成功实践。”

(图为:阿里巴巴副总裁、瓴羊CEO朋新宇)

作为一个数据服务枢纽,瓴羊港里有企业、数商、生态伙伴、公共部门等多个数据提供方,并集成了数据资产、数据流通、数据加工与集成、数据智能等多种类型的服务。在安全技术上,瓴羊港采用先进的隐私计算和安全屋等技术实现“原始数据不出域”、“数据可用不可见”,确保了数据源、流通过程和使用场景的合规性。

在现场,瓴羊宣布与杭州数据资源管理局达成战略合作,通过对杭州市公共数据管理能力进行评估与治理,加速促进杭州市数据要素价值的发挥。

(图为:杭州市数据资源管理局副局长齐同军,阿里巴巴集团副总裁、瓴羊CEO朋新宇)

头部零售企业云积分、宝尊、美登、晓多、卡士等宣布成为瓴羊港的首批客户。据悉,多家知名企业已成功使用瓴羊港并给出正面评价。北交所上市的国内领先电商 SaaS 软件开发及销售服务商美登,将联合瓴羊一起,通过瓴羊港提供的天气数据融合物流线路时效数据,结合温度湿度对鲜花品种的影响效果,提前预测意外天气情况对业务的干扰。预估可帮助美登所服务的供应链商家至少减少1%以上的货损率,帮助美登履约服务效率提升。

此外,瓴羊还推出了“三年一个亿”的瓴羊港繁荣基金和领航计划,繁荣基金目的是为帮助开发者和从业者降低使用数据智能产品的门槛,提供工具权益、专家咨询陪跑等权益。而领航计划则希望携手更多生态伙伴共建“新赛道”,“新成长”和“新市场”, 打造一个繁荣的数据服务生态。

在大会上,朋新宇还宣布了瓴羊数据智能服务的整体升级,除了瓴羊港的融通能力,企业还可以借助瓴羊数据中台的全域采集与增长分析(Quick Tracking)、智能数据建设与治理(Dataphin)、数据可视化分析(Quick BI)等系列产品,企业可以实现数据治理、快速构建数据应用,提高数据的可用性。通过瓴羊One,企业可以在分析、营销、产销、客服等核心场景中充分利用数据挖掘行业趋势和商机,让数据智能成为企业最重要的业务增长引擎。

 

]]>
阿里云数据中台升级Quick Audience实现企业与消费者双向互动 //www.otias-ub.com/archives/1122277.html Sun, 20 Sep 2020 20:23:54 +0000 //www.otias-ub.com/?p=1122277 9月18日,在2020云栖大会技术主论坛上,阿里巴巴集团副总裁、数据技术及产品部总经理朋新宇重磅升级全域消费者运营平台Quick Audience2.0。

Quick Audience2.0旨在帮助企业更好地实现以人为中心的消费者全链路运营。

消费者营销升级为消费者全链路运营

过去,企业通过调研、咨询等形式,发现或挖掘目标用户的需求,再通过营销活动让消费者了解自身产品或服务,并最终实现购买行为。整个过程可以理解为由企业单方面发起,用户在一定程度上是整场营销活动的“被动接受者”,这种方式很大程度无法实现更为精准的供需匹配,最终导致的结果往往是购买转化效果未能达到预期,同时无法沉淀跨端营销活动的效果数据,就无法为企业后期的同类型营销活动提供多维比对分析的数据基础。

升级后,Quick Audience2.0改变了企业与消费者之间的关系。

朋新宇介绍:“通过Quick Audience2.0,单向的广告推送将升级为双向的人群互动,企业也将借助这一产品的数智能力,实现从多点的营销触达升级到消费者深度运营的目的。”

Quick Audience2.0在原有的产品能力基础上,通过集成Dataphin和Quick A+两大产品的部分能力,能够进行数据研发,构建适用于业务场景的多维用户模型,并在广告营销、社群互动、全域会员管理等环节之后回流效果数据加以沉淀、分析,不断自我丰富、充盈企业用户资产。

值得一提的是,Quick Audience1.0还只是聚焦单场的营销分析和投放,以此来达成单次的购买、转化。但升级至Quick Audience2.0后则可以支持企业引入多阵地用户,实现社交层面的跨端互动和用户运营,不断加深用户从对企业(品牌)的认知、兴趣,从而转化成为忠实消费者。

也正是基于多渠道触达、多社交互动、全域会员管理,以及跨端数据回流的“组合拳”打造,目前Quick Audience2.0已升级为集数据资产构建、用户分析、精准营销投放、跨端社交互动和全域会员管理为一体的全域消费者运营平台。

全面助力企业全域深度运营

今年6月,Quick Audience作为阿里云数据中台核心产品之一被正式推出。在随后的天猫618消费季,多家企业切实享受到了Quick Audience带来的效果。

消费季前夕,巴拉巴拉通过Quick Audience联动商家端数据产品,对品牌近两年自有信息进行分析运营管理,了解优质消费人群,同时引入直播偏好维度进行交叉匹配,找到直播潜客人群。

深度理解消费者之后,巴拉巴拉将旗舰店的淘宝直播间定向精准推荐,在减少营销成本的同时实现了成交转化率的较大提升。

无独有偶,良品铺子借力Quick Audience,并基于对广州、深圳两座城市的潜客人群的深度理解,实现通过手淘轻店和饿了么为实体店引流,提高消费者粘性,形成线上线下多端拉新、提高商品复购。

此外,九阳通过Quick Audience精准洞察Line Friends IP联名新品目标消费人群,并以此制定不同的营销方案,在减少营销成本的同时实现成交转化率的提升。

未来,Quick Audience2.0还将继续集成,持续升级自身服务体系,为企业输出以人为中心的消费者全链路运营能力。

本次云栖大会,阿里云数据中台同时发布新品智能货品运营平台Quick Stock。至此,阿里云数据中台形成了以“Dataphin”为基座,承载“Quick系列”的场景化核心产品矩阵,为企业输送数智化核心能力。

另外,阿里云数据中台还发布了19个针对场景化需求的解决方案、产品白皮书。朋新宇表示,未来阿里云数据中台还将不断繁衍更多场景化的产品,解决业务实际问题。

]]>
阿里云数据中台再推Quick系列新品Quick Stock 持续打造场景化产品矩阵 //www.otias-ub.com/archives/1121841.html Fri, 18 Sep 2020 06:20:34 +0000 //www.otias-ub.com/?p=1121841 9月18日,2020云栖大会技术主论坛上,阿里巴巴集团副总裁、数据技术及产品部总经理朋新宇重磅发布阿里云数据中台新产品——智能货品运营平台Quick Stock,全面升级全域消费者运营平台Quick Audience2.0。

在专场分论坛上,阿里云数据中台发布生态合作战略,将重点开放行业数据模型、数据化运营和数字化转型咨询等三大领域市场合作,并联合生态伙伴共同发布了近20个聚焦细分场景的数据模型、产品及解决方案白皮书。

围绕业务场景持续繁衍Quick系列产品

此次升级发布的核心产品Quick Audience2.0和Quick Stock均为阿里云数据中台 Quick系列产品。该系列各款产品分别针对不同业务场景,提供数智化能力。

智能货品运营平台Quick Stock解的是货品运营场景下如何更好地实现“人货匹配”的问题。过去,企业在“如何生产和销售市场所需的货品”这个问题上,往往只能单纯依靠人的主观经验,拍脑袋、下决策。

Quick Stock以“货”为研究视角,拥有线上线下全渠道的货品数据覆盖和强大的智能算法能力,能够为所有货品进行全方位多维度的打标,让企业更加清楚地知道货品的全貌。

这就为企业实现货品全生命周期运营提供了数据基础。在对货品全生命周期进行解构后,Quick Stock从企划、生产、首铺、试销、补调、清尾6大核心环节切入,以数据算法为核心,为企业实现高效的货品全生命周期运营,提供针对性的科学决策建议。

以崭新定位亮相本次云栖大会的Quick Audience2.0,聚焦消费者运营场景。

今年6月,Quick Audience首次推出1.0版本,定位于“智能用户增长”,围绕消费者进行全方位的洞察和营销,最终实现购买。

而在Quick Audience2.0中,针对消费者的运营更深入、更全面。过去,单向的广告推送将升级为双向的人群互动,多点的营销触达将升至消费者深度运营。

企业不仅可以通过Quick Audience2.0完成消费者全域跨端的洞察分析,还能实现多阵地的粉丝社交互动和企业会员的深度运营。

除Quick Audience2.0、Quick Stock外,目前阿里云数据中台Quick系列产品还包括了:满足企业可视化数据分析需求的新一代智能BI服务平台Quick BI、满足跨多端场景下的全域洞察产品Quick A+。

结合最早推出的智能数据构建及管理平台Dataphin,阿里云数据中台已形成了以“Dataphin”为基座,承载“Quick系列”的场景化核心产品矩阵,为企业输送数智化核心能力。

Dataphin作为基础件,帮助企业实现智能数据构建与管理,迈出建设数据中台的第一步,Quick系列产品则满足了各类业务场景化的数据智能服务。

朋新宇告诉记者,未来阿里云数据中台还将不断繁衍更多场景化的产品,解决业务实际问题。

重点开放三大领域生态合作

在专场分论坛上,阿里云数据中台深度介绍了当前生态合作战略:未来将重点围绕行业数据模型、数据化运营和数字化转型咨询等三大领域,与生态伙伴深度共建与集成。

2018年,阿里云数据中台正式对外服务时,就曾提出将与生态共建,共同帮助企业客户实现数智化。

迄今为止,阿里云数据中台已与包括埃森哲、毕马威、德勤、浩鲸科技、云徙、袋鼠云、点正科技、火奴、趣云、群脉、阳狮等多个领域内权威企业合作。

阿里巴巴数据技术及产品部云上数据中台总监王赛表示,生态合作伙伴可以在阿里云数据中台核心产品的基础能力之上,提供行业数据模型、数据化运营方案及数字化转型咨询服务,共同帮助企业客户更好地构建数据中台。

以数据中台行业模型领域为例,阿里云数据中台可以与生态合作伙伴优势互补,由阿里云数据中台开放平台能力,由生态合作伙伴输入行业经验,以产品化模式输出行业数据模型,实现同一个行业的多个客户快速复制, 提高交付效率, 降低交付成本。

阿里云数据中台生态合作伙伴浩鲸科技,即通过阿里云数据中台核心产品之一——Dataphin所输出的智能数据构建能力,结合自身多年的电信行业实践经验,构建了一套电信行业数据模型,可以帮助该行业快速构建数据中台基座,实现数据驱动运营、创造业务价值。

云栖大会期间,阿里云数据中台联合生态合作伙伴共同发布了近20个聚焦细分场景的解决方案、产品及数据模型白皮书。

未来将扎根垂直行业赋能

过去一年,阿里云数据中台除了提供通用的数据中台解决方案,也针对“零售”、“金融”、“政务”和“互联网企业”四大行业的特性,提供了具有行业属性的解决方案。

阿里云数据中台为零售行业提供多维的全方位洞察、全域自动化营销等服务,并通过与阿里巴巴生态联动,帮助更多零售企业实现数智化增长。

今年天猫618消费季,多家零售企业通过借力阿里云数据中台零售行业解决方案收获惊喜:九阳Line Friends联名新品优选放大人群ROI提升322%、雅戈尔收藏加购ROI相较新客提升52.4%、奥普直播人群购买转化率是同期一般拉新人群的11倍……

阿里云数据中台也为政务类企业提供全套政务数字参谋解决方案,实现跨端、跨层级、跨系统等政务数据融通,支持政府决策科学化、社会治理精准化、公共服务高效化。

而针对金融行业,阿里云数据中台则提供了理财业务线上用户增长、整体的数字化运营解决方案,通过联动蚂蚁生态,融合投资者教育的实践方法论,并集成支付宝小程序中,帮助金融机构实现业务增长。

此外,面向互联网企业,阿里云数据中台与友盟+进行深度联动,让互联网企业能拥有阿里云数据中台的能力,在营销增长、风控、智能运营等场景中实现业务增长。

除上述四大行业外,阿里云数据中台也已面向地产、旅游等行业提供数智化能力。

良渚古城遗址公园通过阿里云数据中台实现票务、停车、入园等多个景区基础业务数据系统的构建,打造包括游客服务、景区管理在内的数字化体系,完成了智慧景区应用探索的第一步。

而龙头地产企业凯德集团,也通过阿里云数据中台梳理了现有业务流程及相关业务系统,建设了统一的企业数据公共层,打破了企业过去数据孤岛问题。现在,凯德的数据分析人员取数时间是过去的1/5,业务人员根据每天定点推送的数据报表进行完整数据洞察。

朋新宇表示,未来,阿里云数据中台将继续深化针对垂直行业的赋能,成为企业数智化的必经之路。

 

]]>
连载:阿里巴巴大数据实践—数据建模综述 //www.otias-ub.com/archives/1106618.html Mon, 24 Aug 2020 04:30:02 +0000 //www.otias-ub.com/?p=1106618
本文来源:数智化转型俱乐部
摘要
数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。

随着DT时代互联网、智能设备及其他信息技术的发展,数据爆发式增长,如何将这些数据进行有序、有结构地分类组织和存储是我们面临的一个挑战。

如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置;如果把数据看作城市的建筑,我们希望城市规划布局合理;如果把数据看作电脑文件和文件夹,我们希望按照自己的习惯有很好的文件夹组织方式,而不是糟糕混乱的桌面,经常为找一个文件而不知所措。

数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。Linux的创始人Torvalds有一段关于“什么才是优秀程序员”的话:“烂程序员关心的是代码,好程序员关心的是数据结构和它们之间的关系”,其阐述了数据模型的重要性。有了适合业务和基础数据存储环境的模型,那么大数据就能获得以下好处。

  • 性能:良好的数据模型能帮助我们快速查询所需要的数据,减少数据的I/O吞吐。
  • 成本:良好的数据模型能极大地减少不必要的数据冗余,也能实现计算结果复用,极大地降低大数据系统中的存储和计算成本。
  • 效率:良好的数据模型能极大地改善用户使用数据的体验,提高使用数据的效率。
  • 质量:良好的数据模型能改善数据统计口径的不一致性,减少数据计算错误的可能性。

因此,毋庸置疑,大数据系统需要数据模型方法来帮助更好地组织和存储数据,以便在性能、成本、效率和质量之间取得最佳平衡。

1.关系数据库系统和数据仓库

E .F .Codd是关系数据库的鼻祖,他首次提出了数据库系统的关系模型,开创了数据库关系方法和关系数据理论的研究。随着一大批大型关系数据库商业软件(如Oracle、Informix、DB2等)的兴起,现代企业信息系统几乎都使用关系数据库来存储、加工和处理数据。数据仓库系统也不例外,大量的数据仓库系统依托强大的关系数据库能力存储和处理数据,其采用的数据模型方法也是基于关系数据库理论的。

虽然近年来大数据的存储和计算基础设施在分布式方面有了飞速的发展,NoSQL技术也曾流行一时,但是不管是Hadoop、Spark还是阿里巴巴集团的MaxCompute系统,仍然在大规模使用SQL进行数据的加工和处理,仍然在用Table存储数据,仍然在使用关系理论描述数据之间的关系,只是在大数据领域,基于其数据存取的特点在关系数据模型的范式上有了不同的选择而已。关于范式的详细说明和定义,以及其他一些关系数据库的理论是大数据领域建模的基础,有兴趣的读者可以参考相关的经典数据库理论书籍,如《数据库系统概念》。

2.从OLTP和OLAP系统的区别看模型方法论的选择

OLTP系统通常面向的主要数据操作是随机读写,主要采用满足3NF的实体关系模型存储数据,从而在事务处理中解决数据的冗余和一致性问题;而OLAP系统面向的主要数据操作是批量读写,事务处理中的一致性不是OLAP所关注的,其主要关注数据的整合,以及在一次性的复杂大数据查询和处理中的性能,因此它需要采用一些不同的数据建模方法。

3.典型的数据仓库建模方法论

  • ER模型

数据仓库之父Bill Inmon提出的建模方法是从全企业的高度设计一个3NF模型,用实体关系(Entity Relationship,ER)模型描述企业业务,在范式理论上符合3NF。数据仓库中的3NF与OLTP系统中的3NF的区别在于,它是站在企业角度面向主题的抽象,而不是针对某个具体业务流程的实体对象关系的抽象。其具有以下几个特点:

1)需要全面了解企业业务和数据;

2)实施周期非常长;

3)对建模人员的能力要求非常高;

采用ER模型建设数据仓库模型的出发点是整合数据,将各个系统中的数据以整个企业角度按主题进行相似性组合和合并,并进行一致性处理,为数据分析决策服务,但是并不能直接用于分析决策。其建模步骤分为三个阶段:

1)高层模型:一个高度抽象的模型,描述主要的主题以及主题间的关系,用于描述企业的业务总体概况。

2)中层模型:在高层模型的基础上,细化主题的数据项。

3)物理模型(也叫底层模型):在中层模型的基础上,考虑物理存储,同时基于性能和平台特点进行物理属性的设计,也可能做一些表的合并、分区的设计等。

ER模型在实践中最典型的代表是Teradata公司基于金融业务发布的FS-LDM(Financial Services Logical Data Model),它通过对金融业务的高度抽象和总结,将金融业务划分为10大主题,并以设计面向金融仓库模型的核心为基础,企业基于此模型做适当调整和扩展就能快速落地实施。

  • 维度模型

维度模型是数据仓库领域的Ralph Kimball大师所倡导的,他的The Data Warehouse Toolkit-The Complete Guide to Dimensional Modeling是数据仓库工程领域最流行的数据仓库建模的经典。

维度建模从分析决策的需求出发构建模型,为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。其典型的代表是星形模型,以及在一些特殊场景下使用的雪花模型。其设计分为以下几个步骤。

选择需要进行分析决策的业务过程。业务过程可以是单个业务事件,比如交易的支付、退款等;也可以是某个事件的状态,比如当前的账户余额等;还可以是一系列相关业务事件组成的业务流程,具体需要看我们分析的是某些事件发生情况,还是当前状态,或是事件流转效率。

1)选择粒度:在事件分析中,我们要预判所有分析需要细分的程度,从而决定选择的粒度。粒度是维度的一个组合。

2)识别维表:选择好粒度之后,就需要基于此粒度设计维表,包括维度属性,用于分析时进行分组和筛选。

3)选择事实:确定分析需要衡量的指标。

  • Data Vault模型

Data Vault是Dan Linstedt发起创建的一种模型,它是ER模型的衍生,其设计的出发点也是为了实现数据的整合,但不能直接用于数据分析决策。它强调建立一个可审计的基础数据层,也就是强调数据的历史性、可追溯性和原子性,而不要求对数据进行过度的一致性处理和整合;同时它基于主题概念将企业数据进行结构化组织,并引入了更进一步的范式处理来优化模型,以应对源系统变更的扩展性。Data Vault模型由以下几部分组成。

1)Hub:是企业的核心业务实体,由实体key、数据仓库序列代理键、装载时间、数据来源组成。

2)Link:代表Hub之间的关系。这里与ER模型最大的区别是将关系作为一个独立的单元抽象,可以提升模型的扩展性。它可以直接描述1:1、1:n和n:n的关系,而不需要做任何变更。它由Hub的代理键、装载时间、数据来源组成。

3)Satellite:是Hub的详细描述内容,一个Hub可以有多个Satellite。它由Hub的代理键、装载时间、来源类型、详细的Hub描述信息组成。

Data Vault模型比ER模型更容易设计和产出,它的ETL加工可实现配置化。通过Dan Linstedt的比喻更能理解Data Vault的核心思想:Hub可以想象成人的骨架,那么Link就是连接骨架的韧带,而Satellite就是骨架上面的血肉。看如下实例(来自Data Vault Modeling Guide,作者Hans Hultgren),如图所示。

Data Vault模型实例

  • Anchor模型

Anchor对Data Vault模型做了进一步规范化处理,Lars. Rönnbäck的初衷是设计一个高度可扩展的模型,其核心思想是所有的扩展只是添加而不是修改,因此将模型规范到6NF,基本变成了k-v结构化模型。我们看一下Anchor模型的组成。

1)Anchors:类似于Data Vault的Hub,代表业务实体,且只有主键。

2)Attributes:功能类似于Data Vault的Satellite,但是它更加规范化,将其全部k-v结构化,一个表只有一个Anchors的属性描述。

3)Ties:就是Anchors之间的关系,单独用表来描述,类似于Data Vault的Link,可以提升整体模型关系的扩展能力。

4)Knots:代表那些可能会在多个Anchors中公用的属性的提炼,比如性别、状态等这种枚举类型且被公用的属性。

在上述四个基本对象的基础上,又可以细划分为历史的和非历史的,其中历史的会以时间戳加多条记录的方式记录数据的变迁历史。

Anchor模型的创建者以此方式来获取极大的可扩展性,但是也会增加非常多的查询join操作。创建者的观点是,数据仓库中的分析查询只是基于一小部分字段进行的,类似于列存储结构,可以大大减少数据扫描,从而对查询性能影响较小。一些有数据表裁剪(Table Elimination)特性的数据库如MariaDB的出现,还会大量减少join操作。但是实际情况是不是如此,还有待商榷。下面是一个Anchor模型图(来自Anchor Modeling-Agile Information Modeling in Evolving Data Environments,作者Lars. Rönnbäck),如图所示。

Anchor模型图

注:本书中出现的部分专有名词、专业术语、产品名称、软件项目名称、工具名称等,是淘宝(中国)软件有限公司内部项目的惯用词语,如与第三方名称雷同,实属巧合。

  • 节选自《大数据之路:阿里巴巴大数据实践》

]]>
如何选择适合你的企业数据管理类产品 //www.otias-ub.com/archives/1100451.html Thu, 13 Aug 2020 08:50:31 +0000 //www.otias-ub.com/?p=1100451 本文来源:数智化转型俱乐部

1
细数数仓30年发展史 

数据库与数仓的老牌产品供应商

数据工程研发的历史是可以追溯到上世纪八十年代的数据库和数据仓库理论,随后一大批的数据管理服务厂商开始崛起,其中 Oracle、Informatica 两家非常有代表性,在行业中身居统治地位。

Oracle

Oracle 的数据库在云计算逐步铺开、去IOE声浪逐步扩大的趋势中开始式微,以及各类新兴的非接口化存储,如ElasticSearch、TSDB、MongoDB 等,OLTP场景下的市场份额争夺激烈,除了老牌的数据库厂商外,一些云计算大厂也开始了数据库产品的研发,如AWS的Aurora、阿里云的PolarDB ,在云计算市场中开始成为企业云架构的基础能力。

同时,在OLAP场景下,也就是Informatica一直处于霸主地位的市场中,在12年大数据逐步进入公众视野后,越来越多的挑战者进入,几大云厂商也不例外,其中以Google、Azure和阿里云的追赶最为猛烈,Google在云计算先机失利的情况下,开始发挥巨大现金储备的优势,开始买买买,投资了 CASK、LOOKER等产品,微软则是利用自身的产品沉淀,收割着办公领域的存量客户;阿里云则是以“数据中台”架构打响了企业数字化转型的重要一枪,国内开始大量出现数据中台服务商,生态开始繁荣起来。

Informatica

在这样的大环境下,Informatica作为老牌的数据管理厂商,目前在Gartner魔力象限中依旧占有非常重要的席位,所以在众多企业选型的时候,都会考虑到使用Informatica的产品,但是国内这个产品一直是名声大市场小,对于Informatica的好奇,也为了给客户能够提供更加全面的参考,我们对Informatica进行比较细致的调研,主要从产品能力、技术支撑以及交付模式,因为商业化的企业服务产品都不便宜,希望一次采购能够带来比较长期的收益,所以产品是否能够持续使用起来也是我们关心的一个要素。

首先看Informatica的产品能力,他们提供的主要输出版本已经逐步使用B/S的模式, 相比之前的Client模式对于用户接入提供了更好的体验;对于数据仓库构建的第一步“数据集成”,Informatica以 PowerCenter 作为数据集成的产品名称,为面向不同场景的数据集成,则提供了多样不同的版本:

  • PowerCenter 标准版,用于集成和提交及时、相关、可靠的数据;• PowerCenter 高级版,用于执行复杂的任务关键型数据集成方案;• PowerCenter 大数据版,通过新兴的技术和传统的数据管理基础设施集成大数据;• PowerCenter 数据虚拟版,用于提交最新的、全面的、可以信赖的业务视图;• PowerCenter 实时版,用于实时集成和预配置营运数据;• PowerCenter 云版本,用于无缝地将云中数据和本地系统上的数据进行集成

这么多版本不免让人眼花缭乱。虽然从产品管理的角度来看,是个不错的拆分方法,但是对于用户而言,就没有这么方便了,让人有种不良商家使用锚定价格来收智商税的感觉。PowerCenter的应用架构如下图:

PowerCenter 的应用组件:

1)服务端组件

  • Informatica Service:PowerCenter 服务引擎• Integration Service :数据抽取、转换、装载服务引擎

2)客户端组件

  • Administrator Console:用于知识库的建立和维护• Repository Manager:知识库管理,包括安全性管理等• Designer: 设计开发环境,定义源几目标数据结构;设计转换规则,生成ETL映射;• Workflow Manager: 合理地实现复杂的ETL工作流,基于时间、事件的作业调度;• Workflow Monitor: 监控workflow和Session运行情况,生成日志和报告

简单地说就是,开发者通过Designer配置和设计数据的传输、转换和映射关系,通过workflow来首先周期性地调度和管理

2

传统数仓产业

数仓产品选型不仅是功能还有服务

从产品所对应的技术支持能力上看,由于是工具类产品,使用过程中的问题是否有完备的产品使用和客服支持很重要,在官方材料中没有看到过产品的客户服务支持方案,应该与具体的保障要求有关系,不知道是否会像通常的国外软件服务,仅能在工作时间电话,一般离线数据任务都是在凌晨时间运行,一旦出现问题,如何快速响应,也是需要在产品采购时关注的。

3

新时代数字化建设方案

企业数据中台的构建解决方案架构与落地路径

最后就是交付实施了,对于传统数仓交付的团队,对于Informatica应该不算是陌生的,但是在国内这一类的服务商一直没有发展起来,原因就是太依赖产品了,Informatica不是中小企业的预算可以承受的,所以比较难以规模化,尤其是在云计算的冲击下,消费互联网发展逐渐开始趋平,产业互联网开始兴起,或许企业中会有更多的资金投入到数据管理的领域,

但是,中国国内企业的现状而言,估计还是不仅仅采购一个产品这么简单,如果产品版本过于复杂,操作需要极强的专业性,那么也很难规模化;

对于企业而言,不仅仅需要一个有着丰富功能的产品,还有有支撑通过产品去实现商业成功的团队或者技术支持,所以选择一个有着完善生态交付能力的产品或许是更好的选择。

2019年云栖大会上,阿里云数据中台推出产品Dataphin,其中有个介绍对于国内企业还是参考意义的,产品具体的介绍如下:

“阿里云数据中台,基于阿里巴巴近十年的大数据建设经验,沉淀出一整套的数据采集、建设与管理的方法论体系,并产品化为Dataphin产品,形成数据的采、建、管、用 一站式全链路服务能力,在中国乃至世界企业数字化转型中,承载枢纽位置,助力企业实现数据资产化和价值化!”

Dataphin在产品能力在于数据虚拟化上,通过定义一系列的原子的概念,如维度、业务过程、原子指标、业务限定、派生指标,以及模型内的关系,如维度、属性、关联关系等等,从而实现数据生产的自动化,进而实现在开发层是面向业务逻辑的开发、在使用层面是面向主题式模型的引用,进而实现了数据的虚拟化能力。

D

总结

目前,阿里云数据中台产品矩阵正在不断地优化和发展。建议企业在选择的时候,不要盲目,适合自己的才是好的、对的!


如您对商业智能,数智化转型感兴趣,请加微信:wendy199it

]]>
如何保证经营报表数据实效性、多样性、准确性:用Dataphin我实现了自动化建模 //www.otias-ub.com/archives/1095908.html Tue, 04 Aug 2020 04:21:58 +0000 //www.otias-ub.com/?p=1095908 本文来源:数智化转型俱乐部

随着大数据趋势的迅速增长,数据的重要性与日俱增,企业内看数据、用数据的诉求越来越强烈,其中最常见的就是各种经营报表数据:

老板早晨9点准时需要看到企业核心的经营数据,以便进行企业战略及方向决策
业务负责人不定期进行个性化的项目筹划,需要多维、及时效果数据以优化项目安排
运营需要和高层一致但粒度不同的经营分析数据,并进行活动策略调整
……
举个经营报表的例子:

这个例子并不复杂,但是对于分析师或者业务开发者,实际执行的复杂度和工作量并不小,而且类似的工作每日都在重复……业务发展越快,带来的问题就越来越多:

加工时间长、人工成本高,招再多的分析师也难以满足需求
代码可读性差,数据可维护性差,类似需求需要反复、重复开发
代码开发不规范,加工过程中难以避免的计算存储浪费
得到的数据指标,复用性差导致重复建设,数据越来越不标准规范
这种情况下,对业务的直接影响就是:决策周期长(数据需求满足慢),决策易出错(数据指标口径不一致)。

既要保证数据生产时效性——及时产出数据并满足需求,又要支持数据多样性——企业自下而上不同业务分析场景,最后还要保证数据准确性——任何时间、不同岗位的人都能用同样的数据解读经营情况,怎么才能做到呢?

企业的发展加速,离不开20世纪的文档管理转到21世纪的信息管理。同样的,如果繁复的指标代码编写工作,也可以如计算器一般,界面可视化点选,复杂的代码研发过程由计算器自行处理完成就好了。

而Dataphin的自动化建模功能,就可以很好实现这个能力。

1

选择组合条件

如下图,确定需要统计计算的值,Dataphin里称为“原子指标”——最小的数据值统计单元,比如用户数这样的统计值等,然后组合如下内容:

A. 统计计算值需要应用的分析对象,Dataphin里称为“统计粒度”——维度或维度的组合,比如用户星级、用户状态等

B. 数据统计计算的时间周期,Dataphin里称为“统计周期”——统计数据需要跨越的时间长度,比如最近1天、最近30天、自然周、自然月的等

C. 数据统计的其他个性化限定条件,Dataphin里称为“业务限定”——数据记录的筛选过滤条件,比如生鲜业务类型、PC端、女性等

2

预览指标

选择完毕组合条件后,可以预览组合出来的派生指标:
1)组合的指标,默认名取“原子指标+时间周期+业务限定”组合名,保证命名标准规范。
2)历史已生成的组合,不再生成,保证指标建设统一,无重复

3

一键自动化生成

确认需要提交的指标后,一键【提交】,分钟级指标生成:
1)自动汇聚至以“统计粒度为主题”的汇总逻辑表表下,保证管理标准规范;
2)代码和调度依赖关系,系统自动生成;
3)派生指标基于汇总逻辑表,可快速雪花模型查询使用指标、分析对象的属性信息。

①派生指标自动汇聚至汇总逻辑表

②派生指标所在汇总表节点,代码及调度关系自动生成


③汇总表及派生指标可查询消费


4
复杂需求实现

上面主要是基于简单统计指标实现,实际上,报表需求还有类似 比率型、乘积型等复合统计方式,比如“客单价=销售额/客户数”,这类也可以通过Dataphin的衍生原子指标实现:

1)衍生原子指标是基于原子指标的再组合;

2)基于衍生原子指标新建派生指标时,需要保证拆解到最细粒度的原子指标,有相同的分析维度、时间周期,允许维度的计算路径不同、设置的业务限定不同。

①新建衍生原子指标


②基于衍生原子指标新建派生指标


D
总结


上面步骤可以看到,派生指标的计算生成,离不开原子指标、业务限定、统计粒度的协助,这其中有什么奥秘呢?

其实很简单,用Dataphin高效创建派生指标,掌握这1张图就够了:

1)原子指标为核心,原子指标的来源表为中心

2)统计粒度取自来源表的关联维度,以及关联维度上的关联维度

3)业务限定基于来源表为中心的雪花模型做定义

4)统计周期可任意搭配使用


如您对商业智能,数智化转型感兴趣,请加微信:wendy199it

]]>
阿里巴巴数据专家干货|数据中台模型设计系列(一):维度建模初探 //www.otias-ub.com/archives/1095905.html Tue, 04 Aug 2020 04:00:12 +0000 //www.otias-ub.com/?p=1095905 本文来源:数智化转型俱乐部

摘要
本文从几个常见概念入手,介绍模型设计与它们的关系,在列举当前企业模型设计的建设方法,并重点介绍“维度建模”。

1

与几个概念的关系操作型业务系统

对于这个概念大家都不陌生。企业业务赖以运转的交易系统就属于操作型业务系统。因此它是为了保障业务正常运转,能够更快的处理事务。

但是因为它是针对某一特定的意图(例如满足交易业务),它不需要承诺与其他业务系统共享公共数据。因此就出现了适合于企业中交叉应用的ERP、主数据系统。当然对于有建设业务中台的企业来说,基于微服务架构的各个服务中心,能更好的提供可复用统一的公共数据。

不管是面向业务的业务系统、经过数据统一后的主数据系统或者基于微服务架构的服务中心的数据,都是作为数据中台的数据输入源头。我们通过批量同步、归档日志采集等方式,能将数据采集进数据中台,作为ODS层原始数据的一部分。

ETL

英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。在ODS层的原始数据,需要通过加工处理后,才能进入到构建好的数据模型中。

在模型设计时,需要考虑ETL加工流程,根据逻辑判断,做模型的合理设计。同样对于下游使用数据模型的ETL元数据,也是作为模型设计的输入,可基于下游应用方式做模型的横向和纵向的拆分设计,这就是“元数据驱动模型设计”的理论来源。

因此,无法理解数据开发的模型设计师是不合格的。

数据应用

数据中台提供多种数据应用的形式,包括数据报表、智能数据产品等。将统一汇总加工后的数据或者明细原子数据提供给数据应用,为业务提供数据支撑。

更加合理的数据模型设计,能够给更宽泛的应用提供数据支撑,也能够让业务方更准确无疑义的使用好数据。

2

几种企业常见的建设现状烟囱式

也许大家都不愿意承认,但是绝大部分的企业当前是没有统一、标准、公共、全局的模型设计的,而仅仅是把数据同步上来,然后基于业务需求做烟囱式的数据开发。这种方式也许从短期来看是效率最高的,但是从长期看,不仅仅造成计算存储资源的极大浪费、没有统一可用的数据、大量的重复性的工作。企业的数据就像一团乱麻,根本无法管理。

三范式+数据集市

一些传统大型企业,由于历史原因,原子数仓中以三范式的模型设计方式构建,在各个应用的数据集市中以维度建模方式构建。通过这种方式,在原子数据设计过程中,需要投入较大的资源。

对于业务来说,三范式模型太复杂,用户难以理解和检索。并且对于业务频繁变化的企业,模型的维护成本极高。

企业级维度模型

基于企业全局的角度去构建业务总线矩阵,在此基础上完成维度模型的设计,是当前众多企业选择的方向。从众多互联网企业的数据中台实践经验来看,这也是一个绝佳的各因素平衡后的选择。

后面,我们将从各个角度来思考如何基于维度模型构建企业级数据中台。

3

维度建模初探优势

在数据中台建设经验中,企业级维度模型设计从理解性、扩展性、高性能上都是更适应当前的技术和业务环境的。

首先由于计算和存储成本逐步下降,模型更重要的变成了易于理解,当易用性放在模型设计的重要位置时,维度模型可理解的优势就显现出来了,维度建模一直就是以业务的视角来描述数据。

另外,当新的业务出现时,新的模型不会对已有模型形成冲击,可以无影响的产出新的模型数据。

维度建模会设计部分数据的冗余,通过冗余换来数据检索的高性能。对于数据量极具膨胀的今天,高性能给用户带来了高价值。

事实表

所谓的事实表,就是企业的业务过程事件的度量信息。例如对于支付这个业务过程来说,需要度量支付的商品数、金额等度量。因此,企业的业务过程数据以事实表的形式在模型中呈现出来。

事实表每行都对应了一个度量事件,每行数据是一个特定级别的细节数据。事实表中每个度量都必须是相同的粒度级别。

事实表中的度量的可加性也至关重要,因为业务方往往需要将事实表的数据基于某些维度进行汇总,在度量上需要能够做汇总累加。

事实表还是稀疏的,它仅仅会将发生的业务过程数据放入其中。

维度表

维度表是事实表不可或缺的组成成分,它描述了事实表业务过程度量的环境。用于描述“谁、什么、哪里、何时、如何、为什么”有关的事件。

维度属性是作为查询约束、分组、标识的主要来源,因此它的好坏直接决定了数据的可分析性的差异。维度属性需要是可理解的,因此需要尽量避免“0,1”之类的代码,将代码翻译成更易理解的字符避免业务的误解。

同样,会有一些数值型的可作为维度属性。例如:也许有人会问商品标价适合在事实表还是维度表中?

当用于计算度量时,它应该存在于事实表中;但是当它用于做约束、分组、标识分析时,则需要存在于维度表中。在维度表中,我们往往会把连续的数据换成离散的数值存储,例如:将标价变为价格区间段。这是要根据对业务的理解做进一步设计的。

雪花模型与星型模型

所谓的雪花模型,是当有一个或多个维表没有直接连接到事实表上,而是通过其他维表连接到事实表上时,其图解就像多个雪花连接在一起,故称雪花模型。

而星型模型则是所有维表都直接连接到事实表上,整个图解就像星星一样,故将该模型称为星型模型。

雪花模型是对星型模型的扩展。

星型模型是一种非正规化的结构,多维数据集的每一个维度都直接与事实表相连,不存在渐变维度,所以数据有一定冗余。因为有冗余,所以很多统计不需要做外部的关联查询,因此一般情况下效率比雪花模型高。

但是从可理解性上看,雪花模型是更容易让业务理解的。因为业务可以从模型上看出维度与维度之间的关系。

因此如何平衡查询效率和业务理解?我们在后面的文章中再细细道来。

总线矩阵

总线矩阵,维护的是企业的各个业务过程与一致性维度的关系。是以企业的高度实现的顶层设计。它的存在对于数据中台项目至关重要。

如果数据中台的模型设计就是一本书,那么总线矩阵就是这本书的目录,能从整体上对每个模型有统一的定义。

从项目协调上看,总线矩阵在大型项目中起到举足轻重的地位,整个项目组都能基于这个目录清晰的明白自己在做什么,别人已经做了什么,极大程度上的避免了信息沟通不畅导致的重复定义。

从项目管理上看,也可以基于总线矩阵对模型设计和开发进行有效的优先级排期。

最后,总线矩阵是共同业务人员和技术人员的桥梁,通过总线矩阵在项目沟通中达成一致的语言。

D

结语
通过这篇文章,初浅的对数据中台模型设计发表了一些观点。

在后面的章节中,我们将继续围绕模型设计的技术细节、结合行业的模型设计案例,和数据同仁们做进一步的分享和交流 。


如您想加入199IT商业智能群,请加微信wendy199it

]]>
阿里云金融行业数字中台:金融机构需要的“航空母舰” //www.otias-ub.com/archives/1093336.html Fri, 31 Jul 2020 04:50:39 +0000 //www.otias-ub.com/?p=1093336
本文来源:阿里云数据中台数智化转型俱乐部 
作者:轻金融 作者 李静瑕
摘要2020将是中国金融行业数据中台建设元年。2020年2月至今,作为阿里云新金融“一号位”,刘伟光一共拜访了65家客户,深刻感受到了疫情倒逼金融机构加速线上化和数字化进程。让他感触更加深刻的,是收到多家大型银行关于“数据中台建设”的沟通需求和邀请。

与以往不同的是,这次数据中台建设的需求发起部门是银行的业务部门;而在以前,银行上马此类科技型项目通常由科技部门发起。

“这是一个很大的变化,意味着银行想把数据变成资产,应用在所有的业务流程当中,打通各种业务。”身为阿里云智能新金融事业部总经理的刘伟光说。

“中台”是阿里巴巴在2015年率先提出来的概念,历经多年内部实践之后,沉淀成为集方法论、工具、组织于一体的智能大数据体系。阿里巴巴于2018年正式通过阿里云对外开放“中台”,助力金融、零售、政务、互联网等行业数字化转型。

过去两年,中台大热,很多公司效仿阿里推出了各类中台。在金融行业,关于中台的争议也有升温:银行已经搭建了数据仓库、数据集市、数据湖、大数据平台等,再建数据中台是否存在重复建设?

7月30日,阿里云“2020数据中台高峰论坛”在西子湖畔举办,给众说纷纭的数据中台一个清晰的答案。

“我坚信2020将是中国金融行业数字中台建设元年。”在刘伟光看来,不仅是银行,包括保险和券商等金融机构都迫切需要建设数据中台。

待挖掘的数据宝藏

金融业流传着一种说法:金融机构之间的竞争越来越集中在数据上,即“数据为王”。但对于金融机构来说,该怎样才能把数据真正变成资产?

此前,包括银行在内的金融机构在数据挖掘上有过长时间探索。早在2001年3月,工行率先在银行业内建设数据仓库,以打破“信息孤岛”,掀起了一波为期十年的数据仓库建设的浪潮。

如今,数据中台已经成为了金融业的普遍共识。在银行业,包括农行、建行、招行等在内的大行都在向“数据”要生产力,沉淀数据、运营数据,使用数据;在保险行业,保险公司在寻找用人工智能等技术去简化与优化保险理赔、核保、出险过程;在资管行业,多家基金、信托、券商都寻求在数据中挖掘新机会,在新一轮的竞争当中破局。

事实上,银行、证券、保险等行业数据平台的建设周期和历史不比互联网行业时间短,在数据使用上,这些行业的机构基本上都积累了一定的经验。但由于历史原因,这些数据都分散在不同部门。

“数据宝藏在那儿,但却不知道如何挖掘。”一位银行科技部的高层对轻金融表示。

对各类金融机构来说,今天都面临这样一个挑战,即怎样把数据真正变成资产,因为数据资产是所有变革背后最重要的纽带。

金融机构该怎么办?答案是把数据进行打通,建立统一的数据中台。

“金融机构要通过中台把数据变成一个自由流动的资产,把数据智能等能力嵌入到业务流程之中,为每一位员工提供分析、预测和决策支持,而不是割裂在很多系统当中。”刘伟光表示。

也就是说,以后金融机构的业务团队也是数据科技团队。

“我坚信2020将是中国金融行业数字中台建设元年。”在刘伟光看来,不仅是银行,包括保险和券商等金融机构都迫切需要建设数据中台。

金融数据中台:让机构没有部门墙

一家位于上海的银行,零售业务非常突出,但是他们面临新的烦恼。

这家银行发现,行里到处都在做风控。跟蚂蚁、跟其他互联网公司合作的人在做二次风控,信用卡团队在做风控,自建场景、开放银行等团队也在做风控,面临着很多重复建设。

这家银行找到阿里云并提了一个需求,能不能全行建立一个统一的风控平台?

另一家大型的保险公司也发现,公司建了非常多的数据系统,也建了数据仓库,但却无法找到真正对寿险、财险交叉销售有帮助的真正数据资产。

其实,这样的例子非常多。重复性建设带来IT投资的浪潮,更严重是导致数据割裂、不能复用。有金融从业者估计,超过70%的数据价值没有被利用起来。

用刘伟光的话说,今天的金融数据还没有像自来水一样,能够自由的流到每一个角落。

在这样的背景下,数据中台的价值就凸显出来了,通过数据让企业没有部门墙,所有的业务可以共享数据。

为什么金融数据中台很重要?

因为数据中台是一个真正的金融机构全局视角的工程,强调数据能力高度复用、资产复用,站在用户视角,为每个业务提供数据资产级别的决策支撑。

在阿里云看来,中台是一个系统,包含了技术、方法论、组织建设,以及打破部门墙的文化建设,包含“一把手”驱动的文化。

“金融数据中台最重要的变化是把数据变成全行级,让所有的员工都能使用数据服务。这本身就是要打破机构的部门墙、数据墙。”刘伟光称。

但是在谈及数据中台的时候,与之对比甚至争议的是数据库、数据仓库、数据湖、数据集市等名词。

对此,阿里巴巴数字经济体数据专业委员会委员长朋新宇告诉轻金融,从管理决策权方面来说,企业构建数据仓库、数据湖等,为管理层提供决策为主;而数据中台的建立,则能够快速为一线前台员工进行服务决策。

数据中台能够激发出对业务需求的快速反应能力。当然,也必然意味着企业组织架构的调整,朝着敏捷时代进发。

那么,金融数据中台如何给金融机构带来业务价值?

有这样一个案例,可以更清晰的看到金融数据中台带来的价值。

某省级农信社以前信贷审批全靠人工,线上业务刚刚开展缺乏线上风控能力,营销筛选也靠人工,大数据平台则主要靠写代码操作,维护成本高,且存在指标口径不统一等难题。

阿里云为其提供了智能决策平台,综合农信社的业务偏好,建设了线上业务风控体系;使用智能决策平台引擎部署信贷全流程风控策略、模型,实现统一数据规范、统一口径、统一管理。

最终,该银行的智能贷款实现了实时信贷风控;信用卡刷卡消费实现实时营销,支持圈选目标客群进行定向营销。

让数据像水电一样伸手可得

“随时看到我想看的所有数据,随时调取,没有任何时间的延迟,这是数据服务的力量。”

在今天,阿里巴巴每个员工对数据就像“水”一样伸手可得,未来数据中台的建设会成为继数据仓库之后新一轮的建设高峰。

阿里云当前为金融机构提供的数据中台服务,正是阿里集团这些年沉淀下来的数据能力。

不过,阿里的数据中台建设也并非一蹴而就,有一个漫长的过程。

2013年,阿里实现数据存储计算平台统一,内部称为“登月”;

2012年~2014年这一阶段,阿里提出数据服务化,数据中台方法论这个时候被提出,并尝试落地;

2014年~2015年,阿里升级集团数据公共层,开启了集团数据建设与管理体系统一,这是基于电商体系的方法论升级与实践;

2015年~2017年,数据公共层升级到阿里系,更多多样业务的工具化升级实践;

2017年,基于阿里经济体,全面启动了集团中台战略,提出阿里经济体的数据中台建设。

目前,阿里数据中台具有两大优势,一是从工具到应用都更加全面;二是阿里真正做成过数据中台,一步步走过了跟银行、证券等金融机构一模一样的路,最后走到数据中台。

对于金融机构而言,阿里云金融数据中台核心价值有四个,其中两个是降本和提效,另外两个价值则是阿里云独有的——实现业务增长和组织升级。

朋新宇告诉轻金融,阿里云当前为金融机构提供的数据中台服务,正是阿里集团这些年沉淀下来的数据能力。阿里云把自身在数据中台建设过程中积累的好的方法、好的产品模块,最终沉淀成了多款产品,即“两横两纵”,构成了数据中台的核心组建能力。

一方面,数据采集、数据管理成为阿里云横向的数据平台的核心能力;另一方面,阿里云不仅把业界经常流行的问题研发成一套独特的分析方法、框架和模型,还较好兼顾了运营与洞察能力。

今年6月,阿里云宣布数据中台已经深度联合蚂蚁生态,为金融机构,提供理财业务“线上用户增长”、整体的数字化运营解决方案,这也是市场看重的优势。

在沉淀上述能力之后,阿里云还在推动企业数字化升级,推出基于数据中台业务模式的解决方案和云上数据中台的赋能业务。

阿里云正在做的事情,是把中台项目背后的产品真正变成一个通用的商品,能让客户在阿里云的平台上快速地实现从1到N的复制。

当然,金融机构在厘清数据中台的同时,更要理清自身的需求,如果简单跟风模仿,“为中台而中台”,那么中台的价值是难以实现的。

结语

很多人问刘伟光,提到数据中台,在他脑海中会浮现什么形象?刘伟光想到的第一个形象就是超级航空母舰。

“航空母舰上面有飞机维修、加油、供给等很多职能,数据中台就像航空母舰一样,是输送炮弹、输送能力的平台。”

当然,就像航空母舰需要不断维护与升级一样,中台建设也不能一劳永逸,而是需要不断迭代,提升与业务不断融合的能力。

最终,真正的中台不是一个外挂在核心系统之外的数据平台,而是将数据能力嵌入到每一个业务流程中的智能大数据体系。


如您对商业智能,数智化转型感兴趣,请加微信:wendy199it

]]>
阿里云推出金融数据中台 助力金融机构数智化转型 //www.otias-ub.com/archives/1093338.html Fri, 31 Jul 2020 04:42:55 +0000 //www.otias-ub.com/?p=1093338

欢迎关注公众号:数智化转型俱乐部

7月30日,在杭州召开的数据中台高峰论坛上,阿里云宣布正式推出金融级数据中台,助力金融机构构建全方位数据资产化的整体方案,从数据和组织变革的层面加速数字化转型升级。

据介绍,阿里云金融数据中台是集方法论、工具、组织于一体的智能大数据体系,能够帮助银行、保险、证券等金融机构把数据智能等能力嵌入到业务流程之中,赋能组织和员工,进而实现金融业务增长和创新,让数据以资产化的方式为业务的增长而赋能,从而加速整体数智化转型进程。

在具体实践中,阿里云金融数据中台通过联动蚂蚁集团的生态,帮助金融机构实现业务增长;通过丰富的工具和产品,实现金融机构数据仓库、大数据平台的迁移与融合,在搭建底层数据处理技术能力的同时叠加数据应用和数据研发以及数据智能的能力,让数据处理技术和数据应用技术融为一体;通过专属的安全和加密技术,保障金融机构内部合规、安全地在授权范围内使用数据。

“金融数据中台打破了金融机构的部门墙、数据墙,让数据真正变成全局性资产,并让所有员工都能在工作中基于数据智能进行分析,预测以及决策。”阿里云新金融事业部总经理刘伟光表示,金融数据中台将触动金融机构自顶向下的组织变革,它将扮演“航空母舰”的角色,为业务和科技的融合创新提供强大的动力和支撑。

据了解,以往银行、保险等金融机构的科技部门为支撑各业务部门运营,构建了数据仓库、数据集市、大数据平台等技术体系,在当时的技术条件和业务发展情况下,对金融业务发展提供了有力的支撑,但是在面临金融互联网时代到来和开放金融的巨变环境下,这些系统建设的短板也逐渐显露,出现数据割裂、难复用,使用难等问题,不能在今天发挥对业务更大的价值,无法让数据向水和电一样唾手可得以及在安全环境下的自由流动。

鉴于此,2015 年阿里巴巴在国内率先提出数据中台概念,历经内部复杂场景的实践后,阿里巴巴于2018 年正式通过阿里云全面对外开放数据中台能力,加速企业实现数智化转型,迄今已在金融、零售、政务、互联网等行业成功落地。


如您对商业智能,数智化转型感兴趣,请加微信:wendy199it

]]>
数据中台的前世今生 :带你全面了解阿里巴巴做数据中台的历史 //www.otias-ub.com/archives/1092683.html Thu, 30 Jul 2020 05:06:09 +0000 //www.otias-ub.com/?p=1092683 本文来源:数智化转型俱乐部

数据中台自14年至今,已然成为了2B、2G业务最热门的话题,政府机构、企事业单位、互联网公司等进行着数字化、数据化、智能化转型。市场普遍认为,阿里巴巴将自身数据中台建设能力对外赋能是拉起本轮数据中台浪潮的根本所在。

本文将带你全面了解阿里巴巴做数据中台的历史。

1

缘起

在2014年以前,阿里巴巴有很多条业务线,都有自己的ETL团队,每个ETL团队建设和维护自己的数据体系。当时许多人认为,这种自下而上的自给自足能够最高效地满足业务需求。也因此,各个ETL团队之间缺乏相互信任,也缺乏最大化互通的可能性。

即便在2020年的很多公司,这种现象也普通存在。不同部门、不同业务、不同系统之间都有自己单独的ETL处理体系,每个ETL体系只关注与自己垂直业务相关的需求,并从底向上完整支撑业务体系。这种情况的出现,大多是由于业务发展迅速,为了快速低成本的满足业务数据需求,单独拉出数据支撑团队造成的。

对于当时的阿里巴巴而言,这种分散数据处理体系带来了很多问题。以日志采集数据为例,就同时存在若干份数据:淘宝数据基础层、广告数据基础层、搜索数据基础层各有一份日志数据,不仅直接耗费了非常多的存储资源,更重要的是扼杀了数据中间层和数据应用层等复用的可能性。

图2014年以前阿里巴巴分业务自建数据体系的抽象图

下图展示的是2014年以前,阿里巴巴各个数据团队建设的数据任务关系图。每个圆形代表着一条业务线的数据任务集合,任意两个圆形之间的连线代表着两者的关系。由此可见:数据处理流向是混乱的、无方向性的;数据管理是无序的,基本处于失控状态;除了浪费研发资源和存储资源,也必然满足不了业务需求。

图阿里巴巴数据公共层建设之初计算环境1上的数据任务关系图

业务猛烈发展与数据支撑能力不匹配产生了巨大的矛盾,也促使阿里巴巴内部开始进行数据公共层的建设,数据公共层旨在可持续地建设阿里巴巴智能大数据体系。

2

发展

从零散的数据到统一的数据

从2014年起,阿里巴巴启动数据公共层建设项目,以OneData体系特别是方法论为指导。

数据公共层建设初期是为了消除因”烟囱式”开发给业务带来的困扰和技术上的浪费。而OneData体系是保障和推进项目建设的关键。OneData体系一方面致力于数据标准的统一,另一方面追求让数据变为资产而非成本。OneData体系除了方法论,还包含工具型产品、规范等,具体体现为:数据规范定义、数据模型定义、模型智能化设计、规范ETL开发、落实数据规范和模型定义的研发工具、对于整个体系的自动化调优和监控。

通过建设统一的ODS数据基础层,建设基于业务应用或需求来源端的抽象数据逻辑层来丰富数据中间层,允许数据应用层的百花齐放来打造阿里巴巴数据公共层。从而将零散的数据变为统一的数据。

从数据孤岛到数据融通

在业务突飞猛进发展过程中,不同的事业部、业务条线会为了快速实现需求,数据单独定义、存储、使用,从客观性来讲,每个发展壮大的企事业单位都避免不了数据孤岛的产生。数据孤岛不仅包含物理孤岛(独立存储、维护、使用),而且包含逻辑孤岛(定义不一致、计算逻辑不一致)。

阿里巴巴创新性的创建OneID体系,将所有业务范围(电商、金融、广告、物流、文化、教育、娱乐、设备、社交等)中的人、货、场、物、钱等实体打通,解决体系内逻辑性数据孤岛问题。在阿里云的强力支撑下,集团内所有隔离数据进行统一的存储和管理,解决体系内物理孤岛问题。

从数据孤岛到数据融通,使得数据拥有创造价值的可能性。

从授人以鱼到授人以渔

从以定制化开发的方式将数据交付到业务人员,到基于数据规范但需要配置,再到全链路数据打通,直到主题式服务,阿里巴巴一次次努力追求的正式从授人以鱼到授人以渔。

2012年前后,服务于1688有超过300多个API,梳理后发现这些API之间无法整合,因为每个API只服务于一个业务应用而不能被共享,API应用的数据应用层数据表也不能被共享。

从2012年至2016年,阿里巴巴通过OneService体系将API数据服务从物理表SQL模式升级至面向主体查询逻辑模型的SQL模型,大大提升了系统的可用性,也使得数据中台面向业务人员使用变成了现实,达到了授人以渔的目标。

3
从数据成本到数据价值

对于大部分企业来说,业务系统创造的数据不仅需要占据大部分的存储空间,而且还需要技术人员持续维护,是一笔不小的成本开支。

阿里巴巴致力于将数据从成本中心变为资产中心,在业务数据化与数据业务化两大方向,数据赋能业务、驱动创新四大业务场景上取得了丰硕的成功。

数据中台赋能业务、驱动创新的四大典型场景包含:全局数据监控、数据化运营、数据植入业务、数据业务化。

全局数据监控,如战略决策的智能方案:最大限度降低数据分析的难度,最大程度提高数据分析效果,同时不动声色中传递品牌价值,以高效优质地辅助战略决策和数据化运营。

图双十一数据大屏&银泰互动大屏

数据化运营,如用户管理的智能方案:基于全链路全渠道的数据构建、数据连接与萃取管理体系,对用户进行全生命周期的精细化管理(如智能CRM)。

2017年热播的一部电视剧,该电视剧在优酷土豆独家播放十天,播放量就突破了60亿次,属于”现象级IP”。但这样的”现象级IP”并不是偶然产生的,除资本投入因素外,数据化运营在其中发挥了巨大的作用。

事前通过舆情分析锁定IP,及时独立采购IP;事中实时监控流量变化、播放情况,及时调整流量入口,有针对性的推送用户;事后,及时总结和复盘,进行用户沉淀,挖掘相似内容,形成闭环。

数据植入业务:智能图像鉴别,智能客服。

通过数据模型算法,将图像鉴别从手工变为自动化,节省95%以上工作量。

图数据智能植入业务系统

数据业务化,如零售管理的智能方案:规避传统零售的松散式管理,将库存、定价、补货、销售等统一协同,整体提升线上线下零售体验和效果(如生意参谋)。

4

集大成

到今天为止,阿里云数据中台体系(Dataphin、QuickBI、QuickAudience)经历了阿里几乎所有业务的考验,包含新零售、金融、物流、营销、旅游、健康、大文娱、社交领域。在此过程中,云上数据中台除了形成自己的内核能力外,更向上”赋能业务前台”、向下与”统一计算后台”连接并与之融为一体,形成云上数据中台业务模式。

同时,阿里巴巴从2018开始,将自身的数据中台能力向外输出赋能,对社会创造更多价值。


如您对商业智能,数智化转型感兴趣,请加微信:wendy199it

]]>
排队五小时才能吃上一口的Popeyes,要借阿里云数据中台10年内开足1500家门店 //www.otias-ub.com/archives/1092664.html Thu, 30 Jul 2020 02:16:33 +0000 //www.otias-ub.com/?p=1092664 摘要:“阿里云数据中台让数据建设变得像搭积木一样简单。”

几个月前,还没多少国人了解美国炸鸡品牌Popeyes,但现在,Popeyes却成为上海滩最火爆的网红店:5月在上海市淮海中路开出首家门店当天,早上7点半,第一条队伍就已排出了半条街。

面对良好的开局,Popeyes却丝毫不敢放慢脚步。

Popeyes 中国区CEO Raphael Coelho在接受媒体采访时表示,外来品牌在中国市场迅速站稳脚跟并实现盈利的关键在于快速达到规模,“从第1家店快速扩展到400家店,没有达到这一规模是很难生存下来的;而成功的品牌在跨过这个槛以后,会迅速进入盈利期。”

在Raphael Coelho看来,想要实现这一目标,离不开数字化运营, “数字化是生意标配,是在行业生存的基本技能。”

正是基于对数字化的高度重视,Popeyes早早地就为自己挑选好了最为合适的数据建设解决方案——阿里云数据中台。

Raphael Coelho认为:阿里云在零售行业中的实践,已经证明了他们能够在短时间内为企业搭建起完整、可靠的数字化能力。

不止精准营销,数据还能指导门店选址

目前,Popeyes拥有会员、供应链、支付三大数据体系。其中供应链、支付数据体系已经实现基础打通,可以满足现阶段财务场景的数据分析和使用,但会员数据体系建设却还只是出具规模。

过去两个月,Popeyes在上海陆续开出三家门店,其注册会员数突破20万,“但目前主要还只是把会员信息沉淀下来并进行一些基础分析,”Popeyes CIO 张天介绍,“我们希望能够借助数据中台的能力,实现更为智能的消费者资产管理和运营,更好地为顾客提供服务。”

现阶段Popeyes的会员数据大多积累在自身CRM系统当中,分析维度还较为常规,离数据驱动的运营和有效洞察还有一段距离。正因如此,尽管在短时间内Popeyes在上海连开三店,且把新的市场增长机会瞄准毗邻上海的杭州,可在消费者精准洞察与营销方面,Popeyes却还一直处于准备阶段。

张天透露,Popeyes会员数据体系的建设会着重依靠数据中台来做。在他看来,企业的基础数据建设和处理,就应该交给成熟的产品化解决方案来进行,而不是投入大量人力成本去重新创造前进的“轮子”,“像数据中台核心产品之一Dataphin,能够减少企业在数据处理和管理方面的工作量,让企业的精力能更多地放在对业务及消费者的分析上面,从而让企业更快更好地实现数据驱动下的运营和营销“。

据了解,Dataphin能够将会员信息集中管理并形成符合前端业务场景使用逻辑的标签体系,并通Quick BI实现可视化展现——值得一提的是,Quick BI目前正在深化在钉钉端的集成应用,未来可以支持企业在移动端的数据处理操作;此外,已经规范且符合前端业务使用场景的消费者资产,还能通过数据中台另一核心产品Quick Audience进行全域洞察和营销,并将相关效果数据回流反哺。

通过这一完整的数据流通闭环,Popeyes能够实现面向会员人群的数字化精准营销。

但在张天看来,数据中台在会员数据体系搭建方面能带来的价值,远不止于此。

“与其他行业不同,餐饮是个更加注重门店选址的行业。”张天介绍,目前Popeyes在上海的三家门店已经能够覆盖休闲、办公、社区等多个消费场景,且在9月前还将陆续在上海和杭州开出新的门店。

如何根据会员信息及消费大数据进行有效门店选址,是包括Popeyes在内等餐饮企业的一大重要课题。

张天举例,核心商圈的门店凭借周边客流能够吸引大量消费者,但这类人群一般都是“一次性消费”;设立在办公楼间的门店,能够吸引周边办公人群的消费,且消费高峰期较为稳定,一般集中在午餐和晚餐时间段;而围绕住宅社区打造的门店,能够吸引到的消费者则相对更为稳定,除了午餐晚餐之外,夜宵时间段也会是一大消费高峰期。

以前这些信息大多靠经验所得,但在使用数据中台之后,包括各门店成交信息、会员信息都将以数据的形式加以沉淀打通,并在后期同城店铺选址时作为重要参考依据, “有了这些直观的数据,企业就能知道在这座城市里,自己已经覆盖了哪些消费场景和人群,以及现阶段的场景、人群短板在哪里,这些都将是它的新机会。”

数据中台在店铺选址层面的运用,其实就是帮助企业去找到消费者, “这样我才可以做到,消费者在哪,我的门店就跟进到哪。”张天补充。

从迟疑观望到积极推进,Popeyes要借势开出1500家新店

早在Popeyes之前,国内知名餐饮品牌海底捞就依托阿里云数据中台的数智赋能,在9个月内使得APP会员数量增长近50%,同时拓展极致服务边界。

而将目光跨越行业界限,阿里云数据中台还帮助蓝光地产充分打通全国60多个城市400多项业务数据和100多万业主信息,帮助运营部门一年节省90多万元运营费用。

除此之外,福建移动、良渚古城遗址、良品铺子等数十家企业都积极搭建数据中台,并获得实效。

回到Popeyes,张天在两年前第一次听说数据中台的时候,并没想到自己会在后来成为一名践行者。

他解释,这是因为那时候数据中台这个新概念刚刚兴起,大多数人并不清楚这是什么,“包括我自己,当时对数据中台也存有一种怀疑,这种怀疑不是说觉得这个新概念不好,而在于对其能否真正落地心存疑虑”,在张天的理解中,数据中台的架构需要对企业的核心业务能力进行沉淀和抽象化,这就导致它的实施和投入要比通常的一个业务应用项目工作量大得多,“这些企业是不是真的在做数据中台,还是只是把一个业务项目微服务化了,对于这一点我心存疑虑。”

但随着对Popeyes数字化进程的战略规划逐步推进及对数据中台的理解加深,张天发现,“公司决策层都认为数据中台的方法论是最合理且有战略远见的”,只是认知转变之后,又有了新的难题,“那会儿但凡是个公司都在说自己能提供中台解决方案,市场上的声音非常多,容易让人混淆。”

但好在Popeyes有自己的一套数据中台标准。

对Popeyes来说,相对大型的企业来提数据中台概念会更加有信服力,因为大型企业的数据系统及场景更为多样复杂,会更加懂数据中台的重要性和必要性;另外更重要的一方面是数据中台的提出者必须将全套方法论及解决方案在自身内部进行实践,只有自己真正使用过了才最有发言权——而阿里云数据中台,恰好满足了Popeyes的两大标准。

但彼时,却还是有不同声音传来:Popeyes未来一段时间内在数据层面可能遇到的问题,其实可以另寻单点工具进行解决——为什么要花几倍甚至几十倍的成本去搭建数据中台,这会不会有点“大材小用”?

但张天却有自己的看法:从长远来看,数据中台一定是最高效的解决方案。他说, “虽然现在建设中台,看似成本比较高,但是一旦建设完成,在未来就不需要一而再再三地对数据进行整合,所以长线来看,能够避免很多重复建设,降低运维复杂性,从而最大限度实现成本的优化。”

也正是有所经历,张天现在对数据中台才更有发言权。

他认为,数据中台能够为企业带来的价值,除了是一项解决方案之外,更重要的其实是整套核心方法论,即数据在线且打通。

虽然不同企业由于体量不同,所遇到的数据问题也不尽相同,但是它们都能够在数据中台的方法论里去找寻到适合自己的解决方案,“在阿里云数据中台的方法论框架下,企业可以像搭积木一样去挑选对应的产品,搭建出满足自身需求的数据中台。”

而在阿里云数据中台高级专家列文看来,数据中台的搭建也一定是为了满足企业的自身实际诉求,在这个基础上,数据中台所能带来的价值将不再局限于单纯的数据治理,而是对企业的整个数字化全链路的赋能,“这个过程贯穿供应链改造、新品研发、多系统数据打通治理、前端业务数字化营销等等,帮助企业构建强力高效的数智化闭环。”

也正是看到了数据中台所能带来的业务爆发潜力,目前Popeyes已经在积极布局上海以外的发展。

据了解,今年9月Popeyes会在杭州开出3家门店,10年内还将在全国开设1500家门店,“我们也将继续运用数据中台深钻消费者资产运营,去了解我们的消费者到底喜欢什么,不同城市之间的消费者会有什么差异,以此来不断提升我们的服务。”张天说。

]]>
阿里云数据中台产品设计逻辑:体系化矩阵类数据产品的设计构思 //www.otias-ub.com/archives/1090663.html Mon, 27 Jul 2020 07:13:04 +0000 //www.otias-ub.com/?p=1090663 本文来源:数智化转型俱乐部

摘要

当前,整个社会都处在产业升级和数字化转型的大浪潮中,如何在新的商业环境下,运用设计的方式,发挥设计的驱动力,助力整个数据产业的创新升级,是数据设计师们最核心的课题下图是我们在阿里云上可以看到的当前“阿里云数据中台”核心矩阵中的数据产品。这些数据产品分别通过输出阿里巴巴的数据智能能力,面向云上企业、用户,破解数据采集、建设、管理及应用等课题。

在对这些体系化矩阵类数据产品的设计构思中,来自阿里的数据设计师的都会遇到哪些设计难题,又如何解题呢?

1
体验架构构建:数据管理

阿里巴巴通过数据服务上云,目标是帮助政府、企业等用户合理便捷地管理数据,让数据为企业创造商业价值。

这类产品拥有海量的功能模块,错综复杂的交互流程,以及普通用户无法理解的强数据技术背景,用户体验正是其最佳的定义方式。

从商业竞争研究、业务链路梳理、场景化体验架构构建,再到产品的落地与售卖传播,设计师在这一环扮演着“商业规划师”的角色。

这里提到的“体验架构=体验流程+信息架构”,如何去构建产品的体验架构呢?

体验链路构建根据产品战略、行业竞争力优势及业务目标,全链路的定义产品分模块及体验关键触点。

信息框架设定:运用场景化及结构化解构思维,根据多角色需求,抽离用户多角色使用场景、提炼使用行为链路,设计师要真正站在用户的视角看问题,运用同理心,层层递进的剥丝抽茧,逐层架构产品信息框架。

信息过载解构出现产品级、页面级、功能级信息冗余时,为了减少对用户造成误导的情况,可以从场景层、信息层、逻辑层进行解构。

(Dataphin 体验架构构建案例)

2
可视化呈现:数据演绎

传统的数据表呈现方式无法跟上数据时代的脚步。

我们期望让数据开口说话,用最直观简洁的可视化语言展现商业背后的故事。从构建业务目标,设计故事版,抽离符号,典型用户分析,用户需求收集,到最后的可视化设计呈现,设计师为用户规划了洞察业务、经营决策的分析动线和场景化体验。

Dataphin中,为满足企业主看企业数据、技术看业务关联及数据资产情况。“数据资产全景”以可视化的方式进行呈现,根据用户关注点及场景,设计师定义了从“全局>流程>结构”三种视图,从全局到细节,满足用户多维监控探索的需求。

3
从数据智能到商业智能:数据增值

1.工具化设计

BI工具可以满足用户从数据处理,数据查看,数据分析到数据洞察的全链路分析需求,并用最直观的可视化方式进行商业的探索。

设计中,可视化图表的丰富、易搭建,工具的易操作,产品的多维分析能力都非常重要。设计师需要从可视化分析、工具化体验等不同维度进行方法体系深耕,用专业性说话,让产品具有丰富的工具配置能力、深度的工具洞察能力,才能帮助产品更稳定成熟的迭代,建立行业竞争力。

(Quick BI 可视化组件模型及工具框架搭建)

2.智能化设计

如果说BI工具的工具化能力是产品的基础能力,智能化能力则是产品加在行业竞争力上的砝码。Gartner 2019发布的魔力象限报告中指出,通过人工智能、机器学习等技术实现的增强分析已是BI产品发展的最重要、也是最显著的趋势之一。

如何用体验赋能数据智能,如何以全链路的视角打造闭环的用户体验?

行业竞争研究了解行业产品布局,挖掘竞争力优势。

可行性挖掘与技术共建,多思维碰撞,了解知识图谱,自然语言理解,意图识别等最前沿的人工智能算法技术,全流程思考,不断挖掘设计可行性,设计赋能业务。

专业规则定义:辅助定义用户分析意图,可视化匹配规则、NLP交互规则,多轮对话逻辑,兜底问答逻辑等,做专业性定义。

设计师运用自己的专业能力,赋能打造低使用成本、轻松问、精准答的数据智能小助理,驱动产品从数据智能到商业智能的进程。

4
度量标准:软性评估
从2018年初始至今,云上产品矩阵生态初步形成,当前整个云上产品矩阵处在成长期-初创期及成熟期之间。该阶段产品小步快跑,快速迭代,不停歇的补齐有竞争力的产品功能。我们尚无法拿到成熟的使用数据指标,那如何度量产品是否健康的进行着商业化呢?

生命周期评估产品上线后,记录功能的生命周期,不容易被更新或被替代,代表生命周期长,反之短。生命周期短会造成大把的研发投入被荒废,设计结果不尽人意。- 评估可用性

用户反馈评估新功能上线后,收集用户已有功能建议及无法满足的需求,记录反哺产品需求,辅助产品迭代。-辅助迭

续签率评估随着用户对产品的熟识,商业化营收续签率增长,说明用户对产品接受度较高,对产品产生正向影响。- 评估商业化健康度

我们暂时把这几种度量方法定义为软性评估,更适用于B端成长期的产品,帮助产品节省研发成本的同时进行稳定迭代。

小结在大数据时代,数据服务的产品化上云步伐不停继续,前路任重而道远。作为数据设计师们,需要不断突破设计师的限制,从多角度思考,运用设计的专业能力在产品中发挥更多的主观能动性,打造强有力的行业竞争力,同时定义可传承可复制的数据产品设计模式,长远赋能整个数据行业。


如您想加入199IT商业智能群,请加微信wendy199it

]]>
阿里云Quick BI和微软云Power BI实测比对 //www.otias-ub.com/archives/1090377.html Sun, 26 Jul 2020 05:15:04 +0000 //www.otias-ub.com/?p=1090377 本文作者:大涛学长

摘要:

Quick BI和Power BI分别是阿里云和微软云上的官方BI产品,两款产品都是比较好的自助式商业智能软件,都具备云BI的优势,既能够像SaaS运行在阿里云或者Azure云上,又能快速部署到本地的服务器中运行。但是,两款产品还是有非常大的区别的;比如Power BI微软主打的是组合策略,需要Power BI Desktop、Power Query、Excel等多个产品的各自使用;Quick BI崇尚“高效数据分析与展现”,是基于网页版能实现数据建模、可视化报表以及类Excel分析、数据门户分享等一站式数据分析链路。那么两款产品比较起来到底哪个更好用?下面我们对这两款商业智能软件做个对比评测。

一、Quick BI对比Power BI:数据源连接

从数据引擎的对接能力来看,两者差不多,比如Power BI支持连接文件、Azure、联机服务、SQL Server、MySQL、Oracle等多种关系数据库;Quick BI 支持连接文件、阿里云多种数据库、SQL Server等多种数据库。

不同点在于一是两个产品集中在于对各自的云数据库的支持,二是Quick BI在支持常见数据库的基础上,还支持跨数据源查询,以及对常见数据库支持上传本地文件。

Quick BI如下所示:

Power BI如下所示:

二、Quick BI对比Power BI:数据处理和建模

Quick BI支持自助式建模,和SQL建模两种方式,通过网页版连接到数据库,映射成逻辑表,可以直接对大数据量的数据表做数据集管理和处理,并支持对特定数据库的加速;Quick BI图示如下:

Power BI网页版无数据建模功能,需要安装Power BI Desktop版连接本地数据库,在本机上对数据表的行列进行灵活的处理和相关的数据集操作,但其中对于数据量会有限制和要求,而且Desktop版仅支持Windows系统,不支持Mac电脑;Power BI desktop版实例如下:

三、Quick BI对比Power BI:可视化展现和报表制作

Quick BI网页版支持可视化数据报表搭建和电子表格的两种数据分析分析方式,其中可视化报表支持40+种图表组件的展示,以及复杂的查询控件的设置来方便预览者动态查询数据,电子表格除包含本地Excel的基础功能以外,优势在于能直接联系加工好的数据集,并支持数据动态更新。Quick BI图示如下:

Power BI网页版支持可视化数据报表的搭建,并提供多种图表的配置和展现;同时本地支持Excel支持复杂的报表分析和制作,示例如下:

四、Quick BI对比Power BI:用户分享及数据

Power BI本地服务器用户能共享报表,但不能编辑仪表板,并缺少在Power BI SaaS上的机器学习功能。 用户还报告了不同数据支持方面的不一致之处。微软没有灵活性的提供对Azure以外的云服务器同样好的性能支持。

Quick BI 为网页版,网页版可以编辑和通过URL分享给企业小伙伴,开发者并一键发布即访问者可实时观测到报表的变化,同时Quick BI的本地服务器版(豪华版)支持的功能为云上SaaS版的功能集合;同时从Quick BI的权限架构体系中可以看出Quick BI更适合中国国情,是面向企业IT部门、业务人员,提供企业级管控下的业务人员自助式数据分析,从而实现上游IT部分做好数据管控,下游业务部分充分利用加工好的底层数据来自助式分析,支撑前台业务的快速发展。

五、Quick BI对比Power BI:移动端

Quick BI以HTML5形式集成钉钉微应用中,还支持对接企业的账号系统,嵌入到自有的APP系统中。Quick BI用移动端打造了以访问者为中心的报表搜索、查看、收藏、分享等一站式移动端服务;提供企业级的数据报表目录以方便用户快速找到相应的报表,支持快捷查看报表、权限审批流等,并支持通过应用内消息、钉钉、微信等渠道将报表分享给其他同事。

Power BI移动端为安装独立的APP,其中可视化图表是PC端做的简单适配,但和PC端相比,和其它系统无法进行互动和分享联系;

总体看来,两款产品各有优势,Quick BI在数据处理和建模、移动端及用户数据分享方面更胜一筹,大家可以根据自己的需要选择使用哪款产品哦~

阿里巴巴数据中台团队,致力于输出阿里云数据智能的最佳实践,助力每个企业建设自己的数据中台,进而共同实现新时代下的智能商业!

阿里巴巴数据中台解决方案,核心产品:

• Dataphin,以阿里巴巴大数据核心方法论OneData为内核驱动,提供一站式数据构建与管理能力;

• Quick BI,集阿里巴巴数据分析经验沉淀,提供一站式数据分析与展现能力;

• Quick Audience,集阿里巴巴消费者洞察及营销经验,提供一站式人群圈选、洞察及营销投放能力,连接阿里巴巴商业,实现用户增长。

查看更多:https://yq.aliyun.com/articles/745039?utm_content=g_1000104749

]]>
阿里云数据中台重磅升级 拟扶持超100万家企业数智化转型 //www.otias-ub.com/archives/1063038.html Tue, 09 Jun 2020 04:13:23 +0000 //www.otias-ub.com/?p=1063038 199IT讯 6月9日,在2020阿里云线上峰会上,阿里巴巴集团副总裁、数据技术及产品部负责人朋新宇推出Quick Audience、Quick A+两款全新产品,并升级Dataphin和Quick BI两款现有产品。同时,阿里云零售、金融、政务及互联网企业等四大行业数据中台解决方案也首度亮相,未来将要扶持100万家企业。

(图:阿里巴巴集团副总裁、数据技术及产品部负责人朋新宇 来源:199IT)

数据中台扎实有效

2015年,阿里巴巴在国内首次提出数据中台概念,它是集方法论、工具、组织于一体的“快”、“准”、“全”、“统”、“通”的智能大数据体系。

历经内部复杂场景的实践后,阿里巴巴在2018年正式通过阿里云全面对外输出数据中台能力,帮助企业实现数智化转型。

朋新宇在现场分享了来自餐饮、快消、服饰、商业地产、旅游业等行业的头部企业案例。

蓝光地产利用数据中台服务孵化出了更多销售创新场景,仅“老带新”的一个单一场景就为该企业实现了单日36亿元成交额。

雅士利则通过阿里云数据中台挖掘了5个业务场景,短期快速提效,去年双11期间实现了同期增长92%。

而今年“新冠”疫情的特殊考验,更是让越来越多企业感受到数字经济趋势下数智化的重要性。

疫情期间,红蜻蜓4000多家门店无法营业,但通过全员线上服务营销,7天内新设立了500多个粉丝群,日均销售额突破百万。

无独有偶,雅戈尔3000余家线下门店在疫情期间悉数歇业。但随着全员all in线上营销,一季度整体业绩已经恢复到同期的80% 。

根据亿欧智库针对过去一年内沪深两地上市公司公告的集中研究,已有超过500家企业将数据中台的实施进展纳入了上市公告中。

产品矩阵从“2”变“4”

据朋新宇介绍,阿里云数据中台核心产品矩阵从之前的两大核心产品——Dataphin、Quick BI,拓展到了Dataphin、Quick BI、Quick Audience和Quick A+四大核心产品。

聚焦智能数据构建及管理领域的Dataphin,完成了数据服务开放和自助式开发升级,并针对中小企业,提供了轻量化版本。

作为国内唯一成功进入国际知名机构Gartner魔力象限的BI产品而受到广泛关注的Quick BI,本次升级重点聚焦在与钉钉的协同合作上。升级后,用户可以实现“随时随地,智能决策”。

新亮相的Quick Audience定位于智能用户增长,帮助实现“全方位洞察、多渠道触达”的增长闭环。Quick A+则是跨多端的全域应用洞察平台,能够帮助企业对用户进行综合分析,了解用户的使用习惯并进行相应的预测和决策。

四大行业解决方案齐飞  

除了丰富产品能力之外,阿里云数据中台本次峰会上,朋新宇还重磅发布四大行业数据中台解决方案:零售数据中台、金融数据中台、政务数据中台以及互联网企业数据中台,将进一步把数据中台引入全速重构业务数智化的深地。

据介绍,针对零售行业,阿里云数据中台可以提供多维的全方位洞察、全域自动化营销等服务,并通过与阿里巴巴生态联动,帮助更多零售企业实现数智化增长;

针对金融行业,提供理财业务线上用户增长、整体的数字化运营解决方案,通过联动蚂蚁生态,融合投资者教育的实践方法论,并集成支付宝小程序中,帮助金融机构实现业务增长;

针对政务行业,提供全套政务数字参谋解决方案,实现跨端、跨层级、跨系统等政务数据融通,支持政府决策科学化、社会治理精准化、公共服务高效化;

针对互联网企业,阿里云数据中台将与友盟+进行深度联动,让互联网企业能拥有阿里云数据中台的能力,在营销增长、风控、智能运营等场景中实现业务增长。

这四大数据中台行业解决方案是阿里云数据中台行业边界的一次重要拓展,标志着阿里云数据中台已经实现了从通用领域走向精细化垂直领域。

朋新宇表示,全新升级后的阿里云数据中台将成为企业数智化的新基建,未来将帮助超过100万企业,实现数智化加速升级。

]]>
阿里云数据中台宣布升级 产品从2到4并推出4大行业解决方案 //www.otias-ub.com/archives/1063031.html Mon, 08 Jun 2020 16:00:23 +0000 //www.otias-ub.com/?p=1063031 199IT讯 6月9日,在2020阿里云线上峰会上,阿里巴巴集团副总裁、数据技术及产品部负责人朋新宇推出Quick Audience、Quick A+两款全新产品,并升级Dataphin和Quick BI两款现有产品。同时,阿里云零售、金融、政务及互联网企业等四大行业数据中台解决方案也首度亮相,未来将要扶持100万家企业。

(图:阿里巴巴集团副总裁、数据技术及产品部负责人朋新宇 来源:199IT)

数据中台扎实有效

2015年,阿里巴巴在国内首次提出数据中台概念,它是集方法论、工具、组织于一体的“快”、“准”、“全”、“统”、“通”的智能大数据体系。

历经内部复杂场景的实践后,阿里巴巴在2018年正式通过阿里云全面对外输出数据中台能力,帮助企业实现数智化转型。

朋新宇在现场分享了来自餐饮、快消、服饰、商业地产、旅游业等行业的头部企业案例。

蓝光地产利用数据中台服务孵化出了更多销售创新场景,仅“老带新”的一个单一场景就为该企业实现了单日36亿元成交额。

雅士利则通过阿里云数据中台挖掘了5个业务场景,短期快速提效,去年双11期间实现了同期增长92%。

而今年“新冠”疫情的特殊考验,更是让越来越多企业感受到数字经济趋势下数智化的重要性。

疫情期间,红蜻蜓4000多家门店无法营业,但通过全员线上服务营销,7天内新设立了500多个粉丝群,日均销售额突破百万。

无独有偶,雅戈尔3000余家线下门店在疫情期间悉数歇业。但随着全员all in线上营销,一季度整体业绩已经恢复到同期的80% 。

根据亿欧智库针对过去一年内沪深两地上市公司公告的集中研究,已有超过500家企业将数据中台的实施进展纳入了上市公告中。

产品矩阵从“2”变“4”

据朋新宇介绍,阿里云数据中台核心产品矩阵从之前的两大核心产品——Dataphin、Quick BI,拓展到了Dataphin、Quick BI、Quick Audience和Quick A+四大核心产品。

聚焦智能数据构建及管理领域的Dataphin,完成了数据服务开放和自助式开发升级,并针对中小企业,提供了轻量化版本。

作为国内唯一成功进入国际知名机构Gartner魔力象限的BI产品而受到广泛关注的Quick BI,本次升级重点聚焦在与钉钉的协同合作上。升级后,用户可以实现“随时随地,智能决策”。

新亮相的Quick Audience定位于智能用户增长,帮助实现“全方位洞察、多渠道触达”的增长闭环。Quick A+则是跨多端的全域应用洞察平台,能够帮助企业对用户进行综合分析,了解用户的使用习惯并进行相应的预测和决策。

四大行业解决方案齐飞  

除了丰富产品能力之外,阿里云数据中台本次峰会上,朋新宇还重磅发布四大行业数据中台解决方案:零售数据中台、金融数据中台、政务数据中台以及互联网企业数据中台,将进一步把数据中台引入全速重构业务数智化的深地。

据介绍,针对零售行业,阿里云数据中台可以提供多维的全方位洞察、全域自动化营销等服务,并通过与阿里巴巴生态联动,帮助更多零售企业实现数智化增长;

针对金融行业,提供理财业务线上用户增长、整体的数字化运营解决方案,通过联动蚂蚁生态,融合投资者教育的实践方法论,并集成支付宝小程序中,帮助金融机构实现业务增长;

针对政务行业,提供全套政务数字参谋解决方案,实现跨端、跨层级、跨系统等政务数据融通,支持政府决策科学化、社会治理精准化、公共服务高效化;

针对互联网企业,阿里云数据中台将与友盟+进行深度联动,让互联网企业能拥有阿里云数据中台的能力,在营销增长、风控、智能运营等场景中实现业务增长。

这四大数据中台行业解决方案是阿里云数据中台行业边界的一次重要拓展,标志着阿里云数据中台已经实现了从通用领域走向精细化垂直领域。

朋新宇表示,全新升级后的阿里云数据中台将成为企业数智化的新基建,未来将帮助超过100万企业,实现数智化加速升级。

]]>
如何开采马云口中的“新能源”?专访阿里数据掌舵人朋新宇 //www.otias-ub.com/archives/543342.html Mon, 05 Dec 2016 14:09:33 +0000 //www.otias-ub.com/?p=543342 11月11日24点,位于深圳大运中心的双11媒体大屏上,一阵彩蛋特效闪过,阿里双11的GMV数字定格在1207亿,再次破了纪录。

今年是阿里的第八个双11,也是第四年设立媒体直播大屏。媒体大屏是阿里数据在双11的三大战场之一,与服务商家的生意参谋以及面向阿里内部员工(小二)的阿里数据平台相比,它似乎更像是阿里的肌肉秀场。人们剁手的热情、阿里对经济的影响力、网络消费对人们生活方式的改变等,全都扑面而来。这块不停闪现天文数字的红蓝大屏,似乎成了阿里双11最强大的对外炫技。

只不过,这些效果在阿里内部看来,还只是从属作用。已经接连多年负责双11大屏任务的是阿里的核心数据业务部门——阿里数据技术与产品部。在阿里内部,他们被称为整个集团的”数据中台”,负责提供各种数据技术和产品的服务。部门负责人朋新宇认为,大屏只是为大家提供一个更容易感知的场景,但这背后是整个阿里集团的大数据能力。

1480946929-1180-shBrib9YFQRlbwbwIJ8W8icT4EdA
(图片说明:阿里数据技术与产品部负责人朋新宇)

“未来将有越来越多的业务以数据为底料,这也是我们为何提出数据能源这一概念。”朋新宇说,“每个行业都会因数据而变革、改革和升级”,这是阿里的新机会。

在许多业内人士看来,阿里的数据团队行事低调,但不可否认的是,他们拥有着中国最珍贵的数据之一。此次团队掌舵人朋新宇接受DT财经专访,从刚刚结束、惊心动魄的双11数据保障战开始,深谈在这背后的阿里大数据战略

媒体大屏,不只是视觉盛宴

“以阿里来讲,我们是以双11这样的战役,来呈现我们对大数据的理解与应用。”朋新宇在接受DT财经专访时表示。

双11俨然已成为一个全民的节日,除了明星云集的晚会外,曝光率同样很高的当属双11的媒体直播大屏。2016年是阿里第二年将媒体大屏设置在杭州总部之外,2015年在水立方的经验让阿里数据团队今年有底气了,可大屏数也从去年的不到10块嗖一下提到30块、形成整体38米*8.5米的超大弧幕屏,依然是强挑战。

然而,对阿里数据来说,媒体大屏不只是好看或刺激,它要反映的是“大阿里战略”,反映每年阿里数据能力的升级。

朋新宇列举了几项首次公开的数据:今年双11,媒体的直播大屏第一笔数据的响应速度是2.5秒;双11期间,数据服务的总调用次数达到82.7亿次;而阿里在双11当天的每秒实时数据处理量峰值为9400万。

“在这些惊心动魄的数据背后,我们要让大家感受到如丝般顺滑。”朋新宇表示,“我们有一整套数据体系在背后进行保障。”

从看数据到用数据的三大战场

如果说,媒体直播大屏让更多人直观地“看到数据”,那么朋新宇团队在双11的另外两大战场,则将数据服务提升到了“用数据”这个层面。

“数据团队双11分为三个战场,一个是媒体直播大屏,一个是对商家提供数据服务的商家大屏,另一个是服务内部小二的数据平台。”朋新宇介绍。其中的商家大屏,所显示的功能就来自阿里对外的数据服务产品“生意参谋”。

生意参谋是阿里首个统一的商家数据产品平台,为商家提供数据披露、分析、诊断、建议、优化、预测等多个数据产品服务。据朋新宇介绍,在今年双11当天,有222万个商家使用了生意参谋来看自己的业务在双11的表现,实时分析自己的销售状况。

同时,生意参谋还提供了阿里官方同款大屏,只要商家自己准备设备,也可以像阿里在深圳所做的那样,实时展示自己的销售战绩。据阿里透露,双11当天就有许多商家自己组织晚会,还邀请了他们的客户、合作伙伴及媒体。

1480946928-1588-OjAkCg7K2RBln5B9A9UAqibmib4g
(图片说明:某商家的双11“作战室”,墙上挂着阿里为商家提供的大屏,来源:CFP)

以生意参谋为代表的面对商家的数据产品,用户都可以免费使用基本功能,对于面向一些中大型商家的增值功能才需要付费。“目前我们更多是以商业化的要求来历练产品,主要是看商家是否愿意使用,而产品做得好,未来的盈利将会水到渠成。”朋新宇强调。

除了生意参谋之外,另一个战场可能更加不为外人所知,但它却是这三场战役中最厚重的部分——服务阿里内部业务的阿里数据平台,也就是面向小二端的平台(阿里的内部员工被称为小二)。

今年的双11,从前期业务小二如何筹备活动、市场如何渲染,到活动结束后的复盘,阿里数据平台都提供了一整套的数据支持。

“让内部的业务小二能随时随地看数据用数据玩转数据,是我们对内数据服务的标准。”朋新宇称。

未来,阿里也将尝试把这些数据服务能力向外输出。今年年初阿里投资的三家数据公司合并成立“友盟+”,并由朋新宇出任CEO。朋新宇表示,“友盟+”将成为阿里数据能力对外开放的渠道。

阿里数据中台,一个行业的缩影

为了更好提高数据产品质量及自身的大数据能力,作为“数据是新能源”这一说法的提出者,阿里内部早已开始对自己拥有的数据金矿进行整合挖掘。

2015年,张勇出任阿里CEO后,在年底启动了“阿里巴巴集团2018年中台战略”,阿里巴巴数据技术与产品部正是这一“中台”的重要部分,被称为“数据中台”。而作为80后的朋新宇也在此次调整中,出任数据技术与产品部的负责人。

1480946930-6677-RUYL6csx6F3GKWAkGYiby2onKIZg
(图片说明:阿里CEO张勇在2016年双11媒体直播大屏下发言,来源:CFP)

中台的业务定位,让朋新宇和团队更清晰地感知到自己所在的业务对于驱动前台业务的重要作用。“数据中台的内核包括两方面,一个是数据的技术能力,另一个是数据的资产”,朋新宇表示,“今天阿里的各个业务都在共享同一套数据技术和资产”。

阿里内部为这个统一化的数据体系命名为“OneData”。据阿里数据团队介绍,在OneData体系之下,阿里不断扩大的业务版图内的各种业务数据,都将按统一的方式接入中台系统,之后通过统一化的数据技术服务反哺业务。

朋新宇认为,中台更多代表着是一种能力,只有做到了才能称得上是中台,而双11这样的大的战役,就是检验这种能力的一次机会。

“此次双11的三大战役,不论是服务商家,媒体还是小二,背后使用的都是统一的平台,是阿里集团内部核心的大数据业务平台”,朋新宇表示,“数据中台负责了所有数据的采集、加工处理、服务应用等工作,是阿里大数据的基石。”

他把数据中台比作一个大树,“业务产生最初的数据,通过大树自身的系统,一步步变成果实、二氧化碳等等,又返还给土地、鸟、空气。在这里面,我们数据中台,就是这棵大树。这棵树,通过数据采集、计算,提供统一的服务中间件,最后应用到业务中。”

数据来自于业务,反哺业务,并循环往复,蕴含更大能量,形成一个数据生态,而这个生态蕴含着无穷尽的可能性,这是今天阿里对于数据业务的认知。

作为一名在阿里工作十多年的老阿里人,朋新宇对阿里的数据业务演变历程十分清楚,他认为,阿里在大数据上的思路变化,也是整个行业的一个缩影。

“从刚刚开始做数据的监测、报表统计,到中间数据化的运营、分析,然后到后面的数据驱动业务,如搜索的个性化、营销的精准化等,再到今天看到的智能化等,这些路径也是中国这个时代下需要我们走的路。”

行业正在极速发展,朋新宇和团队也面临挑战。“新技术的不停产生,原先单一的数据源将会更快裂变,发展成更多样的数据源,丰富这个数据生态的物种。”在他看来,数据种类会不停裂变,聚合成更多新的数据业务。“其实很多人也看到这个机会和这条路,但未必每个人都做到了。我们只能更加努力。”

文|王兆洋:wangzhaoyang@dtcj.com

数据侠门派

朋新宇,阿里巴巴集团数据委员会委员长、阿里巴巴集团数据技术及产品部资深总监。

1480946932-3074-OhKpfmVsulfAQ9vkw6MBJfywtpEQ

如何加入数据侠计划

“数据侠”专栏网罗全球最IN的大数据侠客,利用人工智能、机器学习以及各种前瞻算法,打造理性而酷炫的数据可视化盛宴。过去,我们用文字、视频和图片传达信息。现在,我们用大数据阐述事实及其背后逻辑趋势。

]]>