在日前结束的“让业务用起来·观远数据2022智能决策峰会暨产品发布会”云上直播中,数禾科技CDO王冠军分享了“金融科技场景下的敏捷BI实践”。王冠军总结了 BI 建设的诉求与动机,以及 BI 工具框架搭建的分析方法论,并分享了数禾科技携手观远数据,建立 BIOps 打造一流 BI 团队,实现数据分析民主化和数据驱动决策的历程。

(相关资料图)

BI 建设的诉求与动机

数禾科技成立于 2015 年的 8 月,以大数据和技术为驱动,为金融机构提供高效智能零售金融解决方案,服务银行、信托、消费金融公司、保险、小贷公司等持牌金融机构。数禾科技通过自主开发的消费信贷产品,连接金融机构与普罗大众,赋能金融机构数字化转型,迎接中国消费升级的大潮。

数禾科技 BI 建设路程与业务息息相关。对于业务而言,BI 功能有几个关键词。

?提效:帮助业务能够更方便地获得数据,找到数据背后的业务含义,效率是第一位。

?自助:从原来的专业 IT 团队者做交付,转化为业务团队自助式完成诉求。

?交互友好:在任何时间、任何地点以各种方式,都能够通过 BI 做业务洞察、业务探测,例如手机,Email,钉钉、企业微信、飞书等工作软件。

?共享与协作:BI 的结果要能够共享,让不同的业务职能团队做协作,实现更好的协同。

?流程简化:BI 体系能够简化多方协作的流程,以更平民化的方式获得数据洞察的能力。

?快速洞察:快速取数以及拿到数据后,要能快速分析出业务结果。

?嵌入业务流程:将 BI 的能力和业务流程结合,边看边干,边分析边执行。

?目标跟随:通过历史数据设定 KPI 目标、战略目标等执行目标,通过 BI 管理目标结果与过程,并优化战术策略以及调整战术方向。

?绩效改进:设定业务目标时匹配多种方案,可以通过BI做提前预测,找到更优化的策略。

?可执行决策:BI 最重要的工作是产生洞察,洞察的目的是决策,可落地的决策才是最有价值。

在大数据时代下,数禾科技对数据与技术都有了更高的要求。每个地方都可以产生数据,产生数据的结构都是不一样的,异构数据源的统一集成是重点;其次是数据的准备和处理,可以帮助高效加工数据,做高质量的洞察;数据实时性是当前非常重要的要求,可以对后续执行进行灵活性调整;未来对于更高效的数据探索,在全量数据进行快速的交互式查询,对大数据量的可视化工作,以及一些高级分析算法,都是目前努力的方向。

王冠军表示,“底层支撑技术需要跟 BI 去做结合,提供更高效、合规、安全的洞察服务基座。”技术的主要挑战在大数据体系方面的分布式存储、分布式计算流批一体以及 OLAP 在线分析处理、安全处理、数据编织等等。

除去业务的诉求和数据、技术的挑战, BI 工具的功能特点发生了重大升级,王冠军总结了以下几点:

?移动优先,移动互联网时代,BI 无论是在手机、平板电脑,还是在笔记本上,都可以快速获得访问能力;

?即时响应,报表的加载的时间,应该在秒级就能把结果呈现出来;

?交互增强,被动接收新的 BI 信息、成果以及洞察结论。例如不再点击链接,而是与机器人交互,获知GMV等信息;

?可嵌入,把 BI 嵌入到工作流程里,边看边干,边分析边执行,缩短洞察到决策到执行环节;

?敏捷自助,唯有自助才能够实现敏捷;

?增强分析,把 AI 机器学习的算法能够放进 BI 里,不局限于传统分析框架。

此外,安全合规、实时数据、云原生、可观测性、7*24可访问、BIOps等等也是数禾科技关注目标。

将数据融入 BI ,将 BI 融入业务,数禾科技构建了自己的“数据赋能飞轮”。先从业务流程开始,承载数字化业务,业务流程累积沉淀出数据,采集这些数据放在大数据平台上做洞察,基于洞察结果,制定一系列策略,并定计划行动,最后这些行动再落实在业务流程里。那么新的业务流程或者说这个变更过的业务流程,又开始运转起来,如此循环不断产生了螺旋式上升的飞轮效应。

这其中“洞察”环节的框架是重中之重。有了数据,下一步是分析洞察,可以分成四大块,分别是统计分析、诊断分析、预测分析、规范分析。

?统计分析主要解决两个问题,第一,对于过去发生的事情,在明细层面还原业务;第二,对过去数据进行汇总统计产出报告,知晓发生了什么。

?诊断分析阶段,基于报告要做诊断分析找到原因。

?预测分析开始预测未来可能发生什么,通过数据能够给到预判,辅助业务制定策略。

?规范性分析的核心目标是事中控制,及时制定最优策略并快速执行,让数据洞察落地。第一要干预,对业务问题的及时干预止损,第二就做控制,实时感知业务状态,控制在合理边界范围内。

为了支撑以上分析功能,有一些传统的经典分析方法,也有一些目前比较流行的增长分析手段。无论是经典分析方法论还是先进的增强分析,都需要 BI 能力支撑。比如,通过数据指标统计进行业务监控,感知业务当前的运行状态,感知后进行预警,一旦超过阈值,及时进行归因定位,通知相关人员。最后在新策略制定过程中,要有模拟仿真,通过历史数据做历史回测。在模拟仿真的历史回测上得到是最优解后,再去在生产环境里验证,有效节省相关成本。

BIOps 建设实践分享

DevOps 和 Data Ops 实现了开发运营以及数据分析过程中,降本增效的作用。借鉴该理念,数禾科技总结了一些经验,制定出一套 BIOps 的实践经验。

BI 工作环境分成两个,沙箱/分析环境和生产环境。沙箱/分析环境里,提供一整套数据的访问和透视能力。把数据集成到沙箱/分析环境后,数据分析师业务人员可以自助通过观远数据 SmartETL等工具进行简单的数据清洗工作。之后可以应用一些分析方法论,对各个维度的数据进行探索,甚至做一些可视化图表、分析看板,观察效果以及结论。

当这条分析方法以及洞察结论形成了相对固定的套路之后,业务人员就会把整个 BI 的分析流水线上线发布到生产环境里去。生产环境里的数据源来自于大数据和数据中台,把这些数据抽取到 BI 平台里做数据加工,生成报表,发布到订阅用户使用。通过类似于 DevOps 的流程,极大简化了数据分析探索,以及洞察交付的实践。相当于把沙箱/分析环境里,业务人员自助发现的业务数据规律进行了更广泛的共享和使用。

对于这样一套环境,BI 管理团队需要维护好的整个 BI 平台。对每天跑的平台任务的运维,监控资源的消耗,以及治理BI作业。平台中的仪表板、报表,做好生命周期管理,跟踪治理效果如何,是否实现了某个业务的降本增效。王冠军表示,“所有的工作都是数据驱动,也是得益于观远数据 BI 平台,提供了很多的 BI 元数据,帮助到我们制定精细化的管理策略。”

建设一流BI团队

打造数据文化

有了工具,有了流程,后续是让整个公司的人员都用起来,所有人都应该基于数据做决策。这就对企业的数字文化建设提出了要求。两年前引入观远数据之后,数禾科技一直在不断打造数据文化体系,王冠军介绍了工作开展的三点思路和方向。

首先做培训和社区。BI 能够干什么?能够帮助到业务解决什么问题?一系列问题的解决方案是什么?能解决日常工作中的痛点是什么?这些都是需要和业务同事明确的。同时也会引进一些前沿的分析方法论,应用在日常工作当中,让业务真正体会到数据和技术能够带来的变化。之后在各个业务团队里面培养种子用户,形成社区效应,做定期分享,形成自下向上的体系。

其次是精益运营。作为 BI 管理团队,除了 BIOps 之外,数禾科技使用了 PDCA 框架贯穿在日常工作中。每个季度把所有的业务痛点拎出来分类,设定相关的解决方案和改进机制,不断循环,使得业务团队对BI平台信赖度持续提升。

最后是科学管理的手段。不仅依赖于人去管理整个系统运营,也需要自动化工具来运营。包括自动化的工具的研发,平台性能监控机制,以及多种数据架构方案。通过现有技术手段精益求精,让数据驱动的数据文化真真正正在数禾科技落地生根。

引入观远数据已经两年,王冠军表示,“数禾科技已经实现了数据分析民主化和数据驱动的决策。”在数禾科技,入职即开通观远账号,目前 90% 以上的员工都在使用观远BI。目前总共有 5000 多张报表。

从活跃度来看,数禾科技两年多累计访问约 360 万次,每天访问量在 5.8 万次左右。数禾科技也在持续改进整个 BI 平台体系,当前 SLA 非常高,大于99.99%,系统 0 卡顿。从效率看,平均报表渲染加载时长 1.5 秒,快速渲染加载率 95%。因此数禾科技用户在观远BI平台上交互体验以及响应都非常好,乐意使用观远BI完成数据分析以及洞察。

数禾科技和观远数据一起合作两年多的时间内,把数据分析民主化这件事情真正的落地了,期待双方的进一步合作,共创更好的 BI 最佳实践,为整个行业做出更多贡献。

关键词： 新闻资讯