经过多年的数据基础设施建设,金融业已经完成从“有数”到“用数”的过渡,正从数据自动化向数据智能化进阶。面对激烈的市场竞争和快速变化的客户需求,金融业亟需提高“用数”效率,以实时或准实时的数据处理能力来满足其智能决策、智能风控、全域营销等需求,从而大幅提升市场竞争力。
客户需求
某全国性股份制商业银行亟需提升其海量数据的实时处理能力,深度挖掘数据价值,驱动商业创新。为此,该银行将搭建“全时域融合数据实时计算应用”,该平台需要拥有以下能力:
- 数据全生命周期管理
- 基于SQL的全时域数据计算
- 内置存储的云原生计算架构
- 数据计算实时化和智能化
此外,该平台需要创造六大业务价值:
- 统一存储,减少冗余存储
- 单体引擎架构,降低运维复杂度
- 实现数据全生命周期管理,数据资产化
- 毫秒级别的金融智能决策
- 能依托数据引擎有效实现反黑产和薅羊毛,提升业务运行的稳健性,减少资损
- AI 离在线训练一体化,训练即上线
以X-Engine构建数据智能底座
数巅科技为该客户提供了以数据虚拟化引擎X-Engine为主的解决方案。X-Engine是数巅科技自主研发的数据智能底座,拥有业界独一的全面虚拟化能力,能够为企业提供多模态数据的统一接入、计算存储、数据治理、数据加速等一站式能力,整体计算存储性能超出业界同类产品5- 10 倍。
X-Engine为“全时域融合数据实时计算应用”提供的核心能力包括:
- 数据全生命周期管理。底层以物理表形式采集不同来源的实时和离线数据,通过对散落在异构存储里的离线数据和实时流式数据物理表进行逻辑建模,按业务要求虚拟化构造成为逻辑表,智能生成物化表满足SQL加速,支持离在线统一的SQL接口进行有效查询,提供数字资产的全生命周期视图。
- 全时域SQL计算引擎。基于构建的数据逻辑表,整合多场景的实时和离线数据,构建全时域融合指标。自动进行SQL拆解和解析,生成最 优的执行计划。底层融合流式和批式计算引擎,自动执行计划。
- 统一的多模高性能存储。内置高性能统一存储层,既维护多种缓存和加速查询索引结构的同时,还能存储流计算的状态和流计算的中间结果,使得一个入口即可满足业务的所有需求。
- 实时分析计算即服务。提供在线计算一体化引擎,提供指标服务,满足了离在线指标计算一体化。支持离线指标、实时指标、全时域指标的实时计算及查询,并支持全量维度的灵活下钻及查询。
阶段性进展
基于数据虚拟化引擎X-Engine解决方案,该银行取得了阶段性成果:
- 在开户、存款、取款、对公等业务流程上:引入实时计算能力,加速业务流程推进和响应。
- 在内控流程上:通过引入实时计算能力,在合规层面做到实时响应、实时反馈,降低不合规操作的风险。
- 在反欺诈领域:通过引入全时域指标计算的能力,实现长周期用户特征的计算,解决困扰多年的复杂特征计算问题,支撑了开户、保险、理财等多个业务。
- 在开发提效方面:
- 简单便捷的开发配置平台使得实时计算的业务需求开发时长缩短了80%以上。
- 流式数据和批式数据的美好整合,使得流批一体指标计算实现从 0 到 1 的突破,美好支撑实时大屏以及特征计算等场景。
- 实时业务的吞吐量提升到原有水平的 5 倍以上,更多业务从中受益。
未来展望
未来,凭借海量数据的实时化和智能化处理能力,该银行有望深度挖掘数据价值,实现以下业务场景:
- 智能决策:面对电子支付、二维码支付和数字货币等电子或电子支付渠道的兴起,实时智能决策将大幅提升支付速度,降低支付费率。
- 智能圈人:随着各家银行两卡APP战略推行和客户留存等活动的进行,需要对用户进行细致地打标签,围绕“数字化财富管理”的角度来更好地管理客户并挖掘客户潜在需求。
- 全域营销:整合银行不同渠道的用户数据,形成用户旅程,从而进行高质量的数字化全域营销。例如,帮助零售客户以活期、定期、基金、现金宝等形式低成本地获取资金;同时将资金及时地贷款给有需要的零售客户。
- 智能风控:银行的用户拉新、留存和激活等促销活动需要智能风控给予支持,规避风险。