浅谈银行数据仓库主题层建设

时间: 2024-08-26 13:27:04 |   作者: 拉链知识库

  银行数据仓库(下文简称“数仓”)分层架构至少包含 ODS 贴源层、DWD 主题层和 ADS 应用层。其中 DWD 层的核心诉求是把复杂的源数据化繁为简,按照业务逻辑划分出金融主题,把源数据来进行拆分与整合到金融主题的模型中。关键是,金融主题应该划分成什么?每个金融主题的模型建设思路是怎样的?金融主题的数据模型该怎样维护?

  Teradata 公司作为全球最大的专注于大数据分析、数据仓库和整合营销管理解决方案的供应商,提出一种先进的 FS-LDM 模型(Financial Services Logcial Data Model),把银行约 80%的业务数据囊括在该模型中。

  Teradata FS-LDM 是一个成熟产品,在一个集成的模型内支持保险、银行及证券,包含十大主题:当事人、产品、协议、事件、资产、财务、机构、地域、营销、渠道。具体划分如下图所示:

  指银行所服务的任意对象和感兴趣做多元化的分析的各种对象。如个人或者公司客户、潜在客户、代理机构、雇员、分行、部门等。

  是金融机构与客户之间针对某种特定产品或服务而签订的契约关系,它可以是多样化的,如账号、客户和银行签订的合同等。

  是所有可能采集到的客户的资产(负债)信息,也包括银行向外租赁的资产信息。这一些信息的来源很多情况下是在客户申请贷款时所提供的各种担保品信息、抵质押品信息等。

  是金融机构向用户销售或提供的可市场化的产品、产品包和服务,如需要可提供竞争对手产品。

  指银行希望关注或考察的任何层次的地理区域或地址,如国家、省份、城市、县、乡村,包含具置,地理位置、邮箱、街道地址、电话,与事件、产品、渠道、内部机构、营销活动等主题密切联系

  事件是一种资金或非资金活动,记录了详细的交易行为和数据,包括开户、销户、转账、查询、清算等

  是为了获取、维护、增强金融机构与客户的关系而开展的促销活动,其目的可能是为推广某些产品,也可能是为了树立市场形象。

  是与客户进行交互和接触的手段方法,通过它客户与银行发生交易并传递信息。渠道一般包含分行柜台、呼叫中心、网络等

  主要包括银行的总账信息,是描述科目组织、控制、内部核算等银行核心科目账务以及预算管理有关的内容。

  IBM 作为数据仓库和数据分析的“元老级”企业,为对抗 Teradata 的 FS-LDM 模型,提出了 BDWM(Banking Date Warehouse Model)九大金融主题模型,主题模型分为参与人、合约、条件、产品、地点、分类、业务方向、事件和资源项目。具体划分如下图所示:

  由于 FS-LDM 模型偏向财务及营销方向,所以多出描述银行营销活动信息及财务风险信息的主题。而 BDWM 模型偏向银行环境及法规方向,所以多出描述银行环境信息及业务信息的主题。

  。地域主题来源于国外的邮寄销售业务,该业务是国外银行产品重要的引流及销售手段之一。但国内银行甚少开展邮寄销售业务,故地域主题重点描述的邮箱、电话、区域、地址等信息,都可以整合到客户主题内。

  。总账是银行的记账核心,总账数据一般存放在银行的核心系统或总账财务系统中。通过一系列分析总账数据,可以分析出银行的经营状况、统计出银行的业务结构。同时通过汇总业务系统的账务数据,还能够直接进行以银行科目为维度的总分校验,保证余额信息的准确性。故财务主题的重点应为总账数据。

  。业务系统的逻辑处理过程中,会产生大量的码值与参数,比如机构编码、状态编码、业务控制参数、节点配置参数等。这类数据对于识别数据的业务状态,及代码的中文含义,起到至关重要的作用,但这类数据跟已有的金融主题的关联性不强,故需单独增加公共主题进行建模管理。

  最终,FDM 层的金融主题应划分为客户、产品、协议、事件、渠道、营销、机构、资产、财务、公共,具体如下图所示:

  银行的客户信息会在多个业务系统中进行登记,比如网上银行、手机银行等渠道系统,理财系统、信贷系统、核心系统等,且多个业务系统中保存的客户信息还大概率的不一致。这时,使用客户信息时就会出现疑惑:以哪个系统的客户信息为准?多个业务系统的个性化客户信息如何整合?所以,建设统一客户视图管理是银行数据工作的重点。

  建设统一客户视图管理一般实践方式为建设 ECIF(客户信息管理)系统,由 ECIF 系统整合各个业务系统的客户信息形成统一视图,为全行提供客户信息查询服务。假如行内未建设 ECIF 系统,亦应在数仓上建设统一客户视图的客户信息主题,替代 ECIF 系统为全行提供客户信息查询服务。落地统一客户视图关键是与全行业务部门约定好客户信息整合的优先级及更新规则,因为客户信息整合非常有可能会影响到客户经理的绩效,从而影响业务部门的绩效。确定业务规则并获得全行支持后,通过 ETL 手段每日提取业务系统的增量客户信息整合处理即可。

  银行客户大致上可以分为个人客户、对公客户及同业客户。客户主题的建模应对这三类客户进行单独建模,原因如下:

  金融理财产品是银行经营的核心,也是银行与客户建立关系的纽带。金融产品大致上可以分为以下类别:

  负债类产品。负债类产品一般为存款类产品和理财类产品,大多数都用在银行吸纳客户的合法资金,再运用该资金进行信贷或资管类产品投资。客户“借钱”给银行后,银行会按照约定的利率或者收益率,计提利息或收益并返回给客户,所以负债类产品的利率或收益率是银行向客户“借钱”的成本。

  资产类产品。资产类产品主要是信贷融资类产品,大多数都用在银行“借钱”给客户,并向客户按约定的利率或费率收取客户的利息或费用,由此产生利润。信贷融资类产品又分为:

  当客户购买银行的资产类产品后,需要按约定支付银行利息或者费用,作为客户向银行“借钱”的资金成本。故银行资产类产品的收益率与负债类产品的息率之间的利差,就是银行传统业务的利润手段。

  资管类产品。这里专指银行自营的资管类产品,比如债券、基金、信托等。银行通过募集客户资金或运营客户委托的资金来投资,在为客户赚取收益的同时,收取资管管理费和分润投资产生的超额收益进行收益。

  中间收入类产品。中间收入类产品属于银行非资金运营业务,通过收取客户的服务费进行收益。中间收入类产品大致上可以分为代理业务,比如第三方存管、代理资管类产品、保险产品、债券产品等;和部分重要空白凭证开立,比如汇票开立、信用证开立、保函开立等。

  借记卡是指发卡银行向持卡人签发的,没有信用额度,持卡人先存款、后使用的银行卡。

  准贷记卡是指持卡人须先按发卡银行要求交存一定金额的备用金,当备用金帐户余额不足支付时,可在发卡银行规定的信用额度内透支的信用卡,但透支的部分自透支当天起计收利息,不享受免息期。

  贷记卡即信用卡,是由商业银行或信用卡公司对信用合格的消费者发行的信用证明,持卡人可在发卡组织规定的信用额度内透支资金,且透支资金享有免息期。站在客户的角度,信用卡是一款可透支的支付工具;站在银行的角度,信用卡更像是一个客户运营的平台。虽然信用卡具备免息期,但是客户在使用信用卡进行提前消费的分期业务或者取现时,就是银行通过信用卡这样的平台产生收益的时候。

  协议主题是银行与客户之间针对某种特定产品或服务而签立的契约关系。当银行与客户之间针对某种产品或服务的条款和条件达成一致时,一个协议就会被开立,因此协议是客户和银行往来的重要载体。由于协议的类型繁多,如存款账户、贷款账户,如手机银行签约合同、贷款合同,如存折、银承汇票,都属于银行与客户间的协议,所以协议主题也是银行主题模型中最重要和复杂的一个主题。

  客户享受银行金融服务的过程中,会与银行产生大量的互动行为,这类互动行为就是客户与银行间的事件。事件按是否涉及钱财分为金融事件与非金融事件。

  除了客户与银行间的事件,还有银行与银行间的资金清算事件,这一类事件就是支付结算流水。

  当客户想要跟银行接触、买产品、使用服务,互动交流时,一定要通过一个触点来进行,这个触点就是平常所说的渠道。渠道除了是银行业务入口,也是银行客户的流量入口,所以经营好银行渠道是业务增长其中一个关键点。

  要注意的是,渠道既然是一个对外放开的接口,肯定也会有相应的限制规则作为门槛,避免渠道被乱用、滥用。

  为了促进金融理财产品的销售,银行的市场部门会制定营销活动推送给客户,并根据营销活动实际产生的效果,不断调整活动细节直至达到营销目标的循环往复的过程。为实现营销活动自动化配置及推送,银行会建设营销管理系统或 CRM(客户关系管理)系统来策划与管理营销活动,所以营销主题的数据来源就是营销管理系统或 CRM 系统。

  无论是银行还是银行客户,系统内都存储着大量的资产数据(负债属于从别的对象“借”过来的资产,所以能理解为“负”的资产)。

  。同业拆借是金融机构之间进行短期、临时性头寸调剂的行为。银行向同业贷出款项,称为资金拆出,属于资产;银行向同业借入款项,称为资金拆入,属于负债。

  。为了确保商业银行在遇到突然大量提取存款时,能有相当充足的清偿能力,央行要求商业银行的库存现金按特殊的比例存放在央行的存款,称为央行准备金,属于资产。

  。这里指银行所拥有的固定物资,比如银行名下的房产、办公楼、固定设备、汽车等。

  。这里指客户所拥有的固定物资,比如个人/公司名下的房产、汽车、货物、地皮等。

  。在本行购买的存款产品、贷款产品、打理财产的产品、资管产品。还有贷款时的担保物与抵质押物也属于客户的资产。

  。在他行购买的存款产品、贷款产品、打理财产的产品、资管产品、在本行购买的代理第三方的金融产品。

  通过资产数据,可以分析银行/银行客户的经济实力,从而对银行/银行客户进行营销评级或风险评级。

  由于银行资产数据结构与客户资产数据结构差异较大,且不同资产的数据结构同样差异较大,故资产主题需对每一类的资产进行单独建模,建模思路如下:

  。总账全称为会计总分类账薄(General Ledger),是根据总分类科目开设账户,用来登记全部经济业务,进行总分类核算,提供总括核算资料的分类账薄。故总账数据登记的是银行按会计科目记录的经济业务的数据。通过一系列分析总账数据,即可得出银行的经营情况及业务结构。除此之外,通过把总行数据与账务明细数据按科目进行余额核对(也称总分校验),能检查出会计登记数据与实际业务发生数据是不是一致,是银行经营数据校验的关键一环。

  业务系统的运营过程中,会产生大量的码值与参数,比如机构编码、状态编码、业务控制参数、节点配置参数等。虽然码值与参数非业务数据,却是使用业务数据的重要一环,因为该类数据是为了识别业务数据的状态与码值的中文含义。

  故,建设公共主题是为了把整个数据布局补上最后一块重要的拼图,具体建模思路如下:

  DWD层对源数据的化繁为简后,整个银行数据的脉络就清晰展现在面前,为 ADS 层和数据分析提供数据基础。然而,是否建设好 DWD层模型就可以一劳永逸呢?很明显答案是否的。问题大多为:银行业务在不停地发生明显的变化,而 DWD层是按照业务脉络进行建模的,所以 DWD 层模型必须跟随着业务的变化而变化,才能符合及容纳当前实际的业务情况。


首页 产品 质量控制 导航