国内首个券商hadoop大数据案例落地星环助力中泰证券

时间: 2024-08-05 23:24:26 |   作者: 拉链知识库

  中泰证券是经中国证监会批准设立的大型综合类创新试点证券公司,集证券、基金、期货、直投为一体的综合性证券控股集团。多年来,公司积极致力于为广大投资者提供证券代理买卖、投资咨询、财务顾问、证券发行与承销、收购兼并、资产重组、资产管理、融资融券、证券投资基金代销、股指期货中间介绍、向保险机构投资的人提供综合服务等全方位的专业化证券投、融资服务。

  凭借良好的专业能力和业绩表现,中泰证券得到了社会各界的广泛认可。2007年以来,公司多次被山东省政府授予“山东省金融创新奖”、“山东省金融发展贡献奖”;公司先后荣获“金钥匙奖”、“中国最具成长性证券经纪商”、“中国最佳证券经纪商”、“最具成长性投行”、“最佳套利服务券商”、“最具创新力证券公司”、“优秀保荐人”、“金牛投行进步奖”等称号;在2011年中国证监会证券行业分类评价中,公司成为16家A类AA级券商之一。

  而近年来,随义务的发展与规模的扩张,中泰证券数据呈指数级增长,各类IT系统数据量已达到20多TB的规模。每日还有大量新增的日志数据、交易数据需要存储和处理。中泰证券的IT系统也面临着一些问题的困扰。

  首先是数据存储量庞大。现有系统存储了5年的数据,总共20多TB,日志数据超过一半,使用分区存储方式,历史数据采用离线存储方式,存储资源紧缺,存储扩展花费非常高。

  其次是现有系统计算负载高、延迟长。现有系统在运行中跨历史范围查询延迟长,一次计算的数据量大,计算和存储资源都存在瓶颈;大范围查询时,对生产业务影响较大,例如:持仓分析、对账流水情况、区间查询等应用,严重影响日常业务的正常运行。

  同时,历史数据服务请求带来额外工作负担。历史数据查询时需要额外将离线的历史数据导入,再等到系统资源空闲时进行查询,不仅效率低,而且工作负担繁重,也极易出错。

  最后,现有系统的资源已经严重紧缺,CPU负载高、存储空间不足,已经影响到业务的正常发展。

  由此背景,本着持续不断的发展、慢慢的提升的原则,中泰证券力求解决现有IT系统的这四大问题,并据此做了一些解决方案的调研。希望可以建设具有高效数据处理能力,同时兼具性价比的新平台。

  调研结果发现,在解决分布式存储、计算问题上,Hadoop技术近年来得到了广泛的应用。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。它是针对大规模分布式数据而开发的软件框架,目前慢慢的变成了企业管理大数据的基础支撑技术,是解决企业数据中心大数据存储、大规模数据计算、快速数据分析的优秀基础数据平台。

  现在物联网、多媒体、移动互联时代,Hadoop最适合用于解决由于数据爆发式增长所带来的传统架构下存储和计算瓶颈的问题。

  Hadoop技术发展迅速,同时也有众多国内、外厂商为企业客户提供了的成熟度一站式的大数据平台产品,个别技术领先的厂商也已经将Hadoop平台用于了金融客户的数据仓库系统,经调研,恒丰银行、民生银行、平安银行等金融机构,就已经在用Hadoop技术解决现有数据仓库存储、计算、分析等问题。

  从行业内成功经验及案例来看,Hadoop平台已成为现有数据仓库平台的必要补充,大多数表现在以下五个方面。

  首先是数据类型支持,Hadoop平台扩展了企业数据平台对数据处理类型的支持。传统的数据仓库仅仅可处理结构化数据,而对半结构化、非结构化数据的处理,只能依赖于Hadoop平台,例如:来自新闻的个股/主题新闻聚合、智能研报,情感指数,热度统计、事件研究、主题跟踪和发现等等。

  其次是数据解决能力方面,Hadoop平台使得企业数据处理平台的处理能力变得更强大,它可处理从中小数据量到大数据量的数据。能够作为传统数据仓库之前的数据统一存储和计算平台,将大规模的数据先进行清理洗涤、计算、建模、汇总等,并将最终的精细化数据传递给数据仓库。例如恒丰银行就已经将数据仓库中复杂的、高负载的拉链表程序迁移至Hadoop平台。

  同时,在业务应用的支持方面,相比于传统的数据仓库平台,大数据平台能够实现更多的体现企业特质的有价值的应用,例如:通过数据挖掘、机器学习算法和模型,结合有关数据,完成财经新闻搜索、新闻类型分析、新闻聚类、情感分析、知识图谱等等。

  技术架构上,基于x86服务器集群的Hadoop平台,通过横向扩展的方式,线性扩展存储和计算资源,避免基于传统IOE架构的下只能进行基于硬件资源的纵向扩展。从而避免计算资源的瓶颈和IO资源的瓶颈。

  最后,仅花费40%左右价格,便能够达到甚至超越传统IOE架构的性能。在性价比方面也极具可行性。

  经过对国、内外各个厂商的技术调研,中泰证券选取了星环科技的TDH(Transwarp Data Hub)大数据平台。星环科技是目前国内极少数掌握企业级大数据基础软件技术的数据库厂商。在全球大数据去IOE的大背景下,Hadoop已成为公认的传统数据库的替代品。星环产品Transwarp Data Hub ( TDH ) 功能比肩硅谷同行, 五大组件Hyperbase, Stream,Inceptor,discovery,和TOS的性能和SQL兼容性在业界处于领先水平。

  测试结果为,针对海量数据的统计型业务需求,星环科技的产品TDH Inceptor可提供快速的查询支持,查询时间在秒级或分钟级,大幅度的提升了查询效率。

  针对海量数据的多维度查询业务需求,TDH Hyperbase能提供极快的查询支持,测试多个方面数据显示,查询结果基本在10s以内,极大的提高相应业务场景的查询效率。而星环科技的TDH平台 可提供很好的存储过程支持,以满足中泰证券的业务需求。

  经过对现有成熟Hadoop产品、技术,以及金融行业相关应用的调研,星环科技的TDH平台技术领先、性能优越、功能全面、运行稳定,能够很好的解决现有平台存储、计算、分析等问题,同时能满足中泰证券未来业务发展的需要。

  利用星环大数据平台,将为打造中泰证券新一代数据平台,为上层应用提供更高效、可扩展的数据服务。利用整体规划、分布实施的策略,依托星环大数据平台改造和提升现有数据仓库系统和历史数据查询系统的性能和稳定能力,同时建设财经新闻搜索、新闻类型分析、新闻聚类、情感分析、知识图谱等基于大数据的分析、挖掘应用,让数据真正发挥价值。

  极米科技入选 2019 Venture 50“中国最具投资价值企业50强”

  展望未来,我们看好中国科技公司在奥运会上的表现,或将打开新的想象空间。奥运会这一全球盛事,将为中国科技公司提供更多机遇,助力它们在国际舞台上再创辉煌。

  从本周开始,华为方面开始预热一款新的小折叠手机,通过充满创意性的密码方式,正式公布了这款易烊千玺同款的nova Flip,而后陆续曝光了该机的时尚潮流纤薄设计和重要功能。

  华为Mate 70的工程机已经曝光,据爆料者透露,华为方面在生物识别功能上独树一帜,使用了3D人脸识别+侧边实体指纹的组合方式。

  知名数码博主“定焦数码”爆料称,接下来荣耀不会再更新荣耀V Purse,工作重心将转向三折叠屏手机研发。不久的将来,我们或许就能见到荣耀推出三折叠屏手机。

  即将在2025年3月发布的iPhone SE4将会在屏幕上进行大幅度升级,苹果的供应商则有两家,京东方会是iPhone SE4的主供应商,二级供应商则是LG Display。

  Redmi Note 14系列已经在工信部经过了核准,预计将会在近期发布。Redmi Note 14系列可能会使用天玑7350处理器,这颗芯片采用台积电第二代4nm工艺。


首页 产品 质量控制 导航