经过20多年的发展,mg4355电子游戏网站持续而深刻地把握市场需求,积累了海量的客户资源和丰富的服务经验
运营商省公司原清账单系统建立在小型机及高端存储设备上。为了实现海量数据存储和快速导入,原系统把明细清单压缩存放到文件系统中,数据库只保留索引信息以满足查询性能的要求。随着时间推移,数量增长,需找到新的解决方案来满足庞大数据和响应体系的支持。
当前存在一些实际问题,新的系统是否能有效解决问题,是本次设计方案的关键所在:
1、通过文件存储定长记录的方式,程序难以修改。原有清单中心基于266字节的定长格式,但新融合计费项目上线,清单格式增长至1024字节。
2、文件系统缺乏常规查询语言,入SQL,HIVE等,旧的已经不能满足越来越多统计需求。
3、系统需要不断增加新字段,文件系统无法扩展。
4、文件系统不支持数据库常规更新功能,详单冲销、修正、补信息等功能难以实现。
5、随着新详单格式改变,存储空间及性能相应需要增加5倍。扩展费用高昂。
方案概述
系统必须能够高效处理海量数据
1、单月清单数据量约1000亿条*1k/条=100TB,6个月高达600TB~700TB。
2、系统要求从600TB清单数据中检索某个用户某个月的清单记录,响应时间小于1秒。
3、支持高峰期美妙2000个并发访问查询
4、满足现在清帐单业务的查询统计需求(23类)
5、实时入库,清单文件无积压。
6、对联机分析必须提供标准编程接口,支持SQL/JDBC/ODBC等。
高扩展性和高可用
1、用户程序查询数据不需要知道底层细节,比如数据分布细节
2、可以水平扩展
3、允许多台机器故障的场景下,业务不中断