- 综述
-
神软bdc大数据凯发官网入口的解决方案采用mpp架构,完全支持sql92及后继sql标准,兼容oracle产品,为用户提供可平滑扩展的大数据存储凯发官网入口的解决方案;同时,提供大数据分析挖掘软件、文本检索分析软件和报表展现软件,构成了简单易用的“一站式”神软bdc大数据凯发官网入口的解决方案。
■ 提供大量的工具和部署方案,解决大数据从各种不同数据源的迁移和数据清洗转换
■ 提供拥有专利技术的混合大数据存储方案,服务于高压缩存储和高性能查询,有效降低用户硬件成本
■ 提供高效能的数据分析挖掘工具,帮助用户根据业务需要建立大数据专家模型,找到大数据中隐藏的各种内在关联、规律和专家知识,发挥大数据价值
■ 提供无需编程可自行定义配置的数据展示报表图表工具
产品理念
■ 融入大数据开源生态,依托生态形成完整的大数据凯发官网入口的解决方案
■ 整合上下游产业生态,形成商业大数据私有云”交钥匙”工程
■ 突破结构化数据统一存储难题,同时支撑秒级检索和高效分析
■ 建立以数据为中心的广义大数据治理生态体系,构建信息地图围绕行业数据价值,在核心数据分析算法上形成突破
大数据工程实践能力
■ 最大单集群规模:500节点
■ 最大单集群数据量:7pb
■ 最大单表记录数:20万亿行
■ 最大单日数据增量:2万亿行
■ 最长稳定运行年限:7年
■ 最大单项目规模:近4000节点
■ 最高查询性能:万亿行检索小于5秒
- 功能亮点
-
(一)拥有专利技术的混合大数据存储查询方案
独特的行列混合压缩存储引擎,压缩率在1:10以上;
处理性能高,5秒以内完成特定数据处理,30分钟以内生成常规报表。
(二)支撑用户以“大数据价值”为核心重建业务流程
内置大量高效能的数据专业算法功能的大数据挖掘分析和应用开发工具;
资深专家参与用户业务设计,用户只需关注其专业问题。
(三)从部署、定制到运维的一体化凯发官网入口的解决方案
产品间充分互优化,升级简便,对维护要求低。系统部署可通过大数据平台满足业务需求;
提供驻场或者巡检方式的大数据运维服务。
(四)无缝衔接的快速迁移和熟悉的开发接口
原生的标准sql语言支持和jdbc/odbc开发接口,兼容oracle等主流传统数据库;
有效快速迁移原有的应用,应用开发平台、工具、环境都较为熟悉;
有利于用户高效快速进行应用二次开发。
- 成功案例
-
2016年 国家互联网应急中心e工程 (7pb)
单集群达400个节点
首次实际mpp与开源生态体系的成功集成
建成了异地双活容灾中心,实现故障秒级切换2014年 国家互联网应急中心c工程 (5pb)
单集群300节点以上
全国分布式部署
总服务器规模超过1500台2012年——2014年 国家互联网应急中心a工程 (6pb)
首个单表万亿行大数据系统
单集群达500个节点
单表加载3600万行/秒、300tb/天 -
中国联通和中国网通成功合并之后,中国联通集团通过该系统对全国各省综合结算系统进行统一整合。神通数据库集群存储和管理全国31个省2个月约120t的在线话单数据和6个月约550t的历史话单数据,并实现在线数据到历史数据的转储,这是电信行业首次在核心业务领域完全使用国产化平台。
• 一期已在2010年上线,二期2011年11月上线,共部署70套数据库。
• 采用神通数据库集群、负载均衡和并行查询功能,数据入库效率提40% ,数据查询效率提高15% 。
• 历史话单数据压缩比达到13:1,节省400tb存储空间,降低了硬件采购成本。
• 系统具备动态可扩展能力,充分适应用户业务年均20%的增长率。 -
系统采用神通数据库集群存储数据,作为后台支撑数据库,系统从2011年9月开始建设,设计存储容量近1pb,在线访问人数为300人,系统已于2012年9月正式上线。通过本项目的成功,后续我们又建设了6个工程,目前是中心唯一的结构化大数据存储服务商,支撑了几十个关键业务的开展。
• 系统当前存储原始数据近500tb,使用压缩技术降低80%存储成本,设计支撑近1pb原始数据
• 系统支撑每天千亿行级数据存储,单表记录数达到万亿行
• 千亿行级的精确查询k8凯发天生赢家一触即发人生首页秒级响应
• 千亿行级数据分组统计响应时间30分钟
• 千亿行级数据十亿行级分组结果,统计响应时间100分钟。
-
为新闻出版总署建设的数字报刊平台,以非结构化的图像文本为主要数据,我方负责平台的建设和运维。
• 实现500多份期刊、500多份报纸近2年及以后的数据存储和高效检索;
• 实现报纸和期刊大数据分析,为报刊热点分析、新闻人物和专题分析、报刊数据利用及统计分析等提供决策支持;
• 实现读者浏览和阅读行为分析,为读者用户画像、新闻选题、新闻精准推荐、平台运营等提供决策支持;
• 建设报刊热点分析、新闻人物分析、用户画像、新闻选题等各类报刊服务应用;
- 核心产品