2019年10月,数据猿推出“大数据的2019,我的2020”大型年度主题策划活动,发掘过去2019年中的优秀企业与不容错过的优秀产品,近3个月的活动,数百家企业参与其中,向组委会提交了众多案例与产品。
经过数据猿内部与外部专家评审团严格评选,今日上榜名单终于揭晓。该榜单意在展示大数据以及与大数据相关的人工智能、物联网等行业的真正数据应用潜力与企业服务实力。此次评选,星环科技荣登2019大数据产业创新服务企业TOP 15,Transwarp Data Hub企业级大数据平台入围2019大数据产业创新服务产品榜TOP 40。
上榜获奖产品
Transwarp Data Hub(简称TDH)是星环科技研发的企业级大数据平台, 经过数年的快速演进, 不断发展成熟, 在邮政、交通、金融等行业获得了大量的部署实施经验,同时向新生的大数据技术领域进行积极的拓展和探索。
Transwarp Data Hub主要提供5类核心产品:分析型数据库(Transwarp Inceptor和Transwarp ArgoDB),实时流计算引擎(Transwarp Slipstream),知识库(Transwarp Search和Transwarp StellarDB),操作型数据库(Transwarp Hyperbase),数据科学平台(Transwarp Discover)。通过部署、安装、使用TDH,企业能够更有效的利用数据构建核心商业系统,加速商业创新。
服务客户/使用人数
星环大数据平台TDH在金融、交通、电力、能源、政府、物流、公共安全、电信运营商、零售、媒体、制造业、教育、医疗等细分领域落地,服务用户超过1600家。
市场价值
完成传统架构向大数据架构转变:
•横向扩展的存储能力
•横向扩展的计算能力
•不停机扩容能力
•低廉的软硬件成本
数据驱动的大数据创新应用:
•大规模数据仓库与交互式数据集市业务
•基于非结构化数据的综合搜索业务
•基于多源数据深层关系的数据挖掘业务
•基于实时数据的即时研判业务
建立健全数据治理体系:
•统一的数据存储与处理平台
•提高数据质量和数据可信度
•促进监管合规和安全管控
•提供更好的领导决策能力
2.国网上海市电力——智能配用电大数据应用平台建设
本次星环科技申报案例
近年来,电力行业的快速增长提升的产能需要时间消化,以往的发展方式带来的增长已经放缓,结合新兴技术实现智能配用电成为中国电力行业务进一步发展理应选择的方向。
我国将大数据纳入国家发展战略,明确提出提高可再生能源的利用率,都在指向新型、更智慧化的能源体系建设。国网公司紧密响应国家发展战略,特别今年国网提出了“三型两网、世界一流”能源互联网企业的建设目标,“三型”即具有枢纽型、平台型、共享型特征的现代企业,“两网”即坚强智能电网和泛在电力物联网,展现了国家电网以全新形象站立在历史的临界线上,主动适应能源革命和数字革命发展的必由之路,让大数据发挥更大的价值。
在结合新技术实现智能配备用电的过程中有不少挑战。其中包括以下两点
海量的结构化和非结构化数据
多源异构数据集成存储、高效处理、应用挖掘的技术难题
(1)数据支持
在数据条件方面,集成了用户数据、电网数据和社会环境数据,汇集了浦东1210平方千米的236万户的用电数据,其中居民和第三产业用户占比高达97%,最高负荷738万千瓦,年用电量329亿度,这个规模约占上海全网四分之一。
集成的内外部数据源有10个,分别为用电信息采集系统、电能质量监测系统 、配电自动化系统、调度自动化系统 、营销应用系统 、客户服务系统、负荷控制系统、负荷监测系统、生产管理系统、故障抢修系统,整个数据量到现在已经接近8T。台账数据总量29.14万条。
结构化数据包括调度运行、生产管理、故障抢修、电能质量、用电信息、用户信息、营销管理、气象数据、社会数据、经济数据,共26.7T;非结构、半结构化数据包括地理信息图片、客户服务音频、气象云图和规划设计文档共300T。
(2)应用技术/实施过程
硬件配置
在硬件配置方面,实验室搭建了以分布式计算集群为核心,高性能计算集群为辅助的混合并行计算的大数据硬件集群, 集群节点数为42台,其中:8路2台,4路5台,2路34台,GPU服务器1台,可支持分布式和高性能的混合处理;配置了SAS+SATA存储1.3PB,SSD存储30T,内存4T,可支持不同需求的梯级存储。配置可满足未来3-5年电力大数据研发的需要。
软件配置
在软件配置方面,实验室采用了星环科技的大数据平台。拥有Inceptor SQL引擎,支持完整的SQL语法,可降低应用开发难度;支持聚类、回归等通用算法和机器学习算法的调用,开发了面向电力应用算法的组件;基于Hyperbase列式数据库,开发了多种索引技术的组件,可实现范围查询、模糊查询等高速反馈;基于Sophon实现了数据建模及模型管理;通过对数据进行完整的安全管控,支持4A安全管理,实现了行列级安全控制,实现与Oracle一致的安全管理体系。
极致的性能
基于星环大数据平台TDH构建的智能配用电大数据应用系统汇集了浦东1210平方千米的236万户的用电数据,最高负荷738万千瓦,年用电量329亿度,占上海全网四分之一。集成的内外部数据源有10个,整个数据量到现在已经接近8个T了,台账的数据总量有29.14万条。
在多元数据集成及大数据平台基础之上,应用系统实现了用电查询,电力地图等基础功能及用户用电行为分析,节电用电预测网架优化和错峰调度等业务应用。
用电及能耗监测查询
