5月21-23日,由星环科技主办的第三届前沿科技论坛在上海举行,本次论坛以“科技,让城市更美好”为主题。会上,星环科技研发总监刘汪根,发布了全新的数据云平台建设体系。
完善的Paas数据云平台产品体系
星环科技数据云平台Transwarp Data Cloud 2.0版本的发布,完美的诠释了星环科技的技术思路。TDC是为了满足企业对于数据云需求而打造的云原生平台,它采用容器技术,以数据为中心,通过提供完整的数据、应用和智能的开发工具,实现数据和应用互通互联。TDC 2.0与上一版本相比能更全面的满足不用业务,不同角色的工作需求,为企业数字化的转变提供更完善的支撑。
其次,星环PaaS平台加入了两个新的产品,分布式交易数据库KunDB以及企业级数据资产目录Transwarp Data Catalog,分别解决了企业级大规模交易库处理,以及数据资产管理混乱的问题。
Transwarp KunDB是专门为新一代云业务提供服务的云原生数据库,可以作为企业微服务化之后的后台数据库对业务提供支撑。同时KunDB采用了多租户设计,可支撑业务建设中心化的趋势。作为国产自主可控的数据库,可以适配各种国产化硬件创造完全自主可控的环境。
Transwarp Data Catalog 为企业数据治理提供可靠、 便捷、 智能的全流程工具支撑,从而更加有效的发掘和利用信息资产的价值。同时它也提供完整的企业级数据交换功能,并已经在客户应用中得到了验证。
另外为了推动星环生态的建设,星环数据云平台团队开源了内部的应用生命周期管理服务Transwarp WALM,以怀抱社区,做出贡献。企业要能够构建自己的应用市场,在云原生技术上支持并实现,需要有一套可行的应用管理的框架。通过WALM,任何企业都可以通过标准化接口将应用编排在云原生框架上。
会上还发布了大数据安全白皮书,再次强调在星环科技产品设计中的大数据安全考量。根据星环科技多年的大数据安全实践经验,总结了一些企业在做企业级数据平台建设时应考虑到的安全规范,并为安全体系的设计、管理和规范提供一个衡量标准。
刘汪根在提出数据、应用、智能是数据时代企业创新的核心元素,构建三者融合的数字化PaaS数据云平台能够极大加速企业数字化创新。并通过技术发展路径,应用需求等角度详解了数字化PaaS数据云平台建设的重要性。
数据管理模式的变迁
数据管理模式在近20年发生了明显的变化,最初企业建设数据分析系统采用简单的架构,数据分析系统直接利用交易数据库的计算和存储能力进行分析,但是交易库不适合做分析业务,计算能力有限,这一时期称为有限分析的时代。
Bill Inmon在1992年提出了数据仓库理论,商业智能快速发展,进入企业数据仓库时代。数据从交易库同步至数据仓库,数据仓库提供大量存量数据的分析,这一时期推动了ETL工具(数据同步)和MPP数据库的发展。
2010年后,业务需求推动了大数据技术的发展,大量新型数据的发展,推动了基于大数据的数据仓库、数据湖、数据集市的建设,同时AI的兴起带动了数据科学平台的发展。这一时期,因系统独立建设带来数据孤岛的问题,限制了企业数字化程度的推进,因此企业着手解决数据孤岛的问题,开始建设除了分析业务系统外的在线数据业务系统。但是数据、应用和AI平台之间相互独立,只能通过接口层做有限的交互。在这个阶段,很多企业都是在尝试新应用的拓展,在此过程中摸索新的管理方式。
随着前线人员对数据的需求越来越多,企业需要开发出大量新的数据应用来持续的迭代业务,改进用户体验,包括实时类、AI类、在线数据类业务的大量创新和尝试,要求数据、AI和应用能够非常有机的融合,因此最终在一个云来支持弹性、灵活的数据和应用云。
应用开发模式的变迁
传统的应用开发采用单体建设的方式,单体建设对维护难度和迭代速度等需求都不是很友好,会出现代码维护难度高,重复开发多,部署不灵活,性能不足,扩展性不够,开发效率低等问题。
1.代码维护难:代码功能耦合高,后期维护难,测试复杂,无法保证代码质量。
2.重复开发多:相似功能在多个应用中都存在(比如短信模板),需要在每个应用中重新开发一遍,浪费开发和维护资源。
3.部署不灵活:构建时间长,任何小修改必须重新构建整个项目,而且无法只升级某个子模块,必须全部升级。
4.性能不足:单个模块的问题,可能导致整个应用的性能和扩展性不足,难以单独调试性能。
5.扩展性不够:无法分离业务和数据,面对高并发场景无法扩展性能,缺少资源动态伸缩能力。
6.开发效率低:模块复杂,所有开发在一个项目改代码,不通做到不同模块并行开发。
微服务开发模式提出后,受到广泛推广,特别在互联网行业得到很广泛的应用,在互联网企业的覆盖率达到将近90%。应用微服务化就是将单体应用切分成各个微服务,微服务之间通过接口通信,以微服务集群的方式对外提供服务。微服务开发模式交付速快质量高,避免重复开发,运维灵活,可构建企业数据应用中心。
1.交付迅速质量高:每个微服务模块小,开发维护便捷;搭配持续集成持续发布工具,代码质量高,可交付迭代实践缩短。
2.避免重复开发:将共用服务提取出来,节省开发资源,避免重复造轮子;可针对性的对部分支撑服务给予更多的资源。
3.运维灵活:灰度发布策略使得上线新服务风险可控;实现自动伸缩、流控机制,防止高并发场景下服务崩溃;完善的日志管理,监控告警即成。
4.构建企业数据应用中心:当微服务量级提高,可沉淀为应用中心,为全公司乃至全行业赋能;业务平台可直接对接数据中心,实现业务和数据的无缝链接。
数字化面临的挑战
大数据、云计算、微服务开发技术,都是技术层面上的发展,企业如何能利用这些应用制定企业数据化战略,从而实现数据化管理的转变,是管理者们需要考虑的问题。目前,阻碍企业数字化推进的问题主要有以下几点:
1.数字化进程跟不上市场需求:业务的创新就是机遇,如果花很长时间例如一年或者半年,很可能就丢失掉机会。
2.数字化缺少统一方案:各个应用系统之间规划之初就没有考虑未来互通的可能性,导致烟囱式开发,后期需要进行系统集成及数据共享很难甚至无法实现。
3.缺乏自主可控的研发平台:大多数企业缺乏统一化的研发平台,对于项目研发的各个环节及后续升级的掌控能力很弱,导致资源的浪费及不必要的研发支出 。
4.缺乏对已有数据资产的管理意识:存量及增量数据依然处于传统的管理思维模式:零散分布于各个不兼容互通的业务系统之中。
5.缺乏长期数字化战略:数字化转型方兴未艾,并没有形成技术及业务上标准,新的技术概念层出不穷,比较难选出既解决短期目标,又能支持数字化战略的可持续化发展技术。
数据云
对于以上数字化挑战,云平台可以以其资源弹性伸缩、快速部署迭代、支撑微服务化开发、资源管理编排等能力,打通数据与业务很好的解决以上问题。