星环科技孙元浩：用自研框架取代Hadoop，加速实

2019年将近尾声,谈到截止目前,2019年星环科技所取得成绩,创始人孙元浩做了一些简单的。

“第一,从产品线来说,从2017年开始,星环科技已经基本确定三条产品线,大数据产品是主要产品线,而人工智能机器学习平台和容器的智能大数据云平台,是围绕客户在使用大数据基础软件的基础需求上,对AI建模、容器编排等需求延展的产品线。

,大数据产品线坚持自主研发,技术上不断更新迭代,应用范围越来越广,成功取代了Teradata或者Cloudera、IBM等国外厂商,有一些比较典型的客户案例落地。

,伴随着产品更新,星环科技的客户群体也不断扩张,已覆盖金融、政府、能源、交通、教育、制造业、运营商、传媒等二十多个行业,其中,财政部、国家邮政局、国家商标局、中国人民银行、国泰君安、招商证券、中国邮政、中国石油、广州供电局等都是星环的标杆客户。

,2019年我们在技术产品上有比较大的突破,让整个公司的发展到了一个新的里程碑阶段。在品牌推广和市场占有上,我们会继续努力。”

星环科技成立于2013年,总部位于上海,定位于提供大数据和人工智能的技术平台。创始人孙元浩任英特尔亚太研发有限公司数据中心软件部CTO,在2009年带领团队研究Hadoop于2011年发布了英特尔Hadoop发行版。随着大数据概念的兴起,越来越多的人知道了Hadoop这款专门处理大数据的软件。

2013年,孙元浩带领创始团队成立星环科技。

值得一提的,2019年10月星环科技完成5亿D2轮融资,这距星环D1轮融资后,仅仅半年多的时间。,星环科技也入选i黑马&数字观察发布《产业互联网产业独角兽》榜单里的硬独角兽称号。

大数据进入3.0时期

是人工智能、大数据与云计算融合阶段

我们知道,自计算机诞生以来,信息技术潜移默化的影响着人类生活的方方面面。尤其是近十余年来,大数据、人工智能、云计算等技术蓬勃发展,让人们的生活方式每隔几年就产生天翻地覆的改变。

这时候,企业每天产生的数据量正呈爆炸式增长,面临海量的数据,传统数据库的IT架构和处理技术已经逐渐无法适应巨大的数据处理需求。如果按照传统方式,数据量的存储和处理将耗费大量的时间和硬件成本。

在孙元浩看来,目前,大数据已经进入3.0时代,随着技术不断延伸发展,大数据、人工智能与云计算的边界越来越模糊,三类技术不断互相影响与融合。

“我们指的大数据3.0是从技术角度来分类的,大数据技术可以分为三代。星环科技成立之初,正处在大数据1.0的阶段,大部分公司都是使用开源的软件,用API去开发编程。这样带来的问题是,产品受限,而且只有大公司才有玩转大数据的能力。

大数据2.0时代是一个百花争鸣的时代,更多的玩家参与到了技术角逐中,诞生了很多全新的技术,能解决更多业务场景下的实际问题。

从2017年起,结构化数据的处理问题已经基本解决,人们开始把关注焦点转到了非结构化数据处理上面,特别是图像、视频、语音、文本的处理。这时期人们将此前在非结构化数据表现出众的深度学习技术与大数据技术相结合,大数据技术开始进入3.0时代。”

孙元浩告诉i黑马&数字观察,大数据3.0时期的技术要具备四个统一:第一,统一融合的数据平台,取代混合架构。

目前的企业数据业务架构中,往往需要包含数据湖、数据仓库、数据集市、综合搜索等不同数据业务系统,很多企业采用复杂的混合架构,不仅产生庞大的数据冗余,也严重限制了数据应用的时效性。新的大数据平台需要能一站式的满足所有需求,解决大数据的4-V需求,应对从快速响应到海量分析的各层级需求,淘汰混合架构的模式。

第二,统一的开放接口。据悉,SQL作为经过历史检验的结构化查询语言,具有庞大的用户群和灵活性,开发人员无需了解架构细节就能高效开发应用,而以往通过API开发的方式存在应用兼容性差、开发难度高等问题。

新一代大数据平台需要使用SQL来支持全部功能,包括数据仓库、OLTP数据库、搜索引擎、实时计算、时空数据库等,降低开发者门槛,加快产品开发与上线速度。

第三,统一的管理和调配。云计算的弹性和随处接入可以让更多的数据业务和开发者使用大数据技术,新的大数据技术需要能够提供云化的能力。

在硬件层面上,大数据平台对CPU、GPU、网络、存储等资源进行统一管理和调配,基于容器技术实现云上的大数据应用统一部署,平台租户按需申请大数据的技术和产品。云化可以极大的降低运维成本,使得单单一个团队就可以运维很多的大数据系统软件。

第四,统一的数据仓库与数据资产的管理。数据业务化是大数据技术最终的价值体现,而在新的架构设计上,星环科技也把这个要素作为重要的设计考量点。

在数据层面上,平台所有数据统一存储,建立统一的数据仓库与数据资产目录,再根据应用场景传输至不同数据集市中,各业务部门根据需求调用,打通数据孤岛,提升数据质量,转化数据价值。

在模型层,通过建立模型市场,租户训练好的模型可以选择一键发布至模型市场,其他租户无需重复训练,直接调用。

在应用层,平台内用户可将业务验证过的应用发布至企业级应用市场,共享给其他用户,所有运行的应用被统一管理。

,大数据3.0时期的技术本质是融合。随着时间和业务不断的发展,人们提出了新的需求,是否能将大数据这种分布式的架构部署在云平台上,更好的实现数据共享,解决数据孤岛和烟囱开发等难题。

所以,在大数据3.0时代,大数据技术、人工智能技术、云计算技术开始融合,融合在一个平台中,满足企业客户各种不同层次的大数据需求。

简单来说,大数据技术,解决了深度学习计算力和训练数据量的问题,开始产生巨大的生产价值。,大数据技术通过将传统机器学习算法分布式实现,向人工智能领域延伸。

,随着数据不断汇聚在一个平台,通过容器技术,在容器云平台上构建大数据与人工智能基础公共能力,将人工智能、大数据与云计算进行融合。

“伴随着大数据3.0的出现,大数据的新的基础架构开始出现,要实现上面提到的四个统一:统一的编程语言或者操作语言,统一的计算引擎,统一的存储管理系统,统一的资源调度系统,和一个不同,即不同的数据模型。

总体来说,大数据3.0阶段,统一和融合是主旋律。”

围绕上述思路,在大数据3.0时代,产业趋势出现变化,而星环科技的业务模式,也将会出现变化。

根据孙元浩介绍,星环科技的具体的做法是: