2007-2008赛季法国杯半决赛中,里昂1-0小胜乙级队色当,跻身法国杯决赛。
为里昂射入致胜一球的是该队核心,巴西中场小儒尼尼奥。小儒主罚一个超过37米外的直接任意球,巴西罚球大师射出的皮球在空中画出一道意想不到的轨迹,先向右偏转导致门将失去平衡,然而皮球最终却弯向球门左上角,成功拿分。
这一击任意球被视作经典,也开启了小儒尼尼奥新的足球生涯。
在人生长河中,某个不经意的动作可能会改变原有轨迹,或许这才是真正的开始。
2007年上半年,吴雨还是国内IT管理软件公司的高管。
偶然一次机会,吴雨认识了当时正与导师研究透明计算课题的清华大学博士王勇,几人试图一起实现透明计算的产业化,吴雨也辞了职专心准备创业。
可惜天不遂人愿,本来顺利的事情没拿下投资,黄了。
双双辞职的吴雨和王勇有点尴尬,回不去,不如放手一搏自己创业。2007年下半年,两人成立了一家公司,取名华青融天。
当时二人还是“三无青年”:没人,没方向,没客户。想了又想吴雨决定从自己最熟悉的产品入手。北航计算机系本科毕业后,吴雨被保送北京大学攻读硕士,随后进入外企,从售前做起,一直做到市场总监、销售总监,直至中国区总经理,有着丰富外企经验。
最初二人主要寻找国外前沿高科技产品做代理商,并将其中一款网络流量分析NPM产品卖到招商银行。除此之外也做过运营商,服务过海事,南航,南车等企业。
在客户使用产品过程中,逐渐提出各种定制化需求。是不是可以自己做产品?吴雨开始思考。
2010年出现一个机会,招商银行提出了在NPM的基础定制开发APM的需求。但当时华青融天将技术主力放在安全运营的二次开发之上,由于缺乏人手,他们将这件事情外包给了另一家公司。
这家公司成为了后来华青融天最大的竞争对手。
是否有遗憾呢?当然,无论吴雨还是王勇都有自研产品的理想。特别对于研发出身的王勇,他对纯卖别人的产品没有多少兴趣。
2012年,王勇提出要做产品,作为当时公司唯一一个技术人员,他单枪匹马埋头写出了最初的产品雏形,而且得到招行客户的认可。
同年年底的产品发布会上,站着零星三四个研发人员。“我们要做自己的产品,要走自主研发的路。”
吴雨这句话开启了华青融天另一个时代。
【吴雨】
时间一路疾驰,2019年5月华青融天的产品发布会围了一圈研发人员。这场发布会来的有些突然,发布会前一天,编辑收到邀请,“我们临时策划了一场产品版本迭代的内部发布会,要不要来感受下?”
当然要。
技术副总裁包彤向雷锋网编辑介绍了华青融天目前的三大产品架构:
首先整体技术方向是AI驱动IT智慧运营,这里面有两层含义,其一是从传统IT运维转向IT运营,更加精细化;其二,企业的运维工作配以大数据与人工智能技术,可以实现从人工运维向自动化运维,以及智能运营演进。
从整个产品架构来看,底层平台由“1+3”构成,“1”是一个大数据融合平台,其中包含数据的采集、数据的存储、数据的处理过程。过去,数据采集主要包括网络流量数据、日志数据,以及第三方数据。将这些数据采集进来后做结构化处理,变成有用信息。这些信息有实时数据处理,有近线数据处理,也有历史数据处理。
“3”是三大引擎:搜索引擎主要做统计分析和查询;规则引擎主要处理安全运维过程中出现的告警事件;最后引入AI引擎希望能替代或者部分替代基于规则的引擎。
在此之上,针对不同应用领域,华青融天推出三款产品,分别是主打的是面向智能运维的产品EZSonar、下一代安全运营平台EZAccur,以及包括EZLogic在内的几款机器大数据应用。
在这次出其不意的发布会上,EZSonar、EZAccur、EZLogic都推出了新版本,分别有什么升级变化?
Ezsonar 4.0做了架构调整,引入了实时数据处理机制。4.1版本从过去基于Elastic Search做分布式存储架构,到利用实时数据、历史数据等更智能的运维工具去做统计分析和告警,创新性地实现日志和流量数据相融合。
通过实时数据服务和自运维能力,减轻用户使用和配置的复杂度。并希望未来把Ezsonar打造成一个运维数据平台、应用监控工具和“智慧大脑”。
EZAccur新版本可针对重大安全事件做持续性监控,并通过对这些事件的回溯调查和分析做功能补充。另外,新增的批式引擎可以通过复杂的实时性和持续性关系来发现更深层次的安全问题,其核心价值是提升关联规则引擎的适应性。
EZLogic原本是EZAccur的一部分,后来小伙伴们认为这个产品完全可以作为一个日志解析的智能工具独立使用,也可以搭配自己的产品使用,于是其从模块化走向了产品化。顺便,借着发布会的机会,在这群“爱码士”面前刷了个脸。
将EZLogic做出来的是研发副总监张佳。
2016年时张佳童鞋奔跑在创业路上,不小心撞了南墙。同年,华青融天预要突破,定位了大数据+人工智能。
“我觉得随着行业技术的发展,数据量以及系统复杂度会更大、更高,未来一定需要更多的人工智能来辅助工作,所以对这个方向很感兴趣。另外,新的东西没有历史包袱,可以在一个产品上打上个人烙印。”
2016年,张佳加入华青融天开始打磨属于自己的烙印。
一个企业按照传统业务发展,无论物理概念上怎么努力,最多只能获得百分数上的增长,这种增长方式就是稳定的线性增长。企业如果想获得跨越式发展,就必须以第二曲线式的增长方式取得十倍速的增长。
华青融天的第二曲线就是让AI与运维工作结合,变得更加自动化,更加智能化。
最初想到AI与日志分析结合的是CTO王勇,据说这位极其热爱写代码的博士去年看了200篇与AI相关的paper。和张佳讨论过后,他们认为目前企业数据分析需求在不断增多,而日志是一种非结构化的数据,在分析数据之前必须先做结构化,目前主要的方式都是通过人工的方式写正则。
这里面有几个问题,第一这项工作很枯燥、无聊,这样的工作注定要被机器替代掉;第二,正则的特点是要先发现日志才能写正则,但是诸多系统发现日志本身就是一件很难的事情,另外随着分析需求的提升,对信息的精细化程度要求越高,原来的方式基本不能满足需求,因此需要有一种新型的与机器学习相结合的日志范式化工具,这就是做EZlogic的初衷。
作为一款智能化的新产品,EZlogic可以将日志信息自动分类,并通采用机器学习的方式为海量日志自动命名,极大减轻了运维人员手工检索日志的冗余工作。
EZlogic在获取数据、分析数据、策略验证等方面做到自动化、智能化,利用大数据等技术为用户赋能,并将用机器解决人工复杂的工作作为其终极目标。
当然,这项技术与日志结合也会存在问题,比如让人头大的误报问题,这也是现在机器学习的普遍问题:可解释性不高,准确率不够。
张佳对这个问题进行过多次实践,用他的话说,最终算是想明白了一些。
“大数据和机器学习比较长于的是发现关系,但是我们往往想要的是因果,所以机器学习的结果往往和我们想要的有出入,而且不能用这个关系来解释结果,所以不能指望大数据和机器学习完成全部工作。”
那应该如何做?
张佳告诉雷锋网(公众号:雷锋网),目前他们认为可以通过大数据和机器学习发现一些关系,然后再通过人工分析判断,同时他们会使用监督学习的方法训练分类器,可在学习一段时间之后来帮助对关系结果做进一步的判断。未来需要引入知识图谱,把人的经验和机器学习做进一步结合。
【张佳】
安全运维是一个很大的体系。不少企业采购了几十种安全设备和系统如防火墙、IPS、IDS、DLP、堡垒机等,组建了30多人的安全团队。但这些设备和系统往往只能抵御某个方面的安全威胁,各系统之前没有形成协同效应,都是一个个的安全孤岛。
大数据和机器学习在安全方面可以有很多应用场景,比如统一的安全评价,也就是现在常说的安全态势。各系统的安全事件以及警告全部依靠人力处理并不现实,必须得通过机器学习提高告警的准确率,做一些初步分析调查。
当然,这条路还任重道远。
“其实运维是一个除了自动驾驶或者视频方面以外,机器学习能够快速落地的一个场景。因为这里有很多东西可以量化,或者是有规律可循,我坚信这个方向没有错。”吴雨说道。
当然在实现目标过程中可能存在种种困难,无论是组织、管理、人才等方面。一家企业想要发展需要不断向远看,寻找核心竞争力,打磨团队,优化组织,提升效率。乐趣同样也在于此,不断发现问题,不断解决问题。
“如同我们产品设计逻辑——缩短MTTR,即减少故障解决时间。”
所以没有最好也没有最难,只有更难会更好。
在和这群融天人聊天过程中普遍感受到的是舒适和洒脱,似乎他们每个人都曾跳出自己原定的轨迹,拥有新的开始。
那有什么,爱你所爱,行你所行,听从你心,无问西东。
雷锋网宅客频道(微信公众号:letshome),专注先锋科技,讲述黑客背后的故事,欢迎关注。
雷锋网原创文章,未经授权禁止转载。详情见转载须知。