2015年4月11日 51cto运维和开发者大会有感

1.运维的难度和体量

做运维已经一年半了,世面也见了不少,但是今天的感觉却有点不同(当然并不是会上有多少干货,这种会讲的内容都差不多),触动我的主要是几个点,其一就是量级上的感受,比如今天上午讲的日志收集系统和下午场新浪讲日志收集系统,虽然组件都差不多,用的东西也差不多,但是当你的应用体量达到一定量时,你所遇到的问题可能就完全不一样了。新浪的es节点数是30多台,而我们是三台,对于三台服务器其实随便虐都可以,而且在云上,硬件的问题都不用考虑。而当你的数据量达到Tb级的时候,可能就完全不一样了。特别是下午场阿里的大舞(花名)所讲的一个例子就很典型,当我们初始化一个硬盘时,可能不会太注意superBlock(保存着一些磁盘全局信息,有很多的备份)的大小问题,但是当阿里的服务器达到上万台的时候可能就是一个很大的浪费。而我现在管理的日志集群算上shipper端和indexer端再加上es各个数据节点也就二十来台。而此时,我真的要问自己一下,即使这20来台服务器,我真的做到统一配置管理吗?好像没有,这也是我工作以来一直忽略的一个问题,我往往更去关注技术的实现,而并没有太多的考虑管理,当然还有大规模下的扩展。

2.做好你的量级

今天最受瞩目的貌似就是阿里那位,讲的确实很诚恳,于是会后就被大家围住了,问的问题大部分都是诸如阿里怎么解决某某问题之类的,然后大舞认真的解读完之后,看到问问题的人一脸满足感,感觉找到了人生的真谛一样。站在旁边的我就在想,如果换作是我,我是绝对不会问的,第一我的量级根部达不到阿里的量,阿里的量级只有腾讯百度能相比,第二你真的把你现在这个量级做的很完美了吗?我觉着未必是。以我来讲,就比如上一段说到的20来台日志相关服务器都没有做到统一管理来说,就没有做到完美。我为什么觉着大舞很诚恳,因为他今天就已经说到了:“今天讲阿里的技术,不是想向大家推荐什么,而是我们到了这个量级必须去这么做,我们也很想用puppet或是其他什么比较优秀的开源工具,但是我们用不了,所以我觉着你使用的技术是和需求结合在一起的,需求决定技术。”我再加一句,把你现在的量级做好,你同样可以有你发挥的价值。而且能做阿里那种规模的运维真的有时候要靠些运气,有的人一辈子都不太可能。

3.身在技术圈的反思

我闲着蛋疼的时候,偶尔也会看看拉勾或是内推这种网站,了解了解市场需求和技术方向,但我往往感受到的却是一种浮夸。今年也有某大厂找我做日志方面的工作,薪资开的实在太浮夸(亲~我才毕业不到一年好吗?)当然刚开始的时候觉着自己好牛逼的感觉,但是过了一段时间冷静下来仔细的想想其实并不是自己有多牛逼,而只是市场决定的,因为北京的创业公司实在太tmd多了,多到什么程度呢?CTO都不够用了。。。所以会点别人不知道的技术就觉着很牛逼了~然后市场一浮夸,薪资就吓死你了。然后我们再去看看像今天的这种会议,满嘴跑火车的真的很多,一问技术细节就不行了,当然我们不是要去批判什么的,我有的只是一种担忧。互联网是有泡沫的,特别是中国互联网,而凡是泡沫总是会破掉的,当大潮褪去时谁在裸奔就变的显而易见了,所以我对自己的要求是趁着年景好时,认认真真的去读书,去积累学习,去思考与反思,所以现在正在翻译加学习《elasticsearch 权威指南》这本书,我有时候觉着翻译好了可能会牛逼,说不好就出名了。但是你们有没有发现这其实是一个技术人应该做的事情吗?你用一个开源组件怎么能不去读官方文档?难道靠交流,靠加群,靠百度,靠谷歌,就敢立足吗?好像不是吧。当然还有市面上烂七八糟的技术书,有的书真的烂到我拉一泡屎的功夫就过完了,写的跟我的evernote似的。

4.会场趣闻

4.1.今天让我觉着挺傻逼的一位就是坐在我左边的一位参会者,他给我推荐了他们的日志云服务多牛逼多牛逼,然后在那装逼的说elk如何如何不行,在下面说elk相对于他们就是班门弄斧。说句不好听的,世面我还是见过一些的,惠普的arcsight日志服务和spunk的日志服务相关的圈子我也是有朋友的,它们内部都不敢小看elk的价值,你丫算个屁呢。而且你的朋友圈的内容真的。。。呵呵。

4.2. 365日历讲的那个确实没有说只有rsyslog v8才有impstats。我们只是在用rsyslogv8。饶貌似没有认真听。。。^~^

5.下一步,工作之余要做点啥

5.1.把elasticsearch 权威指南翻译完。

5.2.做到精通python,这里不是简单的用它写些应用什么的。这要持久的做。

5.3.认真的学习配置管理工具,不能再小看他们了。

5.4.怀有谦卑,并对知识和技术要有敬畏之心。

5.5.不要求快,而是求稳,当大潮褪去的时候,至少还有一条内裤能穿在身上。

2015年4月11日 51cto运维和开发者大会有感》上有3条评论

  1. qmx

    但是你们有没有发现这其实是一个技术人应该做的事情吗?你用一个开源组件怎么能不去读官方文档?难道靠交流,靠加群,靠百度,靠谷歌,就敢立足吗?好像不是吧。
    感同身受,最近在学es,也是英语水平太菜,所以主要学习渠道来自你的博客,太感谢了。

    回复
    1. yubingzhe 文章作者

      很感谢你的阅读,我最近有些懈怠,也有一段时间没有写了,后续还会继续翻译。

      回复
  2. spark

    公司最近再弄日志服务器,研究了rsyslog,搭建了下,无意中找到了此博客,原来是位专业搞日志的高手.
    希望以后能多多请教一些日志收集和分析的东东!

    回复

发表评论

电子邮件地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>