找回密码
 FreeOZ用户注册
查看: 4674|回复: 36
打印 上一主题 下一主题

[经验分享] 30分钟前,突然接到老板电话……非牢骚帖,纯分享经历

[复制链接]
跳转到指定楼层
1#
发表于 23-6-2013 21:42:36 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?FreeOZ用户注册

x
说某项服务不工作了,于是立马搁下手头所有事情,检查排错。30分钟搞定,一身汗,若是解决不了,我就得驱车去单位roll back了

昨天(星期六)我去单位做了一个变更,事后检查各项服务都正常,不过server team的很多内容我没法查,只发了个email 告诉他们我的事情做完了,一切正常。估计事后他们也没有全面检查,周末么。

于是就有了今天的事故,呵呵,其实从昨天下午变更完就不工作了,只是今晚才有用户反映。检查了一通,建议server team那边重启了一个服务器,就都恢复了。虽然问题根源不在于这个变更,不过还是反映了某些变更流程出了问题,下周要好好优化一下。

做IT这一块,工作流程远比技术水平重要,切记切记。

发帖给自己望牢记。

评分

参与人数 9威望 +420 收起 理由
浮云云艾米莉 + 50 谢谢分享!
MillerYang + 20 恭喜你!
yeats_only + 50 谢谢分享!
雅瑶冬月 + 50 谢谢分享!
cais + 50 很给力!

查看全部评分

回复  

使用道具 举报

2#
发表于 23-6-2013 21:58:49 | 只看该作者
被你的标题钩进来的 猜想是不是被炒鱿鱼了还是大的升迁了,呵呵 没事就好啊  谢谢分享! 混口饭大家都不容易啊,继续努力吧
回复  

使用道具 举报

3#
发表于 23-6-2013 21:59:15 | 只看该作者
被你的标题钩进来的 猜想是不是被炒鱿鱼了还是大的升迁了,呵呵 没事就好啊  谢谢分享! 混口饭大家都不容易啊,继续努力吧
回复  

使用道具 举报

4#
 楼主| 发表于 23-6-2013 22:04:23 | 只看该作者

O(∩_∩)O哈!,看来我写标题的水平有所提高了

评分

参与人数 1威望 +50 收起 理由
yping88 + 50 you know your audience too well!

查看全部评分

回复  

使用道具 举报

5#
发表于 23-6-2013 22:08:10 | 只看该作者
指纹不简单,尽管出了问题但是在家很快就搞定了,水平高!
回复  

使用道具 举报

6#
 楼主| 发表于 23-6-2013 22:09:07 | 只看该作者
@sucewang 王姐过奖了,干这行的不都是在家就能工作么

我现在每周两天work from home。

评分

参与人数 1威望 +20 收起 理由
cais + 20 恭喜你!

查看全部评分

回复  

使用道具 举报

7#
发表于 23-6-2013 22:45:26 | 只看该作者
羡慕能work at home的人。

评分

参与人数 2威望 +35 收起 理由
浮云云艾米莉 + 30 我很赞同!
cais + 5 我很赞同!

查看全部评分

回复  

使用道具 举报

8#
 楼主| 发表于 23-6-2013 22:49:05 | 只看该作者
Serin 发表于 23-6-2013 21:45
羡慕能work at home的人。

其实没那么多好处啦,在家除了盯着单位的事儿,还得收拾屋子,接送孩子,打扫卫生,做午晚饭,等等等等

另外还得发帖子,评分儿,灌水,忙死了

评分

参与人数 6威望 +190 收起 理由
浮云云艾米莉 + 50 你太有才了!
MillerYang + 20 你太搞笑了!
yeats_only + 20 哈哈~~~
cais + 20 我很赞同!
newozer + 50 你太有才了!

查看全部评分

回复  

使用道具 举报

9#
发表于 23-6-2013 23:01:36 | 只看该作者
楼主太逗了
回复  

使用道具 举报

10#
发表于 23-6-2013 23:04:29 | 只看该作者
我说指纹咋一天到晚这么乐呢。。。游刃有余啊。。。
回复  

使用道具 举报

11#
发表于 23-6-2013 23:07:57 | 只看该作者
指纹 发表于 23-6-2013 21:49
其实没那么多好处啦,在家除了盯着单位的事儿,还得收拾屋子,接送孩子,打扫卫生,做午晚饭,等等等等
...

你现在状态很好。
工作是越忙越有激情的,论坛也是。如果我一登陆看到30个提醒,一整天都很开心。

不过家务是越忙越乱,能精简就精简了。

评分

参与人数 3威望 +120 收起 理由
浮云云艾米莉 + 50 你太有才了!
MillerYang + 20 你太有才了!
Serin + 50 你太有才了!

查看全部评分

回复  

使用道具 举报

12#
发表于 23-6-2013 23:39:07 | 只看该作者
指纹 发表于 23-6-2013 21:49
其实没那么多好处啦,在家除了盯着单位的事儿,还得收拾屋子,接送孩子,打扫卫生,做午晚饭,等等等等
...

我以前就是这样。除了做饭之外,其它都有做一些。
不过有时一忙起来就公私不分,晚上也要做。不太好。
而且下午要去接孩子的时候总要偷偷摸摸的,感觉不是很爽。
回复  

使用道具 举报

13#
 楼主| 发表于 24-6-2013 11:07:56 | 只看该作者
MICHELLE07 发表于 23-6-2013 22:07
你现在状态很好。
工作是越忙越有激情的,论坛也是。如果我一登陆看到30个提醒,一整天都很开心。

家务如何能简则简呢?想学习下
回复  

使用道具 举报

14#
 楼主| 发表于 24-6-2013 11:10:44 | 只看该作者
cais 发表于 23-6-2013 22:39
我以前就是这样。除了做饭之外,其它都有做一些。
不过有时一忙起来就公私不分,晚上也要做。不太好。
...

我倒是很少晚上加班,不过像我这种搞内部IT支持的,平时一般都没啥大事儿,但做个变更什么的一定都是加班,别人都工作的时候没法做啊。
回复  

使用道具 举报

15#
发表于 24-6-2013 11:15:26 | 只看该作者
是的~有时候就是仔细的过遍流程~
回复  

使用道具 举报

16#
发表于 24-6-2013 11:15:39 | 只看该作者
赞成指纹的观点,IT,尤其是OPS,流程比技术重要。贴一篇我的旧博克,也是关于变更的。

==============华丽丽的分割线=================

    上个星期四犯的错,很低级,但后果很严重,严重到。。。我以为圣诞前要找工作了。所以记录下来,警醒自己。

    当天挺忙的,大约五点半,change manager扔过来一个变更,要把一个non-clustered unique index改成一个clustered unique index,然后在这个基础上,再建一个新的索引。很简单,所有的approval都有了,只要我这个最后的守门人approve,就可以放行了。扫了两眼,脚本很简单也很工整,语法也没有错误,就直接扔生产环境了。

    一台数据库服务器的Processor Time直接跳到60%以上,澳洲的股票交易4点收市,在这个时候服务器发了疯,肯定是有问题了。上去一看,超过100个session在同时对一个有4000多万行的表做table scan,因为这个原因,到处都是blocking,系统的一个funcion完全不可用,全部time out。用户没有办法查到自己任何时间段内的股票交易记录。

    这个表,就是那个要重建索引的表。更改用到的脚本,第一步就是把旧的non-clustered unique index drop掉,然后create一个新的。没有了这个索引,原来的index seek变成了table scan。

    我错在没有尽到一个DBA的责任。这个更改,只要当时看看这个表的大小和它的dependency,是完全应该直接deny的,然而我没有,而是轻率地把它扔到生产环境。没有任何借口,就是错了。

    要roll back,就要重建旧索引,就索引是non-clustered的,要重建所需要的时间和空间会比建一个clustered index要少得多。在和system owner商量之后,决定roll back。一个半小时后,旧索引完成(时间有点长了,主要原因就是那个table scan带来的blocking),受到影响的funcion重新在线。

    第二天,开会检讨,提这个更改的码农疯了,坚持这个更改一定要上,不然影响如何如何blabla。。。即使可能引起显而易见的outage亦在所不惜。他的疯狂,竟然使得他最后得到system owner的支持,星期五深夜再试。他在会上的疯狂表现很好地遮盖了我的错误,因为都是他的show time。我得以全身而退。

    再做的时候,我改了该码农脚本,不再先drop掉旧的索引,而是rename,然后recompile所有用到这个索引的存储过程,之后才建那个clustered index。这次仅仅用了20分钟,而且没有任何outage。唯一的坏处就是,在implement的过程中,需要用到比原来脚本更加多的storage,在今天这个存储白菜价的时代,这个已经不是一个大问题了。

评分

参与人数 5威望 +175 收起 理由
hothuang + 20 你太有才了!
jmpt + 50 谢谢分享!
michaelsusu + 25 你太有才了!
MillerYang + 30 谢谢分享!
指纹 + 50 谢谢分享!

查看全部评分

回复  

使用道具 举报

17#
发表于 24-6-2013 11:17:32 | 只看该作者
指纹 发表于 23-6-2013 21:49
其实没那么多好处啦,在家除了盯着单位的事儿,还得收拾屋子,接送孩子,打扫卫生,做午晚饭,等等等等
...

我也想有一天可以酱紫~~~
回复  

使用道具 举报

18#
发表于 24-6-2013 11:25:04 | 只看该作者
雅瑶冬月 发表于 24-6-2013 10:15
赞成指纹的观点,IT,尤其是OPS,流程比技术重要。贴一篇我的旧博克,也是关于变更的。

==============华 ...

话说这种事一般不都是半夜或者周末做的吗
回复  

使用道具 举报

19#
发表于 24-6-2013 11:34:37 | 只看该作者
thomasyuan 发表于 24-6-2013 10:25
话说这种事一般不都是半夜或者周末做的吗

看change的大小,我的这个case最大的问题就是误判,所以把它作为一个小change放到weekday了。
回复  

使用道具 举报

20#
发表于 24-6-2013 11:35:07 | 只看该作者
做IT这一块,工作流程远比技术水平重要,切记切记。



说大了点吧?我觉得应该是case by case的,取决于你的系统的重要性。critical的系统,流程当然重要。非critical的就无所谓了。

我以前公司的东西,PROD有一套,QA有一套差不多的,所有的change都在QA上先测试,然后批准后turnover到PROD。基本上只有每天关市之后系统可以turnover,遇到有些重要的日期还会有blackout不允许turnover。这个体系应该是相当简单东西。但是有价值的地方在于,技术把系统中能够带来人为错误的地方限制到了最低的程度。

流程固然重要,但是执行流程的不可避免的是人,最不可靠的一个环节。

评分

参与人数 1威望 +30 收起 理由
MillerYang + 30 谢谢分享!

查看全部评分

回复  

使用道具 举报

21#
发表于 24-6-2013 11:38:38 | 只看该作者
指纹 发表于 24-6-2013 10:07
家务如何能简则简呢?想学习下

全部自动化:

吸尘机器人、拖地机器人、洗碗机等等,炖菜、煲汤也是准备好之后定时开动。。。

小家伙的玩具买大一些的,收拾起来比较快捷。。。
回复  

使用道具 举报

22#
 楼主| 发表于 24-6-2013 11:43:48 | 只看该作者
雅瑶冬月 发表于 24-6-2013 10:38
全部自动化:

吸尘机器人、拖地机器人、洗碗机等等,炖菜、煲汤也是准备好之后定时开动。。。

嘿嘿,说起来很容易
回复  

使用道具 举报

23#
发表于 24-6-2013 11:45:08 | 只看该作者
我以前公司的东西,PROD有一套,QA有一套差不多的,所有的change都在QA上先测试,然后批准后turnover到PROD。基本上只有每天关市之后系统可以turnover,遇到有些重要的日期还会有blackout不允许turnover。


这个就是流程啊,跟技术无关的。

不过我同意技术可以把人为错误的可能性尽量降低。公司最关键的那套系统,每次的release都跟开嘉年华会私的,大量的食物和整个冰箱的啤酒,完全不担心酒后误事,是因为所有的release的command都只能有一个写法,错任何一点点儿东西都跑不下去的,所以系统相对安全。
回复  

使用道具 举报

24#
发表于 24-6-2013 11:47:28 | 只看该作者
指纹 发表于 24-6-2013 10:43
嘿嘿,说起来很容易

对啊,我们家就是这样的啊,现在我们的小容每天都在勤勤恳恳地工作。。。

上次在target看上了一个拖地机器人,结果被老婆否决了。。。
回复  

使用道具 举报

25#
发表于 24-6-2013 11:55:14 | 只看该作者
雅瑶冬月 发表于 24-6-2013 10:45
这个就是流程啊,跟技术无关的。

不过我同意技术可以把人为错误的可能性尽量降低。公司最关键的那套 ...

我觉得在这个过程中,技术也相当重要。执行流程的部分如果依赖人的部分过多,仍然会减低可靠性。

我说的那个系统当中优秀的部分都和技术关系很大。比如说,所有的binary,在PROD和在QA环境当中用的全都是一模一样的,而且是同一个文件,全球只有一份拷贝。这个依赖于卡耐基梅隆大学研发的AFS文件系统。QA和PROD之间唯一能改的是符号链接,而且这个更改只有在特定的时间窗口能够进行,变更控制系统会在批准的ticket的时间窗口内把文件系统的特定部分变为可写,其他时间都是只读。万一什么不对,第二天要rollback,也只需要敲一个命令,几分钟的时间。
回复  

使用道具 举报

26#
发表于 24-6-2013 11:56:14 | 只看该作者
本帖最后由 yping88 于 24-6-2013 10:59 编辑
指纹 发表于 23-6-2013 21:49
其实没那么多好处啦,在家除了盯着单位的事儿,还得收拾屋子,接送孩子,打扫卫生,做午晚饭,等等等等
...


:

Nothing better than these signs when it comes to the real feelings--Simple and expressive!
回复  

使用道具 举报

27#
发表于 24-6-2013 11:59:34 | 只看该作者
tristone 发表于 24-6-2013 10:35
说大了点吧?我觉得应该是case by case的,取决于你的系统的重要性。critical的系统,流程当然重要。 ...


QA系统一般都有吧,虽说直接上prod确实猛了点,但是ls这个case放在QA也不一定测得出来,除非他们一直模拟用户访问。
有时候这事还得靠经验

评分

参与人数 1威望 +50 收起 理由
tristone + 50 我很赞同!

查看全部评分

回复  

使用道具 举报

28#
发表于 24-6-2013 12:01:20 | 只看该作者
tristone 发表于 24-6-2013 10:55
我觉得在这个过程中,技术也相当重要。执行流程的部分如果依赖人的部分过多,仍然会减低可靠性。

我说 ...

我的理解是,用技术手段去保证流程得以严格遵守,这也应该是流程的一部分啊。

评分

参与人数 1威望 +20 收起 理由
MillerYang + 20 狗的毛宁

查看全部评分

回复  

使用道具 举报

29#
发表于 24-6-2013 12:21:33 | 只看该作者
俺公司的CTO一天到晚直接更改prod service 代码,经常造成服务出点小叉子,偶尔搞个无法访问神马的。。。

评分

参与人数 1威望 +50 收起 理由
thomasyuan + 50 真幸福

查看全部评分

回复  

使用道具 举报

30#
发表于 24-6-2013 12:53:17 | 只看该作者
羡慕所有能WFH的!!!!

我生病的时候,强烈要求work from home, 结果每次都被否决了,因为很多事情都是要跟人交流的,一定要人在办公室。。。

于是我就眼睁睁的看sick leave变成负数了

评分

参与人数 1威望 +50 收起 理由
指纹 + 50 安慰下

查看全部评分

回复  

使用道具 举报

您需要登录后才可以回帖 登录 | FreeOZ用户注册

本版积分规则

小黑屋|手机版|Archiver|FreeOZ论坛

GMT+11, 18-11-2026 12:31 , Processed in 0.035802 second(s), 46 queries , Gzip On, Redis On.

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表