6月22日,全國(guó)人民正沉浸在端午假期第一天的放松與愉悅中,但設(shè)計(jì)公司的部分員工還在家中遠(yuǎn)程工作。傍晚17點(diǎn)45分,公司微信群里突然出現(xiàn)了這樣一條信息:
“204服務(wù)器上不去了”。
正是這簡(jiǎn)簡(jiǎn)單單的一句話,拉開了行政管理中心信息專員姚旭為期二十余天辛勤工作的序幕。
事發(fā)突然 妥善應(yīng)對(duì)
22日當(dāng)天,姚旭正在家里陪著9月初預(yù)產(chǎn)的妻子聊天??吹饺豪镄畔⒑?他立即回復(fù)同事、詢問詳細(xì)情況、開展遠(yuǎn)程排查;但在排除幾種常規(guī)故障后,依舊無法判斷服務(wù)器訪問異常的原因出在哪里。該服務(wù)器作為公司的NAS存儲(chǔ)服務(wù)器,訪問需求迫切,姚旭決定第二天去公司加班排查故障,并提前聯(lián)系了服務(wù)器專業(yè)運(yùn)維人員。
23日早9點(diǎn),姚旭協(xié)同兩名運(yùn)維人員駕車趕到公司。經(jīng)過一個(gè)多小時(shí)的仔細(xì)檢查,三人形成初步判斷:問題應(yīng)該出在服務(wù)器的硬盤上。
10點(diǎn)半開始,三個(gè)人立即開展了全面的服務(wù)器排查工作,沒想到一干就是四個(gè)小時(shí)。在對(duì)服務(wù)器端操作系統(tǒng)及總共12塊硬盤檢測(cè)一遍后,檢測(cè)小組得出結(jié)論:有兩塊(同組)硬盤出現(xiàn)了故障,導(dǎo)致磁盤陣列崩潰、系統(tǒng)無法運(yùn)行,所有用戶無法登錄及訪問服務(wù)器。
更加雪上加霜的事情還在后面:設(shè)計(jì)公司服務(wù)器的磁盤陣列采取了RAID 5模式,只允許單盤故障,系統(tǒng)才會(huì)通過算法將數(shù)據(jù)重組恢復(fù)。在這種模式下,如果損壞的硬盤只有一塊,那么維修起來會(huì)比較方便,直接替換損壞硬盤即可;若反之,損壞兩塊及以上硬盤,就只能采取修復(fù)盤體、強(qiáng)制上線或者鏡像備份等方式嘗試恢復(fù)數(shù)據(jù),后期再重建RAID與FreeNAS系統(tǒng)(一種專門針對(duì)網(wǎng)絡(luò)存儲(chǔ)設(shè)計(jì)和優(yōu)化的操作系統(tǒng))。
很不幸,公司此次剛好遇到了第二種情況。懷著復(fù)雜的心情,姚旭讓兩名運(yùn)維人員把服務(wù)器及硬盤搬離機(jī)房,運(yùn)至專業(yè)機(jī)構(gòu)進(jìn)行維修。
當(dāng)天恰逢北京高溫,機(jī)房空調(diào)系統(tǒng)出現(xiàn)故障,機(jī)房溫度超過40攝氏度。離開公司之際,三人已是汗流浹背、饑腸轆轆。
長(zhǎng)期作戰(zhàn) 不辱使命
自6月25日上班開始,姚旭經(jīng)歷了二十天的長(zhǎng)期作戰(zhàn)。
經(jīng)運(yùn)維人員測(cè)算,設(shè)計(jì)公司服務(wù)器硬盤中總共存儲(chǔ)了約40TB的數(shù)據(jù),其中不重復(fù)的有效數(shù)據(jù)約25TB,主要關(guān)系到各個(gè)生產(chǎn)部門的設(shè)計(jì)咨詢、生產(chǎn)經(jīng)營(yíng)工作。
由于數(shù)據(jù)總量過于龐大,維修機(jī)構(gòu)只能采取最為保險(xiǎn)的方式:完整鏡像備份故障RAID中所有硬盤,基于鏡像文件分析,進(jìn)行數(shù)據(jù)重組及提取工作,將數(shù)據(jù)導(dǎo)入大容量移動(dòng)硬盤內(nèi),最后寄回姚旭手中。在此情況下,姚旭每天在初步核驗(yàn)數(shù)據(jù)后,只能向公司備用服務(wù)器上傳約1TB的數(shù)據(jù)。先恢復(fù)哪個(gè)部門的數(shù)據(jù)、后恢復(fù)哪個(gè)部門的數(shù)據(jù),就成了一道頗難抉擇的考題。
在三周的時(shí)間內(nèi),姚旭不斷與各個(gè)部門開展溝通,根據(jù)工作緩急程度,統(tǒng)籌安排數(shù)據(jù)上傳順序。期間雖有個(gè)別性急的部門員工表達(dá)過優(yōu)先上傳本部門數(shù)據(jù)的意見與理由,終被姚旭手中詳細(xì)編制、入情入理的數(shù)據(jù)恢復(fù)方案所打動(dòng),轉(zhuǎn)而采取支持理解的態(tài)度。
“凡事預(yù)則立,不預(yù)則廢。有了這份方案,不但生產(chǎn)部門同事和我吵架吵不起來,各生產(chǎn)部門之間應(yīng)該也不會(huì)產(chǎn)生意見。咱們干工作本來是為了解決矛盾的,要是因?yàn)槲业氖韬霎a(chǎn)生了不必要的矛盾,那不就‘越幫越忙’了嗎?”
截止7月14日,數(shù)據(jù)傳輸工作已完成約90%。
事無巨細(xì) 一力承擔(dān)
據(jù)姚旭估計(jì),數(shù)據(jù)上傳工作7月中旬即可結(jié)束,接下來還要實(shí)施重建RAID、重裝服務(wù)器系統(tǒng)、更新域控權(quán)限、同步主服務(wù)器與備份服務(wù)器數(shù)據(jù)等工作。照此推斷,公司服務(wù)器NAS系統(tǒng)整體修復(fù)工作預(yù)計(jì)8月份才能完成。
在此期間,姚旭還要完成復(fù)印機(jī)租賃招標(biāo)、集團(tuán)信息化經(jīng)費(fèi)分?jǐn)?、辦公網(wǎng)絡(luò)專線費(fèi)用支付、財(cái)務(wù)系統(tǒng)歷史數(shù)據(jù)核銷、協(xié)助財(cái)務(wù)函證對(duì)賬等雜項(xiàng)工作,同時(shí)落實(shí)集團(tuán)公司2023年網(wǎng)絡(luò)安全演練相關(guān)工作,擬定執(zhí)行方案。
聊到這里,這位準(zhǔn)爸爸也不免感嘆:最近確實(shí)挺忙的。
“不過呢,忙點(diǎn)兒也好,忙起來心里踏實(shí),忙起來才能體現(xiàn)自身的價(jià)值。咱們既然吃的是網(wǎng)絡(luò)信息這口飯,就要干好網(wǎng)絡(luò)信息這攤活兒。小寶貝兒就要出生了,這個(gè)夏天之所以忙,也保不齊是TA給我來了一個(gè)小考驗(yàn)。畢竟,更大的考驗(yàn)還在后面呢?!?/p>
——只見姚旭滿臉的溫柔與幸福。(撰稿:王沈浩)
來源:中華網(wǎng)
網(wǎng)站簡(jiǎn)介 / 廣告服務(wù) / 聯(lián)系我們
主辦:華夏經(jīng)緯信息科技有限公司 版權(quán)所有 華夏經(jīng)緯網(wǎng)
Copyright 2001-2024 By m.essencecafe.cn