磁盤陣列柜 DS2405 HP

????????????????HP 磁盤陣列柜 DS2405

HP DS2405 盤柜更換硬盤操作手冊 (2011-12-20 22:24) 1 目的 為了保障系統(tǒng)安全穩(wěn)定的運行，HP DS2405 盤柜的報錯盤的拓撲結(jié)構(gòu)和主機的磁盤劃分和業(yè)務(wù)情況，對此次磁盤故障進行更換方案的準(zhǔn)備，包括磁盤報錯的分析，磁盤更換前的數(shù)據(jù)備份工作，備件準(zhǔn)備，人員和時間安排，可能面臨的風(fēng)險以及遇到意外情況下的回退方案等，特撰寫此操作手冊。 2 了解運行環(huán)境，定位錯誤硬盤 系統(tǒng)運行環(huán)境：HP rp4440 主機，操作系統(tǒng)版本為B11.11，主機名：s21 和s22，分別直連兩臺共享盤柜DS2405，DS2405 分別配備十四塊36G15K 硬盤。 （1）其中盤柜的的十四塊磁盤通過LVM管理軟件統(tǒng)一管理，具體配置如下： 系統(tǒng)使用的pv 信息如下 /dev/vg00 /dev/dsk/c2t1d0 /dev/dsk/c3t0d0 /dev/vgdata /dev/dsk/c5t8d0 /dev/dsk/c5t9d0 /dev/dsk/c5t10d0 /dev/dsk/c5t11d0 /dev/dsk/c5t12d0 /dev/dsk/c5t13d0 /dev/dsk/c5t14d0 /dev/dsk/c6t8d0 /dev/dsk/c6t9d0 /dev/dsk/c6t10d0 /dev/dsk/c6t11d0 /dev/dsk/c6t12d0 /dev/dsk/c6t13d0 /dev/dsk/c6t14d0 /dev/vgdp /dev/dsk/c5t1d0 /dev/dsk/c5t2d0 /dev/dsk/c5t3d0 /dev/dsk/c5t4d0 /dev/dsk/c5t5d0 /dev/dsk/c5t6d0 /dev/dsk/c5t7d0 /dev/dsk/c6t1d0 /dev/dsk/c6t2d0 /dev/dsk/c6t3d0 /dev/dsk/c6t4d0 /dev/dsk/c6t5d0 /dev/dsk/c6t6d0 /dev/dsk/c6t7d0 /dev/vglock B]j^ /dev/dsk/c5t0d0 /dev/dsk/c6t0d0 其中Vgdata 中使用的pv 信息如下： --- Physical volume groups --- PVG Name pvg0 PV Name /dev/dsk/c5t8d0 PV Name /dev/dsk/c5t9d0 PV Name /dev/dsk/c5t10d0 PV Name /dev/dsk/c5t11d0 PV Name /dev/dsk/c5t12d0 PV Name /dev/dsk/c5t13d0 PV Name /dev/dsk/c5t14d0 PVG Name pvg1 PV Name /dev/dsk/c6t8d0 PV Name /dev/dsk/c6t9d0 PV Name /dev/dsk/c6t10d0 PV Name /dev/dsk/c6t11d0 PV Name /dev/dsk/c6t12d0 PV Name /dev/dsk/c6t13d0 PV Name /dev/dsk/c6t14d0 Vgdata 共使用十四塊磁盤，其中c5t8d0 至c5t14d0 在PVG0 中，對應(yīng) ds2405-1 的后半部分磁盤，而 c6t8d0 至c6t14d0 在PVG1 中，對應(yīng)ds2405-2 的后半部分，PVG0 和PVG1 做PVG 條帶化后鏡像，報錯的硬盤為c6t8d0 在PVG0 中，目前故障硬盤在系統(tǒng)的狀態(tài)為claimed，還沒有完全壞掉，通過lvdisplay 查看可以看到有stale 狀態(tài)的壞塊，需及時對此盤進行更換。 目前系統(tǒng)運行在有風(fēng)險的環(huán)境中，測試對此硬盤讀寫，寫入數(shù)據(jù)失敗，需要及時進行處理從而使系統(tǒng)重新在良好環(huán)境中運行。 （2）根據(jù)報錯信息定位故障硬盤： 使用root 權(quán)限登陸服務(wù)器，查看syslog 和event.log 發(fā)現(xiàn)有磁盤的嚴(yán)重報錯，其中syslog 中報有EMS檢測到的硬件告警信息，event.log 有Disk at hardware path 0/6/1/0/4/0.8.0.255.0.8.0 : Device connectivity or hardware failure，而 0/6/1/0/4/0.8.0.255.0.8.0 對應(yīng)的磁盤為c6t8d0。 3 更換前的準(zhǔn)備工作 （1）數(shù)據(jù)備份 配置信息備份：vgdisplay –v;lvlnboot –v;ioscan –fn;bdf;cat /etc/lvmpvg;cat /etc/lvmtab 由于vgdata 是通過lvm來管理，已經(jīng)做了鏡像，目前壞盤對業(yè)務(wù)無影響，可在線換盤然后進行數(shù)據(jù)同步。 （2）操作時間，人員安排及備件準(zhǔn)備 申請下更換硬盤的具體時間后，工程師會在約定的時間帶備件到現(xiàn)場，對備件PN 進行檢查后準(zhǔn)備下一步的確認(rèn)工作。 （3）操作前確認(rèn) 檢查和確認(rèn)故障硬盤的位置,確認(rèn)沒有其他硬件報錯,cat /opt/resmon/log/event.log。 確認(rèn)沒有NFS 使用此主機, more /etc/exports。 （4）VA 上面使用使用的磁盤每個最小分區(qū)為520byte，多余的8byte 用來保存raid 校驗等信息 DS2405 上面使用的磁盤的每個最小分區(qū)為512byte，當(dāng)VA上面的一個壞時，我們可以使用相同型號的DS2405 上面的盤進行更換，此時新盤插入到VA 上面后，會自動被格式化為520 的，不需要認(rèn)為干預(yù)改為520 的 當(dāng)DS2405 上面的一個壞時，我們用相同型號的VA 上面的盤進行更換時，需要首先使用JBODfmt 命令將此硬盤格式化為512 的，然后才能被系統(tǒng)使用，否則機器檢測到盤但是無法使用。在給DS2405 更換盤時，不要使用520 的磁盤，否則，如果現(xiàn)場沒有安裝command view SDM（經(jīng)過測試，不同系統(tǒng)需要不同版本的軟件，現(xiàn)場能找到合適此系統(tǒng)版本的軟件的可能行一般不大），會發(fā)生系統(tǒng)無法使用新更換的磁盤。 使用swlist |grep CMDVIEWSDM 檢查是否裝有CMDVIEWSDM軟件。 4 更換方法和步驟 （1）在sdp21 主機上確認(rèn)lv 信息：檢查vgdata 中使用到的所有l(wèi)v 的狀態(tài)。 （2）在sdp21 主機上再次確認(rèn)故障盤的位置及屬性： dd if=/dev/rdsk/c6t9d0 of=/dev/null bs=10240k dd if=/dev/rdsk/c6t7d0 of=/dev/null bs=10240k diskinfo /dev/rdsk/c6t7d0 diskinfo /dev/rdsk/c6t9d0 檢查目前磁盤的塊大小。 （3）在ds2405 第9 槽位更換硬盤：拔出故障盤（需等待10 秒左右），可用fcmsutil /dev/td0 devstat all | grep Loop 進行確認(rèn)，然后插入新盤。 （4）在s21 和s22 主機上識別新盤、驗證新盤的正確性 ioscan –fnCdisk 如果失敗，在s21 和s22 主機上分別執(zhí)行如下操作： 確認(rèn)c6t8d0 對應(yīng)的光纖鏈路為/dev/fcd1 Dmesg 確認(rèn)/dev/fcd1 對應(yīng)的node id，然后執(zhí)行 fcmsutil /dev/fcd1 replace_dsk dmesg(node id) ioscan 檢查是否正常識別出磁盤，如果失敗繼續(xù)定位原因，已經(jīng)在測試環(huán)境測試通過。 （5）確認(rèn)磁盤的可用性，檢查新加磁盤的塊大小。 diskinfo /dev/rdsk/c6t8d0 vendor: HP 36.4G product id: ST336753FC type: direct access size: 70000000 Kbytes bytes per sector: 520 如果為520，則需要在s21 和s22 上執(zhí)行操作，系統(tǒng)必須裝有CMDVIEWSDM 軟件后新盤執(zhí)行格式化，塊大小會變?yōu)?12。 在s21 和s22 上執(zhí)行：Armdiscover 掃描系統(tǒng)認(rèn)到的磁盤 :/# JBODdsp -i sdp21 Product ID: HP 36.4G-ST336605FC Device Type: Disk Alias: Unique ID: 20000004cf7279e7 Serial Number: 3FP152EZ Management Path: n4000:/dev/dsk/c7t0d0 Product ID: HP 73.4G-ST373453FC Device Type: Disk Alias: Unique ID: 20000011c639fff6 Serial Number: 3HW2JJ12 Management Path: n4000:/dev/dsk/c7t8d0 Product ID: HP-A5236A Device Type: Enclosure Controller Alias: fc10 Unique ID: HPA5236AUSSA10028830-----------------獲得此號碼。 Serial Number: USSA10028830 Management Path: n4000:/dev/rscsi/c7t10d0 然后使用命令 #JBODdsp HPA5236AUSSA10028830 可以查詢到磁盤node id #JBODdsp HPA5236AUSSA10028830 Vendor: HP Product ID: A5236A Product Firmware: HP06 Serial Number: USSA10028830 Midplane S/N: Node Unique ID: 50060b00000940df------------------獲得此號。 Port Unique ID: HPA5236AUSSA10028830 Status: Critical 最后使用命令#JBODfmt -f 50060b00000940df 對磁盤進行塊大小的重新格式化（-f 默認(rèn)為512byte）。 系統(tǒng)會提示你format is started，接下來就是等待（近20 分鐘），硬盤燈成綠色閃爍，閃爍完畢。 Diskinfo 進行確認(rèn)。 （5）在s21 上對vgdata 配置信息恢復(fù)：vgcfgrestore -n vgvgdata /dev/rdsk/c6t8d0 vgchange -a y /dev/vgdata （6）lvdisplay 查看是否已經(jīng)開始同步，如果沒有自動同步則：vgsync /dev/vgdata。 （7）驗證 lvdisplay –v lvname 查看使用c6t8d0 的所有l(wèi)v 的同步狀態(tài)，直至所有的lv 都同步完。 查看event.log 和syslog.log 確認(rèn)沒有硬盤新的報錯，查看bdf，ioscan 確認(rèn)運行正常。 5 風(fēng)險及解決方案 因為目前磁盤做有鏡像，一塊盤故障不會影響系統(tǒng)正常運行和啟動，但考慮到設(shè)備老化等原因，也不排除其他的意外出現(xiàn)。此次硬盤更換操作存在的風(fēng)險如下： 更換過程中設(shè)備無法識別新?lián)Q上的硬盤。 更換的過程中更換新硬盤后無法正常完成數(shù)據(jù)同步。 更換的過程中有其他硬件故障引起設(shè)備宕機，數(shù)據(jù)丟失等。 更換之后系統(tǒng)無法正常運行，文件系統(tǒng)損壞等。 針對以上的風(fēng)險，可以有以下的解決方案： 如果設(shè)備無法識別新?lián)Q上的硬盤，則檢查新硬盤狀態(tài)，檢查SCSI 線連接等，一旦發(fā)現(xiàn)硬件有問題立即申請新備件。 如果更換新硬盤后無法正常完成數(shù)據(jù)同步，則需要檢查和硬盤連接同一總線的其他外設(shè)SCIS 設(shè)備，一旦發(fā)現(xiàn)有沖突，可暫時對其他總線設(shè)備拔除后再同步。 如果有其他硬件故障引起設(shè)備宕機，數(shù)據(jù)丟失等情況，則及時定位故障部件申請備件，如果是硬盤損壞引起數(shù)據(jù)丟失，則首先申請新的硬盤備件進行更換，更換完之后通過備份磁帶對操作系統(tǒng)數(shù)據(jù)進行恢復(fù)。 如果更換之后系統(tǒng)無法正常運行，文件系統(tǒng)損壞，首先查明原因，如果是操作系統(tǒng)軟件原因則根據(jù)系統(tǒng)報錯進行分析解決，如果一時定位不出原因則可通過系統(tǒng)重啟后進單用戶模式對系統(tǒng)進行相應(yīng)的文件系統(tǒng)修復(fù)，如果仍然無法修復(fù)則從操作系統(tǒng)備份磁帶進行恢復(fù)。 6 回退方案 現(xiàn)場操作前準(zhǔn)備操作系統(tǒng)備份的磁帶及系統(tǒng)光盤，一旦有段時間內(nèi)無法解決的問題可通過磁帶恢復(fù)或者光盤啟動后修復(fù)。