磁盤陣列柜 DS2405 HP

????????????????HP 磁盤陣列柜 DS2405

HP DS2405 盤柜更換硬盤操作手冊 (2011-12-20 22:24) 1 目的 為了保障系統安全穩定的運行，HP DS2405 盤柜的報錯盤的拓撲結構和主機的磁盤劃分和業務情況，對此次磁盤故障進行更換方案的準備，包括磁盤報錯的分析，磁盤更換前的數據備份工作，備件準備，人員和時間安排，可能面臨的風險以及遇到意外情況下的回退方案等，特撰寫此操作手冊。 2 了解運行環境，定位錯誤硬盤 系統運行環境：HP rp4440 主機，操作系統版本為B11.11，主機名：s21 和s22，分別直連兩臺共享盤柜DS2405，DS2405 分別配備十四塊36G15K 硬盤。 （1）其中盤柜的的十四塊磁盤通過LVM管理軟件統一管理，具體配置如下： 系統使用的pv 信息如下 /dev/vg00 /dev/dsk/c2t1d0 /dev/dsk/c3t0d0 /dev/vgdata /dev/dsk/c5t8d0 /dev/dsk/c5t9d0 /dev/dsk/c5t10d0 /dev/dsk/c5t11d0 /dev/dsk/c5t12d0 /dev/dsk/c5t13d0 /dev/dsk/c5t14d0 /dev/dsk/c6t8d0 /dev/dsk/c6t9d0 /dev/dsk/c6t10d0 /dev/dsk/c6t11d0 /dev/dsk/c6t12d0 /dev/dsk/c6t13d0 /dev/dsk/c6t14d0 /dev/vgdp /dev/dsk/c5t1d0 /dev/dsk/c5t2d0 /dev/dsk/c5t3d0 /dev/dsk/c5t4d0 /dev/dsk/c5t5d0 /dev/dsk/c5t6d0 /dev/dsk/c5t7d0 /dev/dsk/c6t1d0 /dev/dsk/c6t2d0 /dev/dsk/c6t3d0 /dev/dsk/c6t4d0 /dev/dsk/c6t5d0 /dev/dsk/c6t6d0 /dev/dsk/c6t7d0 /dev/vglock B]j^ /dev/dsk/c5t0d0 /dev/dsk/c6t0d0 其中Vgdata 中使用的pv 信息如下： --- Physical volume groups --- PVG Name pvg0 PV Name /dev/dsk/c5t8d0 PV Name /dev/dsk/c5t9d0 PV Name /dev/dsk/c5t10d0 PV Name /dev/dsk/c5t11d0 PV Name /dev/dsk/c5t12d0 PV Name /dev/dsk/c5t13d0 PV Name /dev/dsk/c5t14d0 PVG Name pvg1 PV Name /dev/dsk/c6t8d0 PV Name /dev/dsk/c6t9d0 PV Name /dev/dsk/c6t10d0 PV Name /dev/dsk/c6t11d0 PV Name /dev/dsk/c6t12d0 PV Name /dev/dsk/c6t13d0 PV Name /dev/dsk/c6t14d0 Vgdata 共使用十四塊磁盤，其中c5t8d0 至c5t14d0 在PVG0 中，對應 ds2405-1 的后半部分磁盤，而 c6t8d0 至c6t14d0 在PVG1 中，對應ds2405-2 的后半部分，PVG0 和PVG1 做PVG 條帶化后鏡像，報錯的硬盤為c6t8d0 在PVG0 中，目前故障硬盤在系統的狀態為claimed，還沒有完全壞掉，通過lvdisplay 查看可以看到有stale 狀態的壞塊，需及時對此盤進行更換。 目前系統運行在有風險的環境中，測試對此硬盤讀寫，寫入數據失敗，需要及時進行處理從而使系統重新在良好環境中運行。 （2）根據報錯信息定位故障硬盤： 使用root 權限登陸服務器，查看syslog 和event.log 發現有磁盤的嚴重報錯，其中syslog 中報有EMS檢測到的硬件告警信息，event.log 有Disk at hardware path 0/6/1/0/4/0.8.0.255.0.8.0 : Device connectivity or hardware failure，而 0/6/1/0/4/0.8.0.255.0.8.0 對應的磁盤為c6t8d0。 3 更換前的準備工作 （1）數據備份 配置信息備份：vgdisplay –v;lvlnboot –v;ioscan –fn;bdf;cat /etc/lvmpvg;cat /etc/lvmtab 由于vgdata 是通過lvm來管理，已經做了鏡像，目前壞盤對業務無影響，可在線換盤然后進行數據同步。 （2）操作時間，人員安排及備件準備 申請下更換硬盤的具體時間后，工程師會在約定的時間帶備件到現場，對備件PN 進行檢查后準備下一步的確認工作。 （3）操作前確認 檢查和確認故障硬盤的位置,確認沒有其他硬件報錯,cat /opt/resmon/log/event.log。 確認沒有NFS 使用此主機, more /etc/exports。 （4）VA 上面使用使用的磁盤每個最小分區為520byte，多余的8byte 用來保存raid 校驗等信息 DS2405 上面使用的磁盤的每個最小分區為512byte，當VA上面的一個壞時，我們可以使用相同型號的DS2405 上面的盤進行更換，此時新盤插入到VA 上面后，會自動被格式化為520 的，不需要認為干預改為520 的 當DS2405 上面的一個壞時，我們用相同型號的VA 上面的盤進行更換時，需要首先使用JBODfmt 命令將此硬盤格式化為512 的，然后才能被系統使用，否則機器檢測到盤但是無法使用。在給DS2405 更換盤時，不要使用520 的磁盤，否則，如果現場沒有安裝command view SDM（經過測試，不同系統需要不同版本的軟件，現場能找到合適此系統版本的軟件的可能行一般不大），會發生系統無法使用新更換的磁盤。 使用swlist |grep CMDVIEWSDM 檢查是否裝有CMDVIEWSDM軟件。 4 更換方法和步驟 （1）在sdp21 主機上確認lv 信息：檢查vgdata 中使用到的所有lv 的狀態。 （2）在sdp21 主機上再次確認故障盤的位置及屬性： dd if=/dev/rdsk/c6t9d0 of=/dev/null bs=10240k dd if=/dev/rdsk/c6t7d0 of=/dev/null bs=10240k diskinfo /dev/rdsk/c6t7d0 diskinfo /dev/rdsk/c6t9d0 檢查目前磁盤的塊大小。 （3）在ds2405 第9 槽位更換硬盤：拔出故障盤（需等待10 秒左右），可用fcmsutil /dev/td0 devstat all | grep Loop 進行確認，然后插入新盤。 （4）在s21 和s22 主機上識別新盤、驗證新盤的正確性 ioscan –fnCdisk 如果失敗，在s21 和s22 主機上分別執行如下操作： 確認c6t8d0 對應的光纖鏈路為/dev/fcd1 Dmesg 確認/dev/fcd1 對應的node id，然后執行 fcmsutil /dev/fcd1 replace_dsk dmesg(node id) ioscan 檢查是否正常識別出磁盤，如果失敗繼續定位原因，已經在測試環境測試通過。 （5）確認磁盤的可用性，檢查新加磁盤的塊大小。 diskinfo /dev/rdsk/c6t8d0 vendor: HP 36.4G product id: ST336753FC type: direct access size: 70000000 Kbytes bytes per sector: 520 如果為520，則需要在s21 和s22 上執行操作，系統必須裝有CMDVIEWSDM 軟件后新盤執行格式化，塊大小會變為512。 在s21 和s22 上執行：Armdiscover 掃描系統認到的磁盤 :/# JBODdsp -i sdp21 Product ID: HP 36.4G-ST336605FC Device Type: Disk Alias: Unique ID: 20000004cf7279e7 Serial Number: 3FP152EZ Management Path: n4000:/dev/dsk/c7t0d0 Product ID: HP 73.4G-ST373453FC Device Type: Disk Alias: Unique ID: 20000011c639fff6 Serial Number: 3HW2JJ12 Management Path: n4000:/dev/dsk/c7t8d0 Product ID: HP-A5236A Device Type: Enclosure Controller Alias: fc10 Unique ID: HPA5236AUSSA10028830-----------------獲得此號碼。 Serial Number: USSA10028830 Management Path: n4000:/dev/rscsi/c7t10d0 然后使用命令 #JBODdsp HPA5236AUSSA10028830 可以查詢到磁盤node id #JBODdsp HPA5236AUSSA10028830 Vendor: HP Product ID: A5236A Product Firmware: HP06 Serial Number: USSA10028830 Midplane S/N: Node Unique ID: 50060b00000940df------------------獲得此號。 Port Unique ID: HPA5236AUSSA10028830 Status: Critical 最后使用命令#JBODfmt -f 50060b00000940df 對磁盤進行塊大小的重新格式化（-f 默認為512byte）。 系統會提示你format is started，接下來就是等待（近20 分鐘），硬盤燈成綠色閃爍，閃爍完畢。 Diskinfo 進行確認。 （5）在s21 上對vgdata 配置信息恢復：vgcfgrestore -n vgvgdata /dev/rdsk/c6t8d0 vgchange -a y /dev/vgdata （6）lvdisplay 查看是否已經開始同步，如果沒有自動同步則：vgsync /dev/vgdata。 （7）驗證 lvdisplay –v lvname 查看使用c6t8d0 的所有lv 的同步狀態，直至所有的lv 都同步完。 查看event.log 和syslog.log 確認沒有硬盤新的報錯，查看bdf，ioscan 確認運行正常。 5 風險及解決方案 因為目前磁盤做有鏡像，一塊盤故障不會影響系統正常運行和啟動，但考慮到設備老化等原因，也不排除其他的意外出現。此次硬盤更換操作存在的風險如下： 更換過程中設備無法識別新換上的硬盤。 更換的過程中更換新硬盤后無法正常完成數據同步。 更換的過程中有其他硬件故障引起設備宕機，數據丟失等。 更換之后系統無法正常運行，文件系統損壞等。 針對以上的風險，可以有以下的解決方案： 如果設備無法識別新換上的硬盤，則檢查新硬盤狀態，檢查SCSI 線連接等，一旦發現硬件有問題立即申請新備件。 如果更換新硬盤后無法正常完成數據同步，則需要檢查和硬盤連接同一總線的其他外設SCIS 設備，一旦發現有沖突，可暫時對其他總線設備拔除后再同步。 如果有其他硬件故障引起設備宕機，數據丟失等情況，則及時定位故障部件申請備件，如果是硬盤損壞引起數據丟失，則首先申請新的硬盤備件進行更換，更換完之后通過備份磁帶對操作系統數據進行恢復。 如果更換之后系統無法正常運行，文件系統損壞，首先查明原因，如果是操作系統軟件原因則根據系統報錯進行分析解決，如果一時定位不出原因則可通過系統重啟后進單用戶模式對系統進行相應的文件系統修復，如果仍然無法修復則從操作系統備份磁帶進行恢復。 6 回退方案 現場操作前準備操作系統備份的磁帶及系統光盤，一旦有段時間內無法解決的問題可通過磁帶恢復或者光盤啟動后修復。