IBM GPFS‎ > ‎

線上新增刪除GPFS磁碟

線上動態新增GPFS叢集磁碟


目的：

1.      線上新增磁碟到GPFS儲存池

2.      重新分配資料到各個GPFS磁碟上

必要條件：

1.      GPFS Cluster需已在線上執行

2.      GPFS檔案系統已被掛載

3.      欲被新增磁碟已安裝完畢

 

Step 1. 在現有的檔案系統中新增磁碟

1.      先使用指令 mmgetstate及 df 來確認GPFS服務是否正在進行與檔案系統是否正確被掛載。

I.           指令mmgetstate，顯示在Cluster中所有nodes的狀態

[root@TSM ~]# mmgetstate -a

Node number  Node name        GPFS state

------------------------------------------

       1      TSM-EBC          active

II.        指令df顯示GPFS檔案系統是否有被掛載

[root@TSM-EBC ~]# df

Filesystem           1K-blocks       Used      Available   Use%   Mounted on

/dev/sda3             57281820  36940756  17431320    68%      /

/dev/hsm              36700160    188416   36511744      1%       /hsm

III.     建立一個磁碟描述檔(Disk descriptor)，格式參考如下。

[root@TSM-EBC ~]# vi /root/gpfs/addnsd

/dev/sdd:TSM-EBC::dataAndMetadata:-1:nsd3:system

#參考格式

DiskName:serverlist::DiskUsage:FailureGroup:DesiredName:StoragePool

IV.     指令mmcrnsd建立NSD

[root@TSM-EBC ~]# mmcrnsd -F /root/gpfs/addnsd

mmcrnsd: Processing disk sdd

V.        指令mmlsnsd檢查磁碟是否成功被新增

[root@TSM-EBC ~]# mmlsnsd

File system   Disk name    NSD servers

---------------------------------------------------------------------------

hsm           nsd1         TSM-EBC

hsm           nsd2         TSM-EBC

(free disk)      nsd3         TSM-EBC  //(free disk)代表新增磁碟

VI.     指令mmadddisk，新增NSD到GPFS檔案系統(ex. hsm)。

[root@TSM-EBC ~]# mmadddisk hsm -F /root/gpfs/addnsd

The following disks of hsm will be formatted on node TSM-EBC:

nsd3: size 52428800 KB

Extending Allocation Map

Checking Allocation Map for storage pool 'system'

Completed adding disks to file system hsm.

VII.  指令mmdf，驗證NSD是否正確被新增。

[root@TSM-EBC gpfs]# mmdf hsm

disk                   disk size       failure  holds      holds                free KB              free KB

name                  in KB          group  metadata data           in full blocks              in fragments

--------------- ------------- -------- -------- ----- -------------------- -------------------

Disks in storage pool: system (Maximum disk size allowed is 197 GB)

nsd1                 15728640       -1     Yes        Yes         8605696 ( 55%)          6560 ( 0%)

nsd2                 20971520       -1     Yes        Yes        11644928 ( 56%)          9216 ( 0%)

nsd3                 52428800       -1     Yes        Yes        52425728 (100%)           992 ( 0%)

                -------------                         -------------------- -------------------

(pool total)         89128960                              72676352 ( 82%)         16768 ( 0%)

                =============                         ==================== ===================

(total)              89128960                              72676352 ( 82%)         16768 ( 0%)

Inode Information

-----------------

Number of used inodes:               4122

Number of free inodes:                65510

Number of allocated inodes:        69632

Maximum number of inodes:        69632

 

Step 2. 在現有的GPFS Disk中重新平均分配資料(Re-balancing)

1.      指令mmrestripefs，將在GPFS檔案系統中現有資料重新分配

[root@TSM-EBC ~]# mmrestripefs hsm -b

Scanning file system metadata, phase 1 ...

Scan completed successfully.

Scanning file system metadata, phase 2 ...

Scan completed successfully.

Scanning file system metadata, phase 3 ...

Scan completed successfully.

Scanning file system metadata, phase 4 ...

Scan completed successfully.

Scanning user file metadata ...

   2.54 % complete on Wed Nov 14 17:39:27 2012  (     22044 inodes        407 MB)

   9.78 % complete on Wed Nov 14 17:39:51 2012  (     22052 inodes       1570 MB)

  19.56 % complete on Wed Nov 14 17:40:36 2012  (     22062 inodes       3139 MB)

  22.96 % complete on Wed Nov 14 17:41:24 2012  (     22064 inodes       3685 MB)

  34.87 % complete on Wed Nov 14 17:41:57 2012  (     22074 inodes       5597 MB)

  38.92 % complete on Wed Nov 14 17:42:30 2012  (     22078 inodes       6246 MB)

  46.92 % complete on Wed Nov 14 17:42:57 2012  (     22083 inodes       7530 MB)

  55.28 % complete on Wed Nov 14 17:43:49 2012  (     22092 inodes       8873 MB)

  58.89 % complete on Wed Nov 14 17:44:16 2012  (     22096 inodes       9452 MB)

  64.83 % complete on Wed Nov 14 17:44:45 2012  (     26624 inodes      10406 MB)

  74.79 % complete on Wed Nov 14 17:45:21 2012  (     26624 inodes      12004 MB)

  84.72 % complete on Wed Nov 14 17:45:47 2012  (     26624 inodes      13598 MB)

  93.83 % complete on Wed Nov 14 17:46:19 2012  (     26624 inodes      15059 MB)

 100.00 % complete on Wed Nov 14 17:46:20 2012

Scan completed successfully.

2.      指令mmdf，檢視各個磁碟的使用率。

[root@TSM-EBC gpfs]# mmdf hsm

disk                  disk size       failure  holds       holds       free KB                        free KB

name                 in KB          group  metadata  data        in full blocks                 in fragments

--------------- ------------- -------- -------- ----- -------------------- -------------------

Disks in storage pool: system (Maximum disk size allowed is 197 GB)

nsd1                 15728640       -1    Yes         Yes        10209280 ( 65%)         16640 ( 0%)

nsd2                 20971520       -1    Yes         Yes        15457280 ( 74%)         13664 ( 0%)

nsd3                 52428800       -1    Yes         Yes        46991360 ( 90%)          5728 ( 0%)

                -------------                         -------------------- -------------------

(pool total)         89128960                              72657920 ( 82%)         36032 ( 0%)

                =============                         ==================== ===================

(total)              89128960                              72657920 ( 82%)         36032 ( 0%)

Inode Information

-----------------

Number of used inodes:            4122

Number of free inodes:           65510

Number of allocated inodes:      69632

Maximum number of inodes:        69632

 

 

線上動態刪除GPFS叢集磁碟

1.      指令mmlsnsd，找出確認欲刪除磁碟名稱(Disk name)。

[root@TSM-EBC ~]# mmlsnsd

File system    Disk name     NSD servers

-------------------------------------------------------------------

hsm           nsd1         TSM-EBC

hsm           nsd2         TSM-EBC

hsm           nsd3         TSM-EBC

2.      指令mmdeldisk，刪除指定磁碟。

[root@TSM-EBC ~]# mmdeldisk hsm nsd3

Deleting disks ...

Scanning system storage pool

Scanning file system metadata, phase 1 ...

Scan completed successfully.

Scanning file system metadata, phase 2 ...

Scan completed successfully.

Scanning file system metadata, phase 3 ...

Scan completed successfully.

Scanning file system metadata, phase 4 ...

Scan completed successfully.

Scanning user file metadata ...

100.00 % complete on Wed Nov 14 16:00:06 2012

Scan completed successfully.

Checking Allocation Map for storage pool 'system'

tsdeldisk completed.

3.      指令mmlsdisk，確認指定磁碟已被刪除。

[root@TSM-EBC ~]# mmlsdisk hsm

disk         driver      sector  failure  holds    holds                           storage

name         type       size   group  metadata  data   status      availability     pool

------------ -------- ------ ------- -------- ----- ------------- ------------ ------------------------------------------------

nsd1         nsd         512      -1  Yes      Yes    ready         up         system

nsd2         nsd         512      -1  Yes      Yes    ready         up         system

4.      指令mmlsnsd，確認在File system欄位中指定刪除磁碟名稱已變更為(free disk)。

[root@TSM-EBC ~]# mmlsnsd

 File system   Disk name    NSD servers

----------------------------------------------------------------

 hsm           nsd1         TSM-EBC

 hsm           nsd2         TSM-EBC

 (free disk)      nsd3         TSM-EBC

5.      指令mmdelnsd，刪除NSD。

[root@TSM-EBC ~]# mmdelnsd nsd3

mmdelnsd: Processing disk nsd3

6.      再一次執行mmlsnsd，確認指定NSD已被刪除。

[root@TSM-EBC ~]# mmlsnsd

 File system   Disk name    NSD servers

----------------------------------------------------------------

 hsm           nsd1         TSM-EBC

 hsm           nsd2         TSM-EBC

 

Comments