IBM DS3400磁盘阵列在Linux CentOS 5.2 上的安装

一、软硬件环境
硬件：两台IBM X3650服务器，一台IBM DS3400磁盘阵列（172641X，单控制器）
HBA：两块Emulex 4GB FC Single-Port PCI-E HBA for IBM System x（42C2069），每个服务器一块。
操作系统：Linux CentOS 5.2
目的：实现基于以上软硬件的Oracle 10g Cluster

二、安装步骤

硬件安装完成以后，开始软件的安装与设置。

1、操作系统安装

两台机器安装CentOS 5.2，安装的时候选择虚拟机选项，因为打算使用Xen，CentOS 5.2 能够自动识别 x3650的所有硬件及Emulex 4GB FC Single-Port PCI-E HBA for IBM System x（42C2069），所以按照一般的系统安装过程安装即可，没有特殊要注意的地方。

2、升级DS3400 firmware

在一台笔记上，设置笔记本的ip为192.168.128.200，ping DS3400的默认管理端口IP：192.168.128.101，成功。
在笔记本上安装IBM System Storage DS3000 Storage Manager version 10.35，从IBM网站下载：
ftp://ftp.software.ibm.com/systems/support/system_x/ibm_sw_ds3k_10353535_winsrvr_i386.zip
截止到目前最新的版本，只安装管理客户端和firmware update工具即可。

升级DS3400的firmware。目前最新的版本是7.35.41.00，在这个版本的history中，说明增加了对Redhat 5.2（也是CentOs 5.2）的支持，IBM网站下载firmware，文件名ibm_fw_ds3k_07354100_anyos_anycpu.zip，使用Storage Manager 10 Firmware Upgrade工具进行升级，升级之前，该工具会先进行一些test，需要要都passed才能允许升级，我在升级过程中，遇到两个问题：
（1）升级开始之前，日志提示：

Event log verification error: You cannot upgrade the storage subsystem until the problem is resolved. Contact your technical support representative to resolve this issue.

Event log issues:
Too many critical events logged
Too many destination driver events
Too many host side channel error events

升级无法开始，根据日志来看，不是大问题，于是执行script
clear storageSubsystem eventlog;
清空了一下日志，就可以升级了。
（2）升级到最后，提示升级失败，查看日志，显示：

[2008-11-29 16:30:53] [DS3400] [SUPPORT_SERVICES] [DownloadAndActivate]
download is starting

[2008-11-29 16:42:19] [DS3400] [SUPPORT_SERVICES] [DownloadAndActivate] [0h 11m 26s]
download completed successfully

[2008-11-29 16:42:19] [DS3400] [array data capture] [capture storage subsystem data]
Storage Subsystem data collection in progress

[2008-11-29 16:42:25] [DS3400] [SUPPORT_SERVICES] [DownloadAndActivate]
activation failed

从日志来看，firmware已经下载到DS3400中，但是activation failed
经过查询，这个在单控制器的DS3400上面常见，只要重新activation 一下就好，执行script
activate storageSubsystem firmware;
后，等了20分钟，DS3400重启两次，就可以了。关于这个问题，IBM网站有一个描述：

http://www-304.ibm.com/systems/support/supportsite.wss/docdisplay?lndocid=MIGR-5078731&brandind=5000028

3、为DS3400配置阵列，创建逻辑磁盘，map到host

这些步骤参考【ds3400配双机.doc】可轻松完成。

4、CentOS 5.2中安装RDAC驱动

完成步骤1-3以后，如果在CentOS中安装了HBAnywhere的话，可以看到分配给主机的lun，但是从操作系统中，还不能访问，需要安装RDAC驱动以后才可以访问。

RDAC驱动从IBM网站下载：

https://www-304.ibm.com/systems/support/supportsite.wss/docdisplay?lndocid=MIGR-5078549&brandind=5000028

文件名：rdac-LINUX-09.03.0C05.0029-source.tar

下载以后，解压，然后
make
make install

都成功以后，修改/boot/grub/ menu.lst
第一个menu
修改前：

title CentOS (2.6.18-92.1.18.el5xen)
root (hd0,0)
kernel /xen.gz-2.6.18-92.1.18.el5
module /vmlinuz-2.6.18-92.1.18.el5xen ro root=/dev/VolGroup00/LogVol00 rhgb quiet
module /initrd-2.6.18-92.1.18.el5xen.img

修改后：（红色部分）

title CentOS (2.6.18-92.1.18.el5xen) with MPP support
root (hd0,0)
kernel /xen.gz-2.6.18-92.1.18.el5
module /vmlinuz-2.6.18-92.1.18.el5xen ro root=/dev/VolGroup00/LogVol00 rhgb quiet
module /mpp-2.6.18-92.1.18.el5xen.img

修改完成后reboot

然后 fdisk –l，可以看到

[root@database01 grub]# fdisk -l

Disk /dev/sda: 146.6 GB, 146685296640 bytes
255 heads, 63 sectors/track, 17833 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Device Boot Start End Blocks Id System
/dev/sda1 * 1 13 104391 83 Linux
/dev/sda2 14 17834 143147182+ 8e Linux LVM

Disk /dev/sdb: 107.3 GB, 107374182400 bytes
255 heads, 63 sectors/track, 13054 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sdb doesn’t contain a valid partition table

Disk /dev/sdc: 107.3 GB, 107374182400 bytes
255 heads, 63 sectors/track, 13054 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sdc doesn’t contain a valid partition table

Disk /dev/sdd: 107.3 GB, 107374182400 bytes
255 heads, 63 sectors/track, 13054 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sdd doesn’t contain a valid partition table
[root@database01 grub]#

这里sdb,sdc,sdd就是DS3400上面的三个lun，可以像操作普通的硬盘一样进行挂载了。

IBM网站的一些资源：
下载DS3400的各种驱动及相关软件、文档：

https://www-304.ibm.com/systems/support/supportsite.wss/supportresources?brandind=5000028&familyind=5348409&taskind=2&matrix=Y#Controller%20firmware

redbook：IBM System Storage DS3000 Introduction and Implementation Guide.pdf