100GbE NICを使ったデータセンター・ネットワーク実証実験 -メモ- 2016年01月06日 さくらインターネット株式会社 / さくらインターネット研究所 上級研究員　松本直人

1. 2016年01月06日
さくらインターネット株式会社 / さくらインターネット研究所
上級研究員 松本直人

2. 評価機材およびネットワーク構成図
SOURCE: SAKURA Internet Research Center. 01/2016
©2015 Mellanox Technologies. All Rights Reserved
100GbE Dual Port NIC ネットワーク構成(検証イメージ)
小規模で世代の異なるシステムをシームレスに増速する
(すぐ使える100GbE LANの世界)
株式会社アルティマ様よりご提供
http://www.altima.co.jp/
100GbE SW: 100GbE Switch, SV: Server

3. 100GbE NICドライバ等の設定手順
1) 100GbE NICドライバをインストールする (CentOS 7.0の場合)
# yum install python-devel lsof redhat-rpm-config rpm-build libxml2-python gcc gtk2 atk
# yum install kernel kernel-devel kernel-headers gcc-gfortran tcsh libnl cairo tcl tk
# mount -o ro,loop MLNX_OFED_LINUX-3.1-1.0.3-rhel7.0-x86_64.iso /mnt
# cd /mnt
# ./mlnx_add_kernel_support.sh --mlnx_ofed /mnt --make-iso;
# cd / ; umount /mnt
# mount -o ro,loop /tmp/MLNX_OFED_LINUX-3.1-1.0.3-rhel7.1-x86_64-ext.iso /mnt/
# cd /mnt
# ./mlnxofedinstall --skip-distro-check
2) 100GbE NICポートを設定する (InfiniBandからEthernetへ)
# mst start
# mlxconfig -d /dev/mst/mt4115_pciconf0 set LINK_TYPE_P1=2
# sync; sync; sync; reboot
©2015 Mellanox Technologies. All Rights Reserved
SOURCE: SAKURA Internet Research Center. 01/2016

4. 100GbE LAN NIC Operation
3) 100GbE NICの動作確認
# ethtool enp1s0
Settings for enp1s0:
:
Speed: 100000Mb/s
Duplex: Full
Port: Direct Attach Copper
PHYAD: 0
Transceiver: internal
Auto-negotiation: off
Supports Wake-on: d
Wake-on: d
Current message level: 0x00000004 (4)
link
Link detected: yes
©2015 Mellanox Technologies. All Rights Reserved
SOURCE: SAKURA Internet Research Center. 01/2016

5. 実証実験の成果と今後の課題
©2015 Mellanox Technologies. All Rights Reserved
SOURCE: SAKURA Internet Research Center. 01/2016
100GbE NICおよびルーティグ・デーモンを搭載したサーバ間での
ルーティング情報交換およびパケット転送が確認できた。
今後は、より多くのアプリケーション動作を
含めた実証実験を行っていきたい。