並列計算機の製作

macでisoイメージからboot用のusbスティックを作る方法。

diskutil unmountDisk /dev/disk1 
dd bs=8192 if=usb.img of=/dev/disk1 

外側はdhcpで取得して、ノード側はstaticに割り当てます。

vi /etc/network/interface
-----
auto lo
iface lo inet loopback
# outside
auto eth0
iface eth0 inet dhcp
# inside
auto eth1
iface eth1 inet static
  address   192.168.1.100
  network   192.168.1.0
  netmask   255.255.255.0
  broadcast 192.168.1.255

hostファイルを以下のように設定します。192.168.1.xxxはノードの数だけならべます。

127.0.0.1       localhost.localdomain localhost 
192.168.1.100	host000 host000.lab10.tf.chiba-u.jp 
192.168.1.101	host001 host001.lab10.tf.chiba-u.jp
192.168.1.102	host002 host002.lab10.tf.chiba-u.jp

Linuxの運用に必要な最低限のプログラムをインストールします。なお計算に 用いるコアのプログラムは自分でソースコードからIntelコンパイラを使って コンパイルします。プログラムのインストールはaptitudeコマンドで行います。

aptitude install program-name

計算を行う上で必要プログラムは以下のとおりです。

• ssh (セキュアシェル)
• less (ファイルviewer)
• screen (端末の切り離し)
• rsync (ネットワーク越しのファイルのコピー)
• make (コンパイルのため)
• tcsh (wien2kがcshスクリプトを使うため)
• bc (電卓です。wien2kが呼び出します)
• psmisc (killallが含まれています)
• g++ (Intelコンパイラのインストールに必要)
• default-jre (Intelコンパイラのインストールに必要)
• lib32stdc++6 (Intelコンパイラのインストールに必要)
• libssl-dev (torqueで必要)
• libxml2-dev (torqueで必要)
• lm-sensors (sensorsでcpu温度を監視できる)

日本語ファイルの編集のため、/etc/vim/vimrc.tinyに以下の設定を加える。

set encoding=utf-8
set fileencodings=utf-8,iso-2022-jp,ucs2le,ucs-2,cp932,euc-jp,latin1

lessのエンコードをutf-8にする。

export LESSCHARSET=utf-8

@<font color="red">現在、intelはnon-commercial版の無料配布は行っていな いようです。@</font>

並列計算用のライブラリをインストールします。以下のURLから最新のソース コードをダウンロードします。
http://www.open-mpi.org/
rootになってファイルを展開したらiccとifortでコンパイルするよう configureします。rootでも以下のコマンドでiccとifortを使えるようにしな いといけません。

source /opt/intel/bin/compilervars.sh intel64

ソースコードからライブラリをstaticでコンパイル、インストールは次の流れです。MAKE=makeは Makefileのミスのため追加しています。

# ./configure CC=icc CXX=icpc F77=ifort FC=ifort
# make MAKE=make
# make install

/usr/local/libにライブラリ、/usr/local/binに実行ファイルがインストー ルされます。各ユーザにシェルファイルにライブラリのパスと実行ファイル のパスを加えます。

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
export PATH=/usr/local/bin:$PATH

これでmpic++やmpif90等が/usr/local/binにlibmpi*.aが/usr/local/libにイ ンストールされます。 デフォルトのホストを追加します。(torqueのみで制御する場合、このファイルは不要)

vi openmpi-default-hostfile
---
host000 cpu=4
host001 cpu=4
host002 cpu=4
---

高速フーリエ変換用のライブラリのfftw3をインストールします。以下のURLか らソースコードを入手します。
http://www.fftw.org/
mpiを有効にしてifrotとiccでコンパイルします。2Gbyte以上のメモリを使う 場合、"ifort -mcmodel=large -i-dynamic"でコンパイルします。(デフォルト は2Gbyte)

./configure CC=icc CXX=icpc F77="ifort -mcmodel=large -shared-intel -i-dynamic" FC=ifort --enable-mpi --enable-threads 
make
make install

これで/usr/local/lib以下にfftw3のライブラリ(libfftw3.a等)がインストールされます。

ジョブスケジュラーです。個人のPCを占有して計算コードを走らせる場合は必 要ないでしょう。インストールはマニュアルに従います。
http://docs.adaptivecomputing.com/torque/help.htm#topics/1-installConfig/customizingTheInstall.htm

torqueからのお知らせをメールで連絡するよう送信サーバの設定します。外 部のsmtpサーバを経由してメールを送信する(smart smtp)ようにします。

dpkg-reconfigure exim4-config
/etc/init.d/exim4 restart

ssl認証経由で送信する場合

vi /etc/exim4/passwd.client
/etc/init.d/exim4 reload

ソースコードをhttp://www.cpmd.org/ からダウンロードします。non-profitな団体にはアカウント登録すると無料で配布してくれます。アカウント情報は以下のとおり。

user: xxxxx
pass: xxxxx

ソースコードを展開したら、mkconfigを走らせてMakefileを作ります。

CPPFLAG="-DINTEL_MKL -DFFT_FFTW -DPARALLEL" CPP=icpc FC=ifort ./mkconfig.sh TSUBAME-INTEL-MPI > Makefile

Makefileの中のmklのライブラリの場所がem64tですが、ifort13からintel64に変更になっているので修正します。

vi Makefile

これでmakeします。

make -j4

いくつかxcrysdenを動かすためにインストールする必要があるパッケージがあります。。

aptitude install libxmu6 libxss1

libquadmathがなくてエラー…。debian7からlibquadmath.soとlibgfortran.soをコピー。files/xcrysden_lib.tgz

tar cvzf xcrysden_lib.tgz -C /

http://www.xcrysden.org/Download.html からxcrysden-1.5.53-linux\_x86\_64-semishared.tar.gzをダウンロードして展開。展開した中のxcrysdenで実行できます。

./configure \
 make

install/config.logを見てmklがlinkされているか確認。mklのSCALAPACKは intelのmpiじゃないと使えないようです。

tftpd-hpaのインストール

aptitude install tftpd-hpa

/etc/default/tftpd-hpaを編集して/tftpbootにブートイメージを置ように設定する。

TFTP_USERNAME="tftp"
TFTP_DIRECTORY="/tftpboot"
TFTP_ADDRESS="0.0.0.0:69"
TFTP_OPTIONS="--secure"

/tftpbootに後述する以下のファイルを配置

/tftpboot/initrd.img
/tftpboot/pxelinux.0
/tftpboot/vmlinuz

/tftpboot/pxelinux.cfg/defaultを以下のように編集する。

LABEL linux
DEFAULT vmlinuz root=/dev/nfs initrd=initrd.img nfsroot=192.168.1.100:/nfsroot ip=dhcp rw

最後にpermissionの設定

chmod -R 777 /tftpboot

pxeブートローダ用のファイルを/tftpbootに配置する。

aptitude install syslinux
mkdir /tftpboot
cp /usr/lib/syslinux/pxelinux.0 /tftpboot

子ノード用のシステムを/nfsrootに配置します。最小構成でlinuxを親ノー ドにインストールした後、必要なファイルをコピーします。別解として子ク ラスタ上でlinuxをusbメモリーに最小インストールして、usbメモリーから システムをコピーしても良いと思います。

cd /
tar cvzf - bin boot dev etc initrd.img lib lib32 lib64 proc root run sbin selinux srv tmp usr var vmlinuz | (cd /nfsroot; tar xvf -)

tftpbootのimgファイルの置き場を指定して、initrd.imgとvmlinuzをコピーする

vi /etc/initramfs-tools/initramfs.conf
----------------------
MODULES=netboot
BOOT=most
----------------------
mkinitramfs -o /tftpboot/initrd.img
cp /boot/vmlinuz-3.2.0-4-amd64 /tftpboot/vmlinuz

/nfsroot/etcのファイルを修正します

vi /nfsroot/etc/network/interfaces
----------------------
auto lo
iface lo inet loopback
iface eth0 inet manual
----------------------
vi /nfsroot/etc/fstab
----------------------
proc            /proc           proc    defaults        0       0
/dev/nfs        /               nfs     defaults        0       1
none            /tmp            tmpfs   defaults        0       0
none            /var/run        tmpfs   defaults        0       0
none            /var/lock       tmpfs   defaults        0       0
none            /var/tmp        tmpfs   defaults        0       0
----------------------

dhcpサーバーに子ノードのmacアドレスを登録してipアドレスを割り当てます。 lease時間は無限に設定。MACアドレスでIPを割り当てるよう子ノードの数だ け(host nodeX)を登録します。

 vi /etc/dhcp/dhcpd.conf
 -----
 ddns-update-style none;
 option domain-name "lab10.tf.chiba-u.jp";
 option domain-name-servers 10.245.1.95, 10.97.1.95, 10.129.1.95;

 default-lease-time 600;
 max-lease-time 7200;
 log-facility local7;
 option space PXE;
 option PXE.mtftp-ip               code 1 = ip-address;  
 option PXE.mtftp-cport            code 2 = unsigned integer 16;
 option PXE.mtftp-sport            code 3 = unsigned integer 16;
 option PXE.mtftp-tmout            code 4 = unsigned integer 8;
 option PXE.mtftp-delay            code 5 = unsigned integer 8;
 option PXE.discovery-control      code 6 = unsigned integer 8;
 option PXE.discovery-mcast-addr   code 7 = ip-address;

 subnet 192.168.1.0 netmask 255.255.255.0 {
   class "pxeclients" {
     match if substring (option vendor-class-identifier, 0, 9) = "PXEClient";
     option vendor-class-identifier "PXEClient";
     vendor-option-space PXE;
     option PXE.mtftp-ip 0.0.0.0;
     allow bootp;
     allow booting;
     # This is the name of the file the boot ROMs should download.
     filename "pxelinux.0";
     # This is the name of the server they should get it from.
     next-server 192.168.1.100;
   }
   pool {
     max-lease-time -1;
     default-lease-time -1;
     range 192.168.1.2 192.168.1.254;
     deny unknown clients;
   }
   host node1 {
     hardware ethernet 78:24:AF:3D:D4:95;
     fixed-address 192.168.1.101;
   }
 }
-----

/opt/nfsrootと/homeと/usr/localをNFSで公開します。 fsidは使わない。

aptitude install nfs-server
vi /etc/exports
---
/opt/nfsroot  192.168.1.0/24(rw,async,no_root_squash,no_subtree_check)
/home         192.168.1.0/24(rw,async,no_root_squash,no_subtree_check)
/usr/local    192.168.1.0/24(rw,async,no_root_squash,no_subtree_check)
---

hosts, passwd, group, shadowを共有するようにする

aptitude install nis
vi /etc/default/nis
---
NISSERVER=master
---
vi /var/yp/Makefile (shadowを追加)
---
ALL = passwd shadow group hosts rpc services netid protocols netgrp 
---
/usr/lib/yp/ypinit -m
cd /var/yp
make

nfsのためにはnfs-commonとrpcbindも残して無駄なサービスは全部止めます。

insserv -r exim4 
insserv -r rsyslog 
insserv -r cron 
insserv -r atd 
insserv -r acpid 
insserv -r dbus 
insserv -r udev 

aptitude install nis
vi /etc/yp.conf  最終ラインに追加
domain lab10.tf.chiba-u.jp server host000.lab10.tf.chiba-u.jp 
---

non interactiveログインでintelのライブラリにパスが通ってなくてはならない。

 vi /etc/ld.so.conf.d/intel.conf
 ---
/opt/intel/composer_xe_2013_sp1.0.080/ipp/lib/intel64
/opt/intel/composer_xe_2013_sp1.0.080/tbb/lib/intel64
/opt/intel/composer_xe_2013_sp1.0.080/compiler/lib/intel64
/opt/intel/composer_xe_2013_sp1.0.080/mpirt/lib/intel64
/opt/intel/composer_xe_2013_sp1.0.080/bin/sourcechecker/lib/intel64
/opt/intel/composer_xe_2013_sp1.0.080/mkl/lib/intel64
/opt/intel/composer_xe_2013_sp1.0.080/mkl/benchmarks/mp_linpack/lib_hybrid/intel64
 ---
 ldconfig

nisにインストール

aptitude -y install nis

/etc/yp.confに以下のラインを追加

domain lab10.tf.chiba-u.jp server 192.168.1.100

/etc/nsswitch.confにnisを追加

passwd: nis compat # 7行目：追記
group:  nis compat # 追記
shadow: nis compat # 追記

確認は以下のコマンドで

ypwhich
ypcat passwd
ypcat hosts

nfs-commonのインストール。これがないとファイルタイプ不明エラーでnfsマウ ントできずにはまる。

aptitude -y install nfs-common

nfsのチューニングのためrsize,wrizeをテストした。

time dd if=/dev/zero of=./hoge bs=16k count=16384

結果は以下のとおり。rsize=8192,wsize=8192とする。

次のような作業をするよう起動スクリプト(diskless)を作成する。

• IPアドレスから子ノードのhostnameを設定する。
• 親ノードの/usr/localを/usr/localにマウント
• 親ノードの/homeを/homeにマウント
• pbs\_mom用のtmpfsを/var/spool/torqueにマウント
• pbs\_momの設定ファイル(/root/torque.tgz)を/var/spool/torqueに展開

disklessを子ノードのetc/init.dに配置する。

#! /bin/sh
### BEGIN INIT INFO
# Provides:          diskless
# Required-Start:    $network
# Required-Stop:     
# Default-Start:     2 
# Default-Stop:      0 1 
# Short-Description: Example initscript
# Description:       This file should be used to construct scripts to be
#                    placed in /etc/init.d.
### END INIT INFO
# Author: Takahiro Ohkubo 

# PATH should only include /usr/* if it runs after the mountnfs.sh script
PATH=/sbin:/usr/sbin:/bin:/usr/bin
DESC="Description of the service for diskless server"
NAME=hostname_and_mount

case "$1" in
    start)
      export LC_ALL=C 
      IP=`ifconfig eth0 |  grep "inet addr" \
         | sed 's/\s\{1,\}/ /g' | cut -d' ' -f3 \
         | cut -d':' -f2 | cut -d'.' -f4 \
         | sed  's/^1/0/'`
        if [ `hostname` = host${IP} ]; then
  	  echo "script has been run"
  	  exit 1
      fi
      hostname host${IP}
      mount -t nfs -o rsize=8192,wsize=8192 192.168.1.100:/usr/local /usr/local
      mount -t nfs -o rsize=8192,wsize=8192 192.168.1.100:/home      /home
      mount -t tmpfs tmpfs /var/spool/torque
      tar xzf /root/torque.tgz -C /var/spool
      ;;
  stop)
      umount /usr/local
      umount /home
      umount /var/spool/torque
      ;;
  *)
      echo "usage: diskless.sh start|stop"
      ;;
esac

disklessをシステムに登録する

insserve diskless

pbs\_momの起動スクリプトをcontribからinit.dにコピーする。disklessを起 動してからpbs\_momを起動するよう編集する。

cp /usr/local/src/torque-4.2.9/contrib/init.d/debian.pbs_mom /etc/init.d/pbs_mom
vi /etc/init.d/pbs_mom
----
# Should-Start:      pbs_server pbs_sched diskless
----

システムに登録する

insserve pbs_mom

pbs\_momの設定ポリシー

• /homeはnfsなのでコピー
• tmpfsなのでログは残さない。
• jobのoutputをすぐに出力するためspoolしない。

cd /root
vi torque/mom_priv/config
-----
$logevent 0x0
$loglevel 0
$spool_as_final_name true
$usecp *:/home /home
-----
tar cvzf torque.tgz torque

温度チェックプログラムを子ノードにインストールする

aptitude install lm-sensors

端末を切ってプログラムを終了させたくない場合は、silicon上でscreenを使うと良いです。以下の設定ファイル(.screerc)を$HOMEにおいてください。

startup_message off
escape ^Tt
idle 3600
#hardstatus alwayslastline "[%02c] %`%-w%{=b bw}%n %t%{-}%+w"
hardstatus alwayslastline "%`%-w%{=b bw}%n %t%{-}%+w"

bind -c REGION 2 split
bind -c REGION 1 only
bind -c REGION 0 remove
bind -c REGION o focus
bind x command -c REGION

screenを立ち上げるoptionは以下のとおり。

screenに入ってから基本的な使い方は以下のとおりです。全部Ctrl-tではじまります。

64,000個のNaClを作って1000ステップMD計算をノード数1から15の計算資源で 計算を行った。 lammpsのインプットファイルはこれ(NaCl.in)。インプットシェ ルスクリプトの生成プログラムはこれ(make\_sh.py)。

np04.log:Loop time of 13289.7 on 4 procs for 1000 steps with 64000 atoms
np08.log:Loop time of 4821.07 on 8 procs for 1000 steps with 64000 atoms
np12.log:Loop time of 3211.15 on 12 procs for 1000 steps with 64000 atoms
np16.log:Loop time of 2383.08 on 16 procs for 1000 steps with 64000 atoms
np20.log:Loop time of 1978.13 on 20 procs for 1000 steps with 64000 atoms
np24.log:Loop time of 1611.62 on 24 procs for 1000 steps with 64000 atoms
np28.log:Loop time of 1378.98 on 28 procs for 1000 steps with 64000 atoms
np32.log:Loop time of 1196.65 on 32 procs for 1000 steps with 64000 atoms
np36.log:Loop time of 1108.82 on 36 procs for 1000 steps with 64000 atoms
np40.log:Loop time of 986.446 on 40 procs for 1000 steps with 64000 atoms
np44.log:Loop time of 961.153 on 44 procs for 1000 steps with 64000 atoms
np48.log:Loop time of 825.496 on 48 procs for 1000 steps with 64000 atoms
np52.log:Loop time of 829.836 on 52 procs for 1000 steps with 64000 atoms
np56.log:Loop time of 724.524 on 56 procs for 1000 steps with 64000 atoms
np60.log:Loop time of 668.302 on 60 procs for 1000 steps with 64000 atoms

同じ計算を150万円くらいのXeon X5659 (3.5GHz, 12core)を2cpu搭載したマシ ンで24並列の計算させると以下のような結果です。余計なプロセスが動いてい るためでしょうか、遅い…。

Loop time of 6784.4 on 24 procs for 1000 steps with 64000 atoms

60cpuの並列計算をlammpsで実行しながら以下のコマンドで5秒毎に温度をチェッ クしてtemp.datに記録した。

while [ 1 ];  do 
   for i in 01 02 03 04 05 06 07 08 09 10 11 12 13 14 15; do 
      echo -n "host0$i : "
      ssh host0$i sensors | grep "Core 0"
   done
   sleep 5; 
   date
   done 
done |tee temp.dat

保存したtemp.datをpythonプログラム でプロット。フルパワーで計算している場合、70℃くらいで推移している(図: 各ノードのCPUの温度変化)