Linux

なぜメモリ使用量などを意識する必要があるのかについて説明するとした場合の簡単な案です。ディスクへのアクセスという観点でメモリがどのように利用されているかを考えて見る内容で説明してみます。Software Design 2018年1月号｜技術評論社を参考にさせていただきました。 最近は自分で手を動かしながら、実際の挙動を見ることができるような書籍・記事が増えてきたので、実際にやってみることができて嬉しいです。 はじめに 一般的なOSでは、物理的なディスクにアクセスする際、以下のようなフローでアクセスする: メモリ上にファイルが読み込まれている場合、メモリからファイルを読み込む メモリ上に存在しない場合、直接ディスクにアクセスする 当然ながら、ディスクへのアクセス速度 <<<<< メモリへのアクセス速度のため、基本的な戦略としては「メモリにファイルを読み込ませる」こととなる。 ここではディスクキャッシュの有り無しでどのようにディスクへのアクセス速度が変化するかを見てみます。 メモリについて まずはLinux上でのメモリ管理について簡単におさらいします。 ディスクキャッシュに関する情報を参照する freeコマンドを実行することで、メモリ上にキャッシュされているファイルサイズを確認できます。freeコマンドを実行した際の、buff/cache列を参照します: kazu634@bastion% free -m total used free shared buff/cache availableMem: 488 130 27 5 330 324 Swap: 1023 58 965 メモリに格納されているディスクキャッシュを削除する /proc/sys/vim/drop_cachesに3を書き込むことで、メモリ上に格納されているキャッシュをドロップできます: kazu634@bastion% echo 3 | sudo tee /proc/sys/vm/drop_caches [sudo] kazu634 のパスワード: 3 kazu634@bastion% free -m total used free shared buff/cache available Mem: 488 131 275 5 81 322 Swap: 1023 58 965 kazu634@bastion% ファイルへのアクセス速度を計測する すでに説明してきたように、OSがファイルにアクセスする際は、メモリ上のキャッシュ経由のアクセスと、直接ディスクにアクセスする場合の2つのパターンがあります。

シンガポールでもLPICを受験できると知り、LPICについて色々と調べていると、英語でしか受験できないLPIC-OT 701: DevOps Tools Engineerという資格を見つけました。 以下の部分にどんな試験なのかがまとめられていました: In developing the LPIC-Open Technology DevOps Tools Engineer certification, LPI reviewed the DevOps tools landscape and defined a set of essential skills when applying DevOps. As such, the certification exam focuses on the practical skills required to work successfully in a DevOps environment – focusing on the skills needed to use the most prominent DevOps tools. The result is a certification that covers the intersection between development and operations, making it relevant for all IT professionals working in the field of DevOps.

KVMでゲストOSをインストールする際に、PXEブート経由でインストールできるように仮想環境を整えてみます。なお、PXEブートを行う際にはDHCPを用いるため、NICはブリッジ接続にする必要があります。 PXEブートの環境構築については、PXEブート環境を作る – 基本は根性ナシな日記を参考にすると幸せになれます。PXEブートサーバはブリッジ接続したゲストOS の Ubuntu 11.04 で構築しています。 パッケージのインストール 以下のコマンドを実行します: $ sudo aptitude -y install dhcp3-server tftpd-hpa tftp-hpa syslinux nfs-kernel-server DHCPサーバの設定 次のコマンドを実行して設定変更をしていました。なお、アタリマエのことながら、DHCPサーバとなるサーバは IP アドレスを静的に設定している必要があります。 $ cd /etc/dhcp $ sudo cp -p dhcpd.conf dhcpd.conf.orig $ sudo vi dhcpd.conf $ diff -u dhcpd.conf.orig dhcpd.conf --- dhcpd.conf.orig 2011-04-20 00:02:15.000000000 +0900 +++ dhcpd.conf 2011-07-12 23:30:59.670034755 +0900 @@ -13,8 +13,8 @@ ddns-update-style none; # option definitions common to all supported networks.

今までの説明でとりあえずゲストOSをインストールするところまでは出来ましたが、これだと何かと不便なので、PXEブートでインストールする環境を作ってみます。 PXEブートとは Wikipediaによると、次のようにありました: Preboot eXecution Environment（PXE）は、コンピュータのブート環境のひとつ。インテルの策定したネットワークブートの規格である。ネットワークブートを利用することにより、ストレージをもたないクライアントコンピュータや、ストレージに別のOSが導入されているクライアントコンピュータがサーバ上のOSイメージを使用して起動できる。 Preboot Execution Environment – Wikipedia 要するにネットワーク経由でOS起動イメージを配布して、ブートしてしまう方式です。PXEブートの環境で、OSインストール用のブートイメージを配布してあげるとCDとかを直接コンピュータに入れなくても、ネットワーク経由でOSインストールが出来てしまうのです！PXEブートでOSインストール用のデプロイメントサーバを構築すれば、ゲストOSを起動してあげるだけでOSの自動構築が出来る環境を整えることができます。 PXEブートサーバの構成 私の大雑把な理解だと、PXEブートは以下の手順で進行します: PCの電源をONにする DHCPサーバがブートイメージを配布するTFTPサーバのIPアドレスを通知する 通知されたTFTPサーバにアクセスし、最低限の環境を起動するためのブートイメージ(=syslinux)をダウンロードする ダウンロードしたブートイメージから最小限の環境が起動される。その環境から実際のOSブートイメージがダウンロードされる(複数OSブートイメージの中から起動するブートイメージを選択させることも可能) 以上のことからもわかるように、PXEブートサーバには、 syslinux DHCPサーバ TFTPサーバ が必要になります。 つづく

前回はとりあえずOSイメージを指定して、OSをインストールするところまでできたと思います。OSインストール終了後にリブートすると、おそらくKVM上のゲストOSは再起動しないので、次のコマンドを実行してあげます: $ sudo virsh start <ゲストOSの名前> これで CD のマウントオプションを除いて、 virt-install で指示したオプション通りにゲストOSを起動してくれます。しかしここでつまずきの種が。。。 ゲストOSのネットワーク設定について さて KVM で作成したゲスト OS はNATになります。ゲストOSから外部への通信はできるのですが、ホストOSを含む外部からゲストOSへのアクセスは出来ません。VMWareなんかだとNAT接続でもホスト-ゲスト間は通信できるのですが、KVMはそうではないみたいです。 そこでブリッジ接続(ホストOSと同じネットワークセグメントのIPアドレスで通信)をできるようにしてみます。 事前準備 事前に次のコマンドを実行します: $ sudo apt-get install libcap2-bin $ sudo setcap cap_net_admin=ei /usr/bin/qemu-system-x86_64# x64の場合 $ sudo setcap cap_net_admin=ei /usr/bin/qemu # x32の場合 ブリッジ接続の設定方法 私のホストOSのUbuntuくんはNICが一枚です。初期状態だとネットワークの設定(/etc/network/interfaces)はこんな感じのはず: # This file describes the network interfaces available on your system # and how to activate them.

最近の PC を見てると、とても安価にクアッドコア・8GBメモリーなんていう構成が手に入ることに気づいたので、 Linux に標準でついている KVM で仮想環境を整えてみることにしました。まだまだ始めたばかりですけど、検証用の環境がかなりお手軽に作れることに気づきました。というわけで自分用のメモです。 環境 Ubuntu 11.04で検証しているよ。VNCクライアントはすでに導入済みという想定です。 必要なパッケージ とりあえずこれらのパッケージをインストールしたみたい。 $ sudo aptitude install kvm kvm-pxe qemu-kvm bridge-utils libvirt libvirt-dev libvirt-bin virtinst ゲストOSの作成 こういうようにして作成します: $ sudo virt-install --name <ゲストOSの名前> --ram 256 --disk path=<イメージファイルの名前>,size=10 --network network=default,model=virtio --network network=default,model=virtio --vnc --cdrom <OSインストール用のisoイメージファイル> イメージファイルはカレントディレクトリに作成されるようです。–cdromオプションで、起動時に読み込むcdromイメージを指定します。isoイメージを指定できます。VNC経由でディスプレイに表示される画面を閲覧できます。 後は VNC 経由でインストールしてあげます。

前回は Ubuntu の preseed を用いた場合を紹介しましたが、今回は RHEL の Kickstart を使用した場合を書きます。会社で色々とごにょごにょしてました。会社のプロキシの情報とかもあるので、NTPとかファイルサーバのマウントとかの処理ははしょって貼りつけておきますね。 前提条件 OS構築を自動化する前提条件は下記になります: 導入する OS は RHEL 5.4 (x64) であること(たぶんそれ以外のバージョンでも大丈夫のはず) OS を導入する環境から設定ファイルを格納するHTTPサーバ、もしくはNFSサーバに対して通信ができること 構築するLinux環境 本手順を用いて構築する Linux 環境は以下になります: ホスト名 test ネットワーク eth0 に対して DHCP でネットワーク設定を行う root のパスワード testserver Firewall オフ selinux 使用しない ディスク ディスク全体を初期化し、 LVM とする 設定ファイル 下記の設定ファイルをNFSサーバ or HTTP サーバなどに設置します。 # Kickstart file automatically generated by anaconda.

fstabを編集するよ。 # /etc/fstab: static file system information. # # <file system> <mount point> <type> <options> <dump> <pass> proc /proc proc defaults /dev/mapper/srv634-root / ext3 errors=remount-ro 1 /dev/sda1 /boot ext2 defaults 2 /dev/mapper/srv634-home /home ext3 defaults 2 /dev/mapper/srv634-tmp /tmp ext3 defaults 2 /dev/mapper/srv634-usr /usr ext3 defaults 2 /dev/mapper/srv634-var /var ext3 defaults 2 /dev/mapper/srv634-swap_1 none swap sw /dev/scd0 /media/cdrom0 udf,iso9660 user,noauto /dev/sdb1 /var/backup_data ext3 defaults 2 最初にデバイス名を記載 マウントポイントの指定 ファイルシステムのタイプを指定 mountコマンドのオプションを指定 dumpコマンドを実行する必要があるかどうかを指定 ファイルシステムのチェックを行う必要があるかどうかを指定 「linux」に関連する最近のエントリ Linuxにおけるフォーマット – 武蔵の日記 Let's Note CF-R4にXubuntuをインストールする – 武蔵の日記 cronが実行される際のpath – 武蔵の日記 Debian Etch-And-A-Half – 武蔵の日記

Linuxでのフォーマットの仕方を忘れがちで何度もGoogleのお世話になっているので、ここでまとめておきます。 パーティションの切り方 fdiskコマンドを用います。 kazu634@srv634% df /media/disk [951] Filesystem 1K-ブロック 使用 使用可 使用% マウント位置 /dev/mapper/srv634-root 329233 138796 173439 45% / tmpfs 513816 513816 % /lib/init/rw udev 10240 100 10140 1% /dev tmpfs 513816 513816 % /dev/shm /dev/sda1 233335 32653 188234 15% /boot /dev/mapper/srv634-home 142568216 294068 135032012 1% /home /dev/mapper/srv634-tmp 376807 10307 347044 3% /tmp /dev/mapper/srv634-usr 4805760 2526672 2034968 56% /usr /dev/mapper/srv634-var 2882592 1217136 1519024 45% /var /dev/sdb1 964500 17696 897808 2% /var/backup_data /dev/sdc1 2010752 265440 1745312 14% /media/disk kazu634@srv634% fdish /dev/sdc1 /media/disk [952] zsh: command not found: fdish kazu634@srv634% sudo fdisk /dev/sdc1 /media/disk [953] [sudo] password for kazu634: Command (m for help): m Command action a toggle a bootable flag b edit bsd disklabel c toggle the dos compatibility flag d delete a partition l list known partition types m print this menu n add a new partition o create a new empty DOS partition table p print the partition table q quit without saving changes s create a new empty Sun disklabel t change a partition's system id u change display/entry units v verify the partition table w write table to disk and exit x extra functionality (experts only) Command (m for help): p Disk /dev/sdc1: 2059 MB, 2059278848 bytes 64 heads, 62 sectors/track, 1013 cylinders Units = cylinders of 3968 * 512 = 2031616 bytes Disk identifier: 0x00000000 Device Boot Start End Blocks Id System Command (m for help): n Command action e extended p primary partition (1-4) p Partition number (1-4): 1 First cylinder (1-1013, default 1): Using default value 1 Last cylinder or +size or +sizeM or +sizeK (1-1013, default 1013): Using default value 1013 Command (m for help): p Disk /dev/sdc1: 2059 MB, 2059278848 bytes 64 heads, 62 sectors/track, 1013 cylinders Units = cylinders of 3968 * 512 = 2031616 bytes Disk identifier: 0x00000000 Device Boot Start End Blocks Id System /dev/sdc1p1 1 1013 2009761 83 Linux Command (m for help): w The partition table has been altered!