CVMのコンソール出力情報を確認する方法

通常操作することはありませんが、たとえばハードウェアのHBAを交換したり、ストレージのエンクロージャー部分のバックプレインを交換などハードウェアのメンテナンス後、CVMが世情に起動しない場合などがあります。

原因は様々ですが（ディスクが見えてないとか、HBAの搭載場所が変わったことでPCIバスの位置が変わっているなど）、CVMがどのような状態でエラーになっているかを確認する必要があります。

しかし、CVMは仮想マシンであることとPrismのコンソール画面は、クラスターメンバーに正常に属しているホスト上で動作する仮想マシンのコンソールを確認することは出来ますが、CVMが起動していない状態では、CVMのコンソールをPrismのGUIから確認することは出来ません。

このような場合、CVMの標準出力（コンソールへの直接出力）に関しては、AHV側に保存されるように設定されています。

CVMの標準出力先：/var/log/NTNX.serial.out.0

CVMが起動途中でハングアップするなど、未知の障害に出くわした場合は、AHVのコンソールから

tail -f /var/log/NTNX.serial.out.0

コマンドでモニタリングをするほか、単純に「/var/log/NTNX.serial.out.0」ファイルをエディタ等で開きログを追いかけることで、トラブルが起きている場所を特定することが出来ます。

あまり使わない（使いたくない）機能ですが、いざというときに覚えておくと便利ですので、押えておきましょう。

 

nutanixやadminユーザーがロックされた場合の対応

CVMやAHVにSSHでログインして作業することは、メンテナンス時にまれに行うことがあるかともいます。普段行わない作業のため、nutanixユーザーのパスワードやAHVのrootパスワードを忘れてしまい、アカウントロックされてしまう問題に遭遇する可能性があります。そのような際の対処法をご紹介します。

まずは、CVMにログインを行います。

CVMにログインするnutanixユーザーのパスワードを忘れたんだよ！という方は、慌てずPrismでログインするadminユーザーのパスワードでCVMにSSH等でログインします。

CVMになにかしログインができればOKです。
状況によって、以下のコマンドを実行します。

AHVのrootユーザーのアカウントロックを解除する場合

hostssh "faillock --user root --reset"

CVM上のnutanixユーザーのアカウントロックを解除する場合

allssh "faillock --user nutanix --reset"

CVM上のadminユーザーのアカウントロックを解除する場合

allssh "faillock --user admin --reset"

AOS 6.7以降でAOS6.10.1.9、AOS7.0.1未満の場合、ロックされたユーザーは自動でロック解除されません。AOS6.10.1.91/AOS 7.0.1以降、AHVは、20230302.102001以降は、ロックされたユーザーは、900秒後にロック解除されます。

（参考）
KB17355:Users nutanix/admin and root are not getting unlocked automatically after 900 seconds

 

AOSアップグレード前に/home/nutanixをチェックする

この記事はNutanix Advent Calendar(1枚目) 2018/12/1の記事です

AOS5.10がLTSバージョンとして、11月末にリリースされました。
年末が近いこともあり、年末年始でインフラ周りのメンテナンスの際に、AOSアップグレード行う方も多くいるかと思います。
まあ、そもそもAOSはシステム稼働中であったとしても安全にシステムを止めることなくアップグレードすることができます（業務がフル稼働中にあまりやる作業ではありませんが）ので、そんなにかしこまってやる作業ではないのですが、従来のシステムメンテナンス形態を取られているデーターセンター等では、今までのルールに則り、業務外の時間にメンテナンス時間を作成し作業をされる方が多いと思います。

さて、AOSのアップグレード時に注意する事項が一つあります。
それは、「/home/nutanix」の容量枯渇です

Nutanixを長く利用していますと、いろいろな物がたまってくることと、AOSバイナリは今は4GBを超える大きな容量であるため、AOSアップグレード前チェックで/home/nutanixの容量不足でアップデートが失敗することがあります。

（参考）/home/nutanixの容量が枯渇すると、OneClickUpgradeに失敗します

この際にお掃除するべきは、/home/nutanixです。

まずは、消費しているディレクトリを確認します。
SSHでCVMにログインします。

まずは、使用容量を確認します。

nutanix@NTNX-1-B-CVM:X.X.X.X:~$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/md0        9.8G  6.0G  3.3G  65% /
devtmpfs         16G     0   16G   0% /dev
tmpfs           512M  4.0K  512M   1% /dev/shm
tmpfs            16G  640K   16G   1% /run
tmpfs            16G     0   16G   0% /sys/fs/cgroup
/dev/loop0      240M  3.1M  221M   2% /tmp
/dev/md2         40G   24G   15G  62% /home
/dev/sdb4       600G   82G  513G  14% /home/nutanix/data/stargate-storage/disks/BTHC6490032S800NGN
/dev/sda4       600G   82G  513G  14% /home/nutanix/data/stargate-storage/disks/BTHC648105XJ800NGN
/dev/sdc1       660G   85G  568G  13% /home/nutanix/data/stargate-storage/disks/BTHC64810ABU800NGN
tmpfs           3.2G     0  3.2G   0% /run/user/1000

この環境では、/home/nutanixが、62%の使用率ということでまだ余裕ですが、実際の環境では長く使っていると90%を超えていることもよくあります。

この際のお掃除をすべきディレクトリは以下のディレクトリ配下です

/home/nutanix/data/cores/
/home/nutanix/data/binary_logs/
/home/nutanix/data/installer/
/home/nutanix/data/ncc/installer/
/home/nutanix/data/log_collector/
/home/nutanix/foundation/isos/
/home/nutanix/foundation/tmp/

ここで、注意が必要です。
まず、これらはこのディレクトリ配下のファイルやディレクトリを消す必要があります。
このディレクトリを直接消してはいけません。

「/home/nutanix/data/installer」は、現在インストール使用としているAOS5.6バージョンのバイナリ以外を消す必要があります。

「/home/nutanix/foundation/isos/」は、使っていないハイパーバイザーのバイナリだけを消してください。

なお、「df -h」で見ていると「/home/nutanix/software_downloads/」も容量
を多く使ってくる一覧で上がってきますが、こちらは、OneClickUpgradeの画面で管理されている関係から、直接ファイルを消すことは禁止されています。


またこのディレクトリ配下のファイルもお掃除対象です

/home/nutanix/data/binary_logs/*
/home/nutanix/data/cores/*

こちらは、このディレクトリ配下のディレクトリは削除せず（当然このディレクトリも削除してはいけません）にファイルだけを消す形になります。

なお、CVMはノードの数だけありますが「allssh」でrmコマンドを実行すると、がっさりきえてしまいますので、面倒かもしれませんが、1台ずつ確認しながらファイルを消すことをおすすめします。

詳細は以下のKBを参考にしてください。
http://portal.nutanix.com/kb/1540