AOSとAHVのアップグレード順序とAOS6.5から6.10へのアップグレード時の注意

Nutanix製品は、NCI Release Modelが発表され、従来のLTS/STSに比べ製品バージョンの選定しやすくなったと思います。

アップグレードについても現在では、LCMによりコンパチビリティに適合したバージョンを自動選定してくれるので、特に考えることなく必要なタイミングに応じてアップデートをすることが可能です。

各コンポーネントのアップグレードバージョンはLCMで指定してくれますが、各コンポーネントの順序を事前に押えておく必要があります。

アップグレードの順番は、以下の順番で実行します。

1. Prism Centralのバージョンアップ（アップグレードするAOSに対応したバージョンを選択）
2. AOSをアップグレード
3. AHVをアップグレード

2と3は、LCMで同時にコンポーネントを選択することが出来ます。その場合、AOSアップグレードが優先されて行われます。

ただし、以下のバージョンにおいては、AOS 6.5から6.10にアップグレードする場合、状況によっては同一AOSバージョンないのマイナーバージョンアップや先にAHVをアップグレードする必要があります。

<対象AOS/AHV＞

AOS : 6.5 / 6.5.1 / 6.5.1.5 / 5.5.1.6

AHV : 20201105.30398 / 20201105.30411 / 20201105.30417

上記の場合は、以下のステップを踏んでアップグレードを行う必要があります。

• AOS 6.5 および AHV 20201105.30398 の場合、AOS および AHV を、AHV 20220304.x リリースをサポートする任意の AOS 6.5.x バージョン (例: AOS 6.5.6.7 および AHV 20220304.521) にアップグレードしてください。
• AOS 6.5.1、6.5.1.5、または 6.5.1.6 で AHV 20201105.30411 または 20201105.30417 の場合は、AHV を少なくとも 1 回 20220304.242 にアップグレードするか、AOS と AHV を AHV 20220304.x リリースをサポートする任意の AOS 6.5.x バージョン (例: AOS 6.5.6.7 と AHV 20220304.521) にアップグレードしてください。

このケースは大変イレギュラーのケースですが、以下のKBを参考にAOS 6.10へのアップグレードを行ってください。

KB-18147 / Upgrading AOS directly to 6.10 from early 6.5 releases with AHV 20201105.x

LCMのトラブル対処方法 2025年追加情報

Nutanixに搭載されているLCMは統合的なアップデートをコンパチビリティやアップグレードパスに合せて適切なバージョンアップバイナリを提示・アップグレードを行う便利なツールです。一方で様々場ハードウェアプラットフォームやNutanixの多くのソフトウェアをLCMで統合的に管理をしていることから、思わぬトラブルに出会うこともあります。

トラブル内容は様々あるのですが、最近のLCMバージョンで見受けられる2つの障害に対する対処法をお知らせします。

その1）LCMのインベントリがハングアップし、再度インベントリを実行することができない

まず、CVMにSSHでログインします。

lcm_leader

で、リーダーを探し、そのリーダーのCVMにSSHで接続します。

genesis restart

で、Genesisを再起動します。

（参考）KB18089:LCM 3.x: Inventory task in hung state

その2）Prism Central 7.3にアップグレード後LCMの画面がエラーで表示されない

ブラウザのバージョンが古いとただしく表示されません。
Google Chrome、Microsoft Edgeの場合「バージョン110」以上が必要となります。

（参考）KB19624:LCM Page Fails to Load with 'toSorted is not a function' Unexpected Error After PC 7.3 Upgrade

あわせて「Nutanix LCMのおさえておきたいポイント」もご確認いただくと、LCMの急なトラブルにであっても慌てず対処可能だと思います。

 

LCMのDirectUploadを使ったダークサイトでの運用（その2）

前回までに、LCM自体のバージョンアップをWebサーバーを介して行う方法をご紹介しました。

では、LCM2.4系から実装された、ダイレクトアップロード機能を利用してWebサーバー不要で、LCM経由でバイナリをアップデートする方法をご紹介します。

LCMのダイレクトアップロードは、バージョン2.4と2.5で操作方法が異なるため、まずここでは、LCM2.4系の操作方法をご紹介します。

なお、既に現在ではLCM2.4は、バイナリーがダウンロードできなくなっておりLCM2.5のみが提供されております。

まず、アップデートするバイナリをMyNutaxからサポートポータルにアクセスして取得します。

AOSやAHVの場合は、必ず、LCM専用のバイナリーを取得します。

AOSやAHVなど、各種バイナリは、LCM専用で提供されていますので、必ずLCM専用のものをダウンロードします。

あわせて重要なものが、Nutanix Compatibility Bundleのダウンロードです。
このファイルをアップロードせずに、AOSやAHV等のバイナリをアップロードしても、実際のソフトウェアアップグレード画面には、アップグレード可能なバイナリとして一覧に上がってきません。

▼サポートポータルから「Nutanix Compatibility Bundle」をダウンロード

ダウンロードした「Nutanix Compatibility Bundle」とLCM用のバイナリをそれぞれアップロードします。

アップロードが完了したら、「Software」と「Compatibility & Signature」がそれぞれアップロードしたバイナリの数になっていることを確認します。

アップロードされたバイナリが表示されますので、このままチェックを入れて、View Update Planをクリックすることでアップグレードが完了します。

この記事のポイントは2つです。

1. バイナリは、必ずLCM専用バイナリをダウンロードする
2. Nutanix Compatibility Bundleをダウンロードする

この2つを手順を忘れずに行う事で、ダークサイトでのダイレクトアップロードによるLCM経由のアップグレードが可能となります。

LCMのDirectUploadを使ったダークサイトでの運用（その1）

以前より、Nutanixのコンポーネントアップデートは、従来のOneClick Upgradeから、LCMに置き換わってきていることをお伝えしてきました。

一方LCMは、インターネットにNutanixクラスターが接続されている場合は、さほど難しくないものの、インターネットに接続が出来ないいわゆるダークサイトの場合、Webサーバーをローカル環境に立てて、Webサーバーを経由してアップグレードするコンテンツを配布する必要がある旨をご紹介してきました。

このダークサイトの運用ですが、LCM Version 2.4.1.1から、ダイレクトアップロードという機能が搭載されています。

アップグレードができるコンポーネントは、LCMのバージョンによって異なります。

Ver	サポートコンポーネント
2.4.1.1	AHV,Foundation,Foundation Platforms,NCC
2.4.2	AOS,Diles,File Analytics
2.4.3	HPE DX ファームウェア
2.4.3.1	Cluster Maintenance Utilities (CMU)
2.4.4	DELL XC/XC Coreファームウェア
2.4.5	Nutanix NXファームウェア Fujitsu XCファームウェア Insupur ファームウェア
2.5	NVidia GRIDドライバー

現在は、LCM2.5がリリースされており、GPUドライバーのアップデートまでサポートできるようになりました。

ここまで来れば、ではLCM2.4.1.1以降を利用すればWebサーバーを利用すること無く、ぁプレートが出来るから楽だなと感じてしまいます。

しかし、新規構築環境の場合、気をつけることがあります。それは、初期イメージング時のAOSによって、初期展開されるLCMのバージョンが異なることです。

確認する限り、AOS 5.20.4.6では、「2.1.6835」が搭載されています。AOS 6.5.0でも、LCM 2.3系が標準搭載されています。（AOS 6.5.1は、「LCM 2.4.3.1」が同梱されています。）

そのため、AOS 5.20.4.6やAOS 6.5.0の場合、LCMをダークサイトで利用するためには、まずLCM自身ののアップデートのために、Webサーバーが必要になるという前段階の作業が発生してしまいます。

DirectUploadをするために、わざわざWebサーバーを用意しないといけないのであれば、そもそも全部Webサーバー経由でアップロードするという判断になりかねませんが（それはそれで構いません）、いずれにしてもモヤモヤしながらもWebサーバーを用意する必要があります。

今回は、ダークサイトでWebサーバー経由でLCMをアップデート後、DirectUploadで、各コンポーネントをアップグレードする手順をご紹介します。

まず、Webサーバーは、Apacheやnginxなどでも構いませんが、今回は、Windows Server 2022のIISを利用した方法をご紹介します。IISの場合、いくつかの手順が追加で必要になりますので、あわせてご紹介をいたします。

まずは、サーバーマネージャーから「役割と機能の追加」からIISをインストールします。

IISを選択します。

役割とサービスはデフォルトのままでウィザードをすすめます。

IISのインストールが終わったら、まず必要なコンポーネントをNutanix Support Portalからダウンロードしておきます。

まずは、LCM Framework Bundleをダウンロードします。

取得した、ファイルは、Cドライブの配下にLCMというフォルダを作成し、さらにその配下に「release」というフォルダを作成し、「release」フォルダの配下に、先ほどダウンロードした、LCMバイナリを展開します。

続いて、IISの管理画面を開きます。

「Default Web Site」を右クリックし、「仮想ディレクトリの追加」をクリックします。

エイリアスに「lcm」、物理パスは、先ほどLCMのバイナリを配置した「C:\LCM」（releaseではなく、その上位のLCMフォルダ）を選択します。

続いて、ディレクトリのファイル一覧表示を有効化します。

ディレクトリの参照機能を有効化します。

続いて、MIME形式を追加します。IISは、自分に登録されていないMIME形式のファイルを外部からリクエストされた場合は、リクエストを拒否するためそのための対策となります。

右側の「追加」ボタンをクリックし、以下のMIME形式を登録します。

拡張子	形式
.sign	text/plain
.json	text/plain　（既に登録済みだと思います）
.iso	text/plain
.xz	text/plain

続いて、LCM側の設定変更を行います。PrismのLCM画面から、「Inventory」を選択し、Settingsをクリックします。

Local Web Server (Darksite)を選択し、URLに「http://IISを立てたWebサーバーのIPアドレス/lcm/release」を指定し、Saveボタンをクリックします。

この「release」というディレクトリ名が重要です。Nutanix LCMでは、releaseフォルダの配下にバイナリを配置する決まりがあります。

ここまで準備が出来たら、「Perform Inventory」を実行します。（Auto Inventoryで定期実行するか聞かれますが、Webサーバー側の場合、手動でバイナリを入れ替えない限りアップデートされませんので、有効化する必要は説くにありません）

アップデートが実行されますので、しばらく待ちます。（ノード数によりますが、最低でも30分ぐらい見て置いた方がいいと思います）

しばらくすると、LCMの画面が最新化されるはずです。（最新化されなくてもLCMが完了後再度LCMを開き直すと画面メニューが横になっているのがわかるはずです）

これでLCMのバージョンが最新版にアップグレードされ、Direct Upload機能に対応するLCMにすることが出来ました。

次回は、LCMのDirect Uploadの利用方法についてご紹介いたします。

Nutanix LCMのおさえておきたいポイント

今まで数回にわたってLCMについて記載をしてきました。LCMは頻繁にバージョンアップが行われており、機能が常に増えております。

今日は2021年7月現在のLCMの事情とLCMの動作ポイントについてご紹介していきます。

Q.LCMとSoftware Updateはどう使い分ければ良いのですか？

最近大変多く聞かれるご質問の一つです。従来Nutanixは、ソフトウェアのアップデートを簡潔化するためOne Click Updateという名のもと、AOSやハイパーバイザーのローリングアップデート機能を提供しました。さらに、NXモデルのファームウェアアップデートなども出来るようになりました。しかし、ファームウェアーのアップデートは、自らは必要なファームウェアを外部サイトから取得し手動でアップロードすることと、対応ハードウェアがNXのみのサポートであったことから、どのハードウェアでも快適に動作するHCIソフトウェアを提供するNutanixとしては、特定のハードウェアでしか利便性を享受できないのは、ユーザーにとって選択の自由を満たしていないことから、ソフトウェア・ハードウェアを含めバージョン管理を行う仕組みとしてLCMが誕生しました。
現在Software Updateの機能は順次LCMに移動しており、現在はAHVやAOSは、LCMからのアップデートとなりました。HPE ProLiant DXは、DELL XC Coreなどのハードウェアプラットフォームのファームウェアのアップデートも対応しています。
現行Software Updateをご利用頂くケースは、vSphere ESXiのアップデートとなります。（こちらも近々にリリースされるバージョンでLCMで対応予定です）それ以外のアップデート（FilesやFoundationなど）は、LCMを最新版にすることでLCM経由でアップデート可能となりますので、まずはLCMを最新版にすることから始めて下さい。

Q.Nutanixクラスターが直接インターネットに接続していない環境では、LCMを利用するためにWebサーバーを用意しないといけないのですか？

この回答は基本的にYESなのですが、LCM2.4のバージョンアップにて一部ですがWebサーバー不要でアップデートが可能になっております。具体的には、Nutanix Support Portal経由で取得したLCM専用バイナリをLCMの画面でアップロードする形となります。
LCM2.4時点でバイナリのダイレクトアップロードに対応しているのは、以下の通りです。

• AOS
• AHV
• Nutanix Files
• File Analytics
• Foundation
• NCC

また、LCMにアップデートするファイルは「lcm_softwarename_version.tar.gz」の命名規約に従ったファイル名のLCMアップデート専用のバイナリが必要になります。

▼LCM2.4から搭載されたダイレクトアップロード機能

Q.1ノードクラスターはLCMは利用できないのですか？

こちらは、従来のAOSでは明確にLCMは利用できませんでしたが、AOS5.15以降で順次実装が変わっております。LCM2.4時点でのご案内としては、シングルノードにおいては、「ファームウェアのアップロードが不可」というだけで、AOSやハイパーバイザーなどのアップデートはLCMを利用したアップデートが可能となっております。なお2ノードクラスターの場合は、LCMによるファームウェアのアップデートに対応しています。
この理由ですが、LCMにてファームウェアをアップデートする際、アップデート対象ノードのブート領域にあるPhoenix領域からLinuxが起動し、その後稼働中のクラスターメンバーのCVMと疎通してバイナリファイルを取得・アップデートを行う動作をしています。1ノードのクラスターの場合、自信がPhoenixモードになると、他のCVMがクラスター内に存在していないためファームウェアを取得するCVMが存在しないため、1ノードにおけるファームウェアアップデートは未対応となります。

Q.ファームウェアのアップデートを行ったら、途中でFailし該当のノードがLinuxシェルの画面のままになっていて再起動してもハイパーバイザーは起動せずLinux（Phoenix）が起動する

基本あまりあってほしくないのですが、何らかの理由でLCMを経由したファームウェアのアップデートに失敗した事象になります。ファームウェアのアップデートに失敗する事象は様々な原因があります。たとえば、Phoenixモードになった際、他のCVMとうまく疎通が出来ずにファームウェアバイナリが取得できなかったなども要因としてあり得ます。
こういった、Phoenix（簡易Linux）で起動したものの処理が継続できない場合、このPhoenixが起動したままで、ハイパーバイザーが自動で再起動しない仕様に現在なっています。この場合、ハードウェアで強制リセットをかけてもまたPhoenixが起動し、ハイパーバイザーは起動しません。

万が一このような事態に陥った場合、Phoenixの画面から以下のコマンドを入力することで、ハイパーバイザーの起動モードに戻すことが出来ます。

python /phoenix/reboot_to_host.py

アップデートに失敗した場合、ログ取得などを行う必要もありますので、別途以下のKBも参考にしてください。

KB9437:How to restore a node from LCM firmware upgrade failure using lcm_node_recovery

KB4520:Host stuck in Phoenix after LCM firmware upgrade failure

ファームウェアアップデートにおいては特定モデルと特定のファームウェアバージョンにおいて失敗するケースが見受けられます。アップデートの際は、LCMのリリースノードを一度確認した上でのアップデートをおすすめいたします。

LCMのリリースノート
https://portal.nutanix.com/page/documents/details?targetId=Release-Notes-LCM:Release-Notes-LCM

アップデートに失敗した場合LCM側でFailと認識されますので、失敗の原因調査の上（リリースノートの確認やサポートへのCaseOpen）再度ファームウェアアップデートを実行していただくこととなります。

2021年版 Nutanix LCMのよくある質問をご紹介

Nutanixの総合的なコンポーネント管理ツールである、LCM（Life cycle Manager）機能は、Ver2系のリリースから2年以上経ち、サポートされるプラットフォームやコンポーネントも増えてきました。今回は、2021年現在のLCMについて改めてご紹介いたします。

Q.LCMとはなんですか？

LCMは、Life Cycle Managerの略で、Nutanix AOSに搭載されている、統合的なコンポーネント管理システムです。具体的には、AOSやハイパーバイザー、HBAやBIOS/BMCのファームウェアなどを管理し、NCCと連携した形で、脆弱性やバグフィックスされたファームウェアの提示と各種ファームウェアのアップデートを司る機能です。

Q.LCMをサポートするハードウェアプラットフォームは？

LCMは、Nutanixが稼動する全てのプラットフォームへの対応を目指していますが、2021年現在では、以下のハードウェアプラットフォームがサポートされています。

• Nutanix NXモデル
• HPE DX(及びDL G10)モデル
• DELL XC/XC Core
• Fujitsu PRIMERGY XF
• Inspur InMerge
• Lenovo HX / HX Certify Node

現行では、日本メーカーでのLCM対応はまだ低い状況にあります。

Q.Nutanixクラスターがインターネットに繋がらない環境で利用している場合は、どうすれば良いですか？

以前にダークサイトでのLCM利用時には、別途Webサーバーを立ててそこにLCMのバイナリを配置し、NutanixのLCMで設置したWebサーバーをサイン証する方法をお伝えしました。
2021年現在もこの仕様に変わりはありません。

ただし、LCMバイナリ従来全メーカーの全ファームがまとまった物となっており、バイナリサイズが非常に大きかったのですが、現在では各プラットフォームメーカー毎に配付バイナリが分かれて提供されており、配付バイナリのサイズは小さくなっております。

Q.LCMは、LACP環境をサポートしていますか？

Foundation 4.5.1以降をNutanixクラスターに搭載してる環境にてサポートされています。
LCM 2.3以上とFoundation 4.5.1以上の組み合わせでの環境は推奨とされています。

Q.NutanixクラスターをvSphere Standardまたは、Essentiauls Plusで利用していますが、LCMは利用できますか？

従来、OneClick Upgradeの場合、ハイパーバイザーやBIOS/BMCなど、ホストの再起動するアップデートについては、DRSが必要となるためEnterprise Plusが必須となっていました。LCMは、Ver 2.2.3以降のバージョンでDRSなしの環境であってもLCMの利用が正式にサポートとなりました。vSphere Standard/Essentials PlusなどDRSが利用できない環境でLCMを利用する場合、対象を1ホストずつに、アップデート行うホストから予め仮想マシンを他のホストに移動しておく必要があります。

Q.1ノードクラスターでLCMは、利用できますか？

LCMは、2ノード、もしくは3ノード以上の環境で利用が出来ます。1ノード環境では、LCMを利用することができません。これは、LCMは、アップデート対象ノードがPhoenix ISOをマウントしLinuxを起動後、LCM Leaderからアップデートバイナリを取得する動作を行うため、1ノード環境の場合バイナリを提供するノードが存在しないため利用不可となります。
この場合、各ハードウェアプラットフォームのサポートされる方法で個別でファームウェアのアップグレードを行う必要があります。

Q.LCMでアップデート出来るコンポーネントは何ですか？

LCMで、アップデート可能な物は、以下の通りです。

• AOS
• AHV
• BMC/BIOS
• HBA（SASコントローラー）
• M.2
• NIC
• HDD/SSD等記録メディア
• Nutanix Files
• Nutanix Objects

※BIOS等のハードウェアファームウェアは、各ハードメーカーがパッケージで提供している場合、パッケージでのアップグレードとなります。

従来のハードウェアプラットフォームでは、ファームウェアアップデートとなると、コンパチリストの確認や停止時間の確認などで事前に入念の調査が必要となり、作業時間も長時間にわたることが多くあります。
LCMは、仮想マシンを停止することなく各種アップデートを進めてくれるだけではなく、仮稼動している環境に合わせて適宜推奨するファームウェアのアップデーを提示してくれます。LCMは、Nutanixを運用する際に非常に重要なツールとなりますので、是非、Nutanixをこれから導入する方は事前に一度動きを見ておくと良いと思います。

参考：KB7536 

LCM2.4で発生する「SSL: UNKNOWN_PROTOCOL」について

AOS5.19のリリースと共に、LCM（Life Cycle Management）も2.4がリリースされました。

LCM2.4が自動アップデートされ、定期インベントリを回すように設定をしていると、インベントリの取得で失敗していることがあるかも知れません。

Tasksでインベントリの情報を見ると以下のようなイベント実行エラーを確認することが出来ます。

Operation failed. Reason: Repository Image Module Foundation failed with error: 'Exception Error occured getting data from https://download.nutanix.com/foundation/lcm-builds/repository_metadata/repository_metadata_v2.json: [SSL: UNKNOWN_PROTOCOL] unknown protocol (_ssl.c:618). Not fetching available versions for module: Foundation' while fetching available versions. Logs have been collected and are available to download on 192.168.XX.YY at /home/nutanix/data/log_collector/lcm_logs__192.168.XX.YY__2020-12-20_09-38-05.212878.tar.gz

このエラーは、LCM2.4にアップデートされたことで発生する事象です。

詳細は、KB:10475に記載があるとおり、HTTPで疎通をする際に問題であり、ワークアラウンドとしてHTTPで疎通をするようにと記載があります。

具体的には、LCMの画面で「Settings」ボタンを押し、「Enable HTTPS」のチェックを外して、Saveボタンをクリックします。

事象からしておそらくバグだとしか思えないのですが、今後のリリースで解消予定のようです。LCM2.4にバージョンアップしたら、新しい情報が入手できなくなった場合は、Tasksでエラーが出ていないかと、Enable HTTPSにチェックが入っていないかを確認してみてください。

インターネットにつながらない環境でLCMを利用する場合 AHV編

2019年12月に、LCMをダークサイト、いわゆるインターネットにNutanixクラスターが接続されていない環境下で利用する方法をお伝えいたしました。

AOS5.16がリリースされさらにLCMが2.3になったことにより、AHVもLCMでのアップデートが推奨のアップデート方法となりました。

しかし、このAHVのアップデートですが、今までのOne Click Upgradeでは、ダークサイトであってもNutanix Support PortalからAHVのバイナリとメタデーターのJSONファイルを予めインターネットが接続できる環境でダウンロードした後、Prismからこのファイルをアップデートすれば良かったのですが、LCM2.3以降は、ダークサイトでのアップデートの手順が異なっております。

まず、以前紹介した「インターネットにつながっていない環境でLCMのアップデート方法」を元にLCMのバイナリを配置したWebサーバーを用意します。その後、My Nutanix Supportの「KB8838」を参考に現在利用中のAOSにあわせたAHVのバイナリをダウンロードします。

※本KBは、My NutanixからSupport Portalにログインできるユーザーのみ参照可能です。

2020/5/10現在、以下のAOSバージョンに合せたLCMダークサイト用のAHVバイナリが提供されています。

AOSバージョン	バイナリ
AOS 5.10.10	lcm_darksite_ahv-builds_el6.nutanix.20170830.396.tar.gz
AOS 5.15	lcm_darksite_ahv-builds_el6.nutanix.20170830.395.tar.gz
AOS 5.16 / 5.16.1	ahv_darksite_bundle_96 + 110.tar.gz
AOS 5.16.1.1	host-bundle-el7.nutanix.20190916.142.tar.gz
AOS 5.16.1.2	lcm_darksite_ahv-builds_el7.nutanix.20190916.158.tar.gz

AOSのバージョンに合わせてダウンロードするバイナリが異なるため、事前によく確認をしておく必要があります。

ダウンロードした、tar.gzファイルを展開し、「ahv-build」フォルダとその配下を、LCMのバイナリを配置しているWebサーバーのドキュメントルートに配置します。

この準備が出来たらPrism側のLCMで、Perform Inventoryを実行すると事で、新しいAHVのバイナリがアップデート対象として上がってきます。

今まで、バイナリをアップデートすればすぐ終わる話だったのが、LCMになることですこし手間になっているようにも感じますが、昨今は、管理系もインターネットにつないで、サポートから常に新しい情報を元に監視し疑わしい障害を早く発見するといった新しいアプローチがアメリカでは標準になりつつ有り、Nutanixもその考え方に基づいて設計されています。Nutanixクラスターがインターネットに接続できる環境の場合、LCM用のWebサーバーも必要なく、環境に合わせて必要な情報を自動で取得してきますので、ダークサイトでのLCM運用に比べかなりの手間を省くことが出来ます。
セキュリティを意識しながらもインターネットに管理系をつなぐことも今後は検討することもひとつかと感じます。

LCM(Life Cycle Manager)のよくある質問

前回までにLCM(Life Cycle Manager)の紹介と使い方をご紹介致しました。
今回はLCMについてよくある質問をご紹介致します。

Q.LCMは、AHV専用なのでしょうか？ESXi環境では利用できないのでしょうか？

LCMは、AHV以外にもESXiやHyper-Vに対応しています。（Hyper-Vでは私は試せていませんが）

Q.LCMは、NXモデルのみの対応なのでしょうか？XCなどは未対応ですか？

いえ、むしろOEMをはじめ様々なハードメーカーに併せて一元的にハードウェアを管理できるのがLCMの良さとなります。
2019年12月現在、以下のサーバーメーカーが対応しています。

• Nutanix NXモデル
• HPE DXモデル
• DELLEMC XC/XC Coreモデル
• Lenovo HX/Lenovo Certify Node  

また、Nutanix製品としては以下の物がLCMでのアップグレート対応製品となります。

• Calm
• Karbon 
• Objects
• FIles Analytics

Q.LCMの登場によりOne Click Upgradeは消滅するのでしょうか？

2019年の秋にコペンハーゲンで開催された.NEXT 2019 EUでは、LCMのアップデートについて、AHVやサードパーティーハイパーバイザーの対応、AOSやPrism Centralなどの記載があることを考えると、One Click Upgradeがよりハードウェア依存のない形、かつ統合的に管理できる機能として進化したのがLCMになると思われます。

Q.LCMはどのAOSバージョンから利用できるのですか？

LCM2.2は、AOS5.5.6（LTS）以上、または、AOS5.8.2から利用できます。

Q.LCMは、インターネットにつながっている環境でしか利用できないのですか？

LCMは、デフォルトの環境としてインターネットにつながっていることが前提となっております。インターネットにつながらない、いわゆるダークサイトの場合、LCMバイナリを配置したHTTPサーバーを立てることLCMのアップデートを行うことが出来ます。
LCMのアップグレード設定の画面から、立てたHTTPサーバーのURLを入れることで
LCMのアップデートを個なうことが可能です。

LCMは、まだ発展途上なところが一部ありますが、ハードウェアプラットフォームに関係なく、各種ソフトウェアバージョンを管理でき、必要なファームウェアやソフトウェアを自動でダウンロードしてアップグレードしてくれるまさに、アンダーコントロールを実現するためのツールです。

Nutanixをご利用の方は是非LCMに触れてみる機会を作って頂ければと思います。

LCM(Life Cycle Manager)のトラブル回避のポイント

前回までにLCMのいいところばかりをお話しました。
しかし、LCMは いいところばかりではありません。
実際の利用における注意点をご紹介します。これからLCMを使う人は是非、目を通しておらえるとありがたいです。

注意点1・アップリンクのチーミングモードに注意

Nutanixで、vSphereやAHVを利用する場合、LAG（Link Aggregation）の設定が入っている場合、LCMでBIOSなどの各種ファームウェアアップグレードに失敗する可能性があります。これは、LCMは、ファームウェアアップデートの際に該当のホストでPhoenixが起動し、そのPhoenixは他のCVMからアップデート用のファームウェアをネットワーク経由で取得します。このPhoenixは、現行バージョン（2019/12現在）LAGに対応していないため、仮想スイッチのアップリンクNICでLAGを組んでいる場合、バイナリをもらうCVMとの間の疎通がうまく行かずFailする可能性があります。LCMでアップグレードをするときには、NICを片系しか利用しないActive/Backupの状態で実行する必要があります。
なお、LCM2.2.3.1で、LACP対応という情報が.NEXT 2019 コペンハーゲンの情報で出てきていますので、もうまもなくのリリースを待ちましょう。

注意点2・一括アップグレードの注意点

1つのノードに、BIOSやBMC,SATADOMにHBAなど様々なファームウェアアップデートが必要な状態になった場合、ローリングアップデートで動作をします。vSphereの場合はDRSの機能が有効化されている必要があります。

※以前に、横軸での1ホストでの横断的なファームウェアのアップデートはサポートされないと記載をしておりましたが、Nutanix SREとのやりとりにて、横軸での一括アップデートもサポータブルである旨が確認できましたので、記事を訂正しております。

注意点3・vSphereの場合のDRS必要有無

従来OneClick Upgradeの場合、1つのコンポーネントごとのアップデートで対象ホストはクラスターメンバーのホストすべてが対象でした。そのため、ハイパーバイザーより下の層（BIOSやHDDのファームウェアなど）は、ホストを再起動する必要が出てくるため、仮想マシンの待避を自動的に行うDRSが必須でした。
LCMのアップグレードは、ファームウェアアップデートの場合、必要な項目をホスト単位でアップグレードできます。そのため、あらかじめファームウェアアップグレード対象のホストで稼動する仮想マシンをCVM以外すべてvMotionした状態で、LCMでアップグレードすると、ホストをメンテナンスモードにすると同時にCVMのシャットダウン処理が行われます。その後アップグレード処理が終わり再びホストが起動しCVMが起動しクラスターメンバー復活するとアップデートが完了します。
動作としては一見問題なさそうなのですが、CVMがシャットダウン出来たことを確認すると、ホストがメンテナンスモードになりきれていないままホストの再起動がかかる現象が起きます。これは既知のバグなのかそれとも仕様なのかはわかりませんが、LCMのドキュメントには、「For all LCM updates on ESXi, enable DRS and disable admission control in vCenter.」という記載があります。
この状況から考えると、ホスト単位でBIOSなどのファームウェアをアップグレードする際にDRSを無効化した状態での作業は、自己責任での作業になると思われます。

注意点4・アップデートにかかる時間

BIOSやBMCのアップデートは手動で行うと10分から15分程度で終わることが想定されます。LCMを利用した場合、ホストを再起動後Phoenixが起動しファームウェアアップデートを行い、再起動後またPhoenixが起動し成功したかの確認をするなど、かなり厳重に処理が行われるため、1つのファームウェアアップデートに30分〜50分程度を要することがあります。基本LCMでのアップグレードは、クリックしたらコーヒー飲んでブレイクして戻ったらもう終わっているというスタンスの機能ですが、時間はけっこうかかりますので焦らず待つことが大事です。

注意点5・LCMのアップデート方法

LCMは現在どんどん新しい機能が追加されているため、新しいLCMを利用することをお勧めします。では、LCMのアップグレードはどのようにすれば良いのでしょうか？
現行のLCMでは、個人の意思でアップグレードをするためのボタンがそもそもありません。LCMのアップグレードは、LCM画面の「Setting」ボタンからAdvanced Setting画面を表示し、「Enable LCM Auto Inventory」にチェックを入れると、インターネットから新しいLCMバイナリを取得します。

この5点を押さえてえおけば、LCMマスターです。
LCMを使うと、今までの手作業だったことが、全自動で行われるため大変楽になります。

インターネットにつながっていない環境でLCMのアップデート方法

前回までにLCMで、必要なファームウェアを全部取得してきて、無停止でアップグレードできる便利な機能と紹介しました。
この必要なファームの取得というのは、Nutanix Clusterがインターネットにつながっていることが前提となります。

しかし、実運用では管理系ネットワークがインターネットから分離しているケースは多くあるかと思います。今回は、インターネットにつながらない、いわゆるダークサイトでのLCMアップデート方法をご紹介します。

まず、必要になるのはCVMが通信できる環境にHTTPサーバーを立てるところから始まります。Apacheでもnginxでも、IISでもかまいません。
HTTPサーバーを用意した後、Nutanix Support PortalからLCMのバイナリをダウンロードします。
 LCMバイナリは、Tools & Firmwareの項目からダウンロードできます。
今回は、バージョン「2.2.11203」をダウンロードします。

なお、このバイナリファイル5G程度あり大変重たいですので、回線環境に注意が必要です。

ダウンロードしたZIPファイルをWebサーバー上に配置し、そのファイルを展開します。
今回こちらの環境は、nginxのデフォルトのDocument Root場所に解凍します。

Webサーバー上での解凍

tar xvzf lcm_dark_site_bundle_2.2.11203.tar.gz

念のため、ブラウザーから配置したファイルがアクセスできるかを確認します。

http://HTTP-SERVER-IP/support.csv

これでダウンロード画面我が出ればアクセスできる状態になっています。

これでバイナリ配布の準備は出来ました。
続いて、LCM側の設定を行います。

今回はAOS「5.10.7」、LCM「2.1.4139」の環境で実行します。

まずは、ギアアイコンから「Life Cycle Management」画面を開きます。
続いて、「Options」 から「Advanced Setting」を開きます。

先程LCMのファイルを解凍したHTTPサーバーのURLを入力します。
また、必ず「Enable LCM Framework Auto Update」にもチェックを入れます。
（これを入れないとアップグレード処理が走りません）

設定後Saveをクリックし、再度「Options」メニューから「Perform Inventory」をクリックします。

すると、LCMのアップデート作業が開始されます。
タスクを見るとLCMの処理が走っていることが分かります。

あとはしばらく待つと、LCMのバージョンがダウンロードしたバイナリのバージョンに上がります。
バージョンもダウンロードした「2.2.11203」になっていることが分かります。

実際にダウンロードしたLCMのバイナリを解凍したディレクトリの「modules」を確認するとすべてのLCMに対応したすべてのアップデートバイナリやファームウェアが格納されていることがわかります。（結構力業です...）


今回、LCMはオフライン環境（ダークサイト）であっても利用できることが分かりました。HTTPサーバーを立てるのは少し面倒ですが、一度LCMバイナリを配置したHTTPサーバーを配置しておけば、複数のNutanixクラスターがある場合も同じHTTPサーバーからアップデートが出来るので効率的です。

LCM(Life Cycle Manager)の使い方

では、実際にLCMの画面を見ていきたいと思います。

LCMは、Prism画面に統合されています。
AOS5.10までは、右上のギアアイコン（歯車ボタン）をクリックし、LCMを選択します。
AOS5.11からは、左側のメニューに独立した項目としてLCMメニューが存在しておりますので、それをクリックします。

AOS5.10

AOS5.11～

どちらであっても、LCMのバージョンが同じであれば操作方法は同じです。

では、どのような情報が見えるのかを確認していきましょう。
Installed versions on x hostの項目は、ホストごとで各コンポーネントのファームウェア等のバージョン情報を見ることができます。

では、左メニューの「Software」項目をクリックすると、ソフトウェアのアップデート一覧が表示されます。こちらの画面では何も表示されておりませんが、現行では以下のソフトウェアがLCMによるアップデートがサポートされております。

• Files Analytics
• Objects (Prism Central)
• Karbon (Prism Central)
• Calm (Prism Central)

Prism CentralのSoftwareアップデート項目

左メニューのFirmwareの項目では、ハードウェアに対してファームウェアーのアップデートが必要な項目が出てきます。

この環境では、ノード3のHost Boot Device（この環境はXCの13Gなので、SATA-DOM）のファームウェアーアップグレードが必要となります。


LCM自体は、ただのアップデート支援ツールであり普段の運用であまり要するものではありませんが、定期的なファームウェアやソフトウェアのアップデートは安定した仮想化基盤を運用するうえでは不可欠な要素です。
従来の3Tierではそれぞれファームウェアやコンパチビリティにあわせて、適用できるファームウェアを自分で入手し１つずつアップデートをする必要がありましたが、LCMを利用すれば、コンパチビリティの通ったファームウェアを自動で取得してくれますので、アップデートを行える時間帯にUpdateボタンをクリックするだけで作業完了です。

なお、LCMのアップグレード項目はNCCと連携しているため、ファームウェア等のアップデートが必要な場合、NCC側で警告が表示されるため、アップデートが必要な時期は何もせずに理解することができます。（最新版のアップデートのためにはNCCアップデートが必要です）

あとから障害を生まないためにも、定期的なLCMによるアップデートを心がけることが大切かと思います。

LCM(Life Cycle Manager)とは

Nutanixといえば、AOSやハイパーバイザーをアップグレード出来る「One Click Upgrade」が有名ですし、今までの面倒なアップグレード作業を自動化出来る大変便利な機能です。

もともとOne Click Upgradeでアップグレードができるものは、

• AOS
• ハイパーバイザー（ESXi/AHV/Hyper-V/XenServer）
• SSD/HDDのファームウェア
• BMC/BIOS

となっておりました。
AOSやハイパーバイザーは純粋なソフトウェアのアップグレードとなるため、特段問題は無いのですが、SSDやHDD、BMC、BIOSなどハードウェアに起因するファームウェアのアップデートは、元来NXモデルをベースに作成されていたため、DellXCやLenovoHXなどでは、一部未対応な部分がありました。

また、ファームウェアのアップデート機能は、自分で必要なファームウェアファイルを入手してそれを手動でアップロードした上で行う作業となっており、アップグレードまでの手段は、従来と変わらず幾分面倒な作業が残っていました。

Nutanixは、純粋なソフトウェアメーカーとして、対応するハードウェアの幅も広げているため、このようなハードウェアメーカーによって出来る機能差が出てくることは望ましくないと言うことで、様々なハードウェアにあわせて、また、現行のNutanix環境（AOSやハイパーバイザーのバージョンなど）をひとまとめにして、管理するというのが、LCM（Life Cycle Manager）の役割となります。

LCMは、Nutanixを正しく運用するためには、定期的なファームウェアやソフトウェアのアップデートは欠かせません。このアップデートのとりまとめを行うLCMは、Nutanixにおいて大変重要なコンポーネントです。

では、LCMを利用する際の注意点をまとめておきます。

• LCM2.xは、AOS5.5.6移行の環境で利用が可能です
• 1ノードクラスター（主にSNRT）では、LCMを利用出来ません
• 2ノードクラスターは、AOS5.10.5移行でサポートされています
• LCMを利用する前に、Nutanixクラスター内部で保有するFoundationバイナリを最新にしてください

明日は、LCMの使い方についてご紹介します。