Foundationにおける特別な設定

前回までにFoundationにおける一連の流れを見てきました。
今回は、Foundationにおける特別な設定について見ていきます。

<ベアメタルFoundaionにおける設定>

前回説明したようにベアメタルFoundationは、ノードにCVMが存在しない環境（Cisco UCSやPowerEdgeなどNutanixコンパチに適合したサーバーを利用する場合）に利用します。
CVMのDiscoveryが出来るが、意図的に全ての設定を初期化しベアメタルFoundationを行うことも出来ます。その場合は、ノード一覧画面から、Toolsをクリックし、「Add Node Manually」をクリックします。

こちらで、イメージングを行うノードのシャーシの数とシャーシ内に何ノードが収容されているかを設定します。

DX380など2U1ノードの場合は、「Nodes per Block」は、1になります。NX-3060-G7モデルの場合は、1シャーシに４ノード搭載できますので、「Nodes per Block」は、4になります。

「How should these nodes be reached?」の設定は以下の条件に合わせて選択します。

IPMIに既に、IPアドレスを付与している場合は、「I have configured their IPMIs to my desired IP addresses. Ensure these IPMI ports are plugged in.」を選択します。
IPMIにまだ、IPアドレスを付与していない場合、Foundationを使ってIPを指定しますが、ノードの特定が必要となるため、「I will provide the IPMIs' MACs. I am in the same LAN with them. Ensure the network allows IPv6.」を選択します。この場合、IPMIは、NICとのシェアードポートでは無く、かならずIPMI専用ポートを利用します。

＜クラスターを作成せず、イメー人だけを行う場合＞

Foundationは、イメージングとクラスター作成の2つの作業を行うことが出来ますが、意図的にクラスターを作成せずイメージング作業だけを行うことが出来ます。
この機能はどういったときに利用するのかというと、主に拡張ノードを作成する際に利用することが多いです。Nutanixは、既存クラスターにノードを追加する際、NXやXC Core、DXモデルなど、工場出荷時点でハイパーバイザーとCVMがイメージング済みのモデルの場合、追加したいクラスターと、新しく追加したいノードのハイパーバイザーとAOSのバージョンが異なっていても、ノード拡張作業時に自動的に拡張するノードを既存クラスターのハイパーバイザーとAOSバージョンに再イメージング（裏でFoundationが実行されます）され、ノード追加が行われる仕様になっております。しかし、この裏でFoundationが走ると言うことは1ノードの追加に30分程度の時間を要することになります。迅速なノード追加を行うためには、ノードを追加する既存クラスターのハイパーバイザーとAOSバージョンに揃えて出荷すると、イメージング作業をスキップしノード追加の作業を数分で終えることが出来るようになります。また、PowerEdgeやUCSなど、NutanixのCompatibilityが通っているが、工場出荷時点でハイパーバイザーやCVMがいないノードを既存クラスターに追加したい場合にも事前にFoundationを利用してイメージングのみを行う必要があります。

<ストレージ専用ノードのイメージングについて>

ストレージ専用ノードは、クラスター内において特定のノードをストレージ専用とし、仮想マシンを稼動させないようにするノードです。Foundationにおけるストレージ専用ノードの設定は、ハイパーバイザー指定の画面で特定のノードをストレージ専用ノードと指定指定できることは前回紹介いたしました。
Foundationで利用できるストレージ専用ノードは、クラスターでメイン利用するハイパーバイザーの種類によって仕様が異なります。

ESXi及びHyper-Vをメインクラスターとして利用する場合、1ノード以上のメインのハイパーバイザーがあれば、2台目以降をストレージ専用ノードとしてAHVハイパーバイザーを利用したストレージ専用ノードを作成可能です。これらの場合、このFoundaionの設定からストレージノードを選択するとそのノードはメインクラスターのハイパーバイザーにかかわらずAHVがインストールされストレージ専用ノードとして設定されます。

クラスターを作成せず、イメージングするノードをストレージ専用ノードとしてイメージングした場合は、メインクラスターがESXiもしくはHyper-Vの場合、ストレージ専用ノードでイメージングしたノードをメインクラスターに追加すると自動的にAHVのままストレージ専用ノードとしてクラスターメンバーに追加されます。

一方で、メインクラスターがAHVの場合は、このストレージ専用ノードのイメージングは無視され通常のコンピュートノードと同様に扱われます。
AHVにおけるストレージ専用ノードとして追加するには、別の方法で追加を行います。（AHVにおけるストレージ線のようノードの追加はまた改めてお伝えします）

＜コンピュート専用ノードのイメージングについて＞

AHVクラスターにおいて、一部の条件（詳細は、こちらを参照してください）をクリアした環境の場合、コンピュート専用モデルとしてCPU/RAMだけを利用し、ストレージを提供しないノードを構成することが出来ます。
コンピュート専用ノードはAHVのみサポートされていますので、イメージングを行うと、AHVのみがインストールされ、CVMはデプロイされます。
Foundation画面では、「Add Compute-only Nodes」を選択するとコンピュート専用ノードとしてイメージングするノードの設定が可能です。

Foundationのイメージングについて、特殊ケースを今回は紹介しました。

Foundationでは、Nutanixのイメージングにおけるほとんど全てのパターンを網羅したイメージングツールであることと、従来の仮想化環境構築よりもかなり短いステップだけでクラスター構成を作成できることは、大きなメリットであることが分ります。

NutanixにおけるイメージングツールFoundation（その9）Foundationの流れ3

前回に続いて、Foundationでイメージングを行う際の各種設定情報を見ていきたいと思います。今回はイメージの選択を中心に見ていきます。

Discovery経由でイメージングを行おうとした場合、以下のような形でデフォルトは、AOSのバイナリ選択画面が表示されません。

unless you want it.をクリックすると、AOSの選択画面が表示されます。これは、既にAOSが入っている場合既存で入っているAOSをそのまま利用することが前提となっており、意図的に違うAOSバージョンを利用する場合、このプションを選択し、FoundaionVMに投入したAOSを利用してイメージングを行うことが出来ます。
「View existing AOS version of each node...」をクリックすると、現在インストール済みのAOSを確認することが出来ます。

一方ベアメタルFoundationの場合、既存のAOS情報が取れませんので以下のように、「View existing AOS version of each node...」をクリックしても既存AOSの情報は表示されません。

続いて、HyperVisorのイメージング設定に進みます。AOSの設定画面で、既存のCVMイメージを利用する形でウィザードをすすめた場合、ハイパーバイザーは既存で入っている物を利用することが前提となります。

ベアメタルFoundationを選択した場合、AOSを選択した場合ハイパーバイザーを選択する画面が表示されます。既存AOSを利用する場合であっても、「unless you want it.」をクリックすることで、ハイパーバイザーのバージョンを意図的に選択することが可能です。
ESXiやHyper-Vを利用する場合、Foundation内部で持っているコンパチバージョンのISO以外を利用する場合は、ISOのMD5ハッシュ値を入れる必要があります。
どのISOのWhitelistを持っているかは、Manage Whitelistから選択可能です。SupportPortalから、最新版のiso_whitelist.jsonをダウンロードしてアップロードすることも可能です。

View existing hypervisor of each node, or select storage nodes...をクリックすると、現在導入されているハイパーバイザーのバージョンが確認できます。ベアメタルFoundationの場合は、ハイパーバイザー情報が取得できませんので、「Due to technical reasons, manually added nodes cannot report the existing hypervisor and must install a new one.」と表示されます。この右にある「STORAGE」のチェックボックスにチェックを入れるとチェックしたノードはストレージ専用ノードとしてイメージングされます。
ストレージ専用ノードは、ESXi/Hyper-V環境のNutanixクラスターにAHVでイメージングされたノードを追加し、その追加されたノードは仮想マシンはCVM以外が稼動できないストレージ専用ノードとして稼動させることが出来ます。AHVクラスターにおけるストレージ専用ノードはこの画面では設定できません。ESXiやHyper-Vをメインハイパーバイザーとして選択し、一部のノードをストレージ専用ノードとして選択した場合、ストレージ専用ノードで利用するAHVのバージョンを指定することも可能です。

ハイパーバイザーの設定はこれで終わりです。

次は、イメージングに必要なIPMIの設定を行います。

本画面では、イメージングでISOマウントを利用するため、IPMIのアカウント情報を入力します。ノードDiscoveryが出来ている場合、既に存在するCVMのipmitoolを利用して、ハイパーバイザー経由で直接ハードウェアコールを行いメディアマウント行うため、IPMIのアカウントやパスワード情報を必要としません。
一方でベアメタルFoundationの場合、CVMが存在しないためIPMIのアカウント情報を入力する必要があります。

右上のToolsをクリックすると、各ハードウェアメーカーのIPMIのデフォルトパスワードが入力されます。ただし、NXモデルやProLiant DXモデルはノード毎にパスワードが異なるため、自動入力はされません。

これでFoundationに必要なパラメーターの入力は終わりです。

あとはStartをクリックするとイメージングが実行されます。
（ベアメタルFoundationに関しては、別途確認メッセージが表示されますので、i goneをクリックする必要があります）

わずかこれだけのステップで、ハイパーバイザーのインストール、ストレージコントローラーの設定、ストレージプールやLUNの作成など今まで数日かかっていた作業を終えることが出来ます。イメージングはFoundationを行うPCの性能やノード数にもよりますが、10ノードレベルであれば、だいたい30分～1時間もあればおわります。

今回まででFoundationにおける基本的な流れを理解頂けたと思います。Foundationは、Nutanixをイメージングする際に必要なツールですが、非常に簡単にイメージングができるように作られています。

NutanixにおけるイメージングツールFoundation（その8）Foundationの流れ2

前回はFoundationのDiscoveryまでの画面を紹介しました。
今回は、クラスターにおける設定画面の紹介をしていきます。

Skip automatic cluster formation

Foundationは、イメージングとクラスター作成と2つの作業を行います。クラスター作成は行わずイメージングだけを行う場合、このチェックを入れます。チェックを入れると、本ページの項目は「vRAM Allocation for Every CVM, in Gigabytes」のみの入力となります。イメージングのみを利用する場合の利用用途についてはまた別の機会に紹介いたします。

Enable CVM Network Segmentation
ネットワークセグメンテーション機能を有効にする場合に設定します。本機能はストレージI/O処理のネットワークとVolumes等で利用するiSCSIのトラフィックやPrismアクセスのトラフィックを分離する場合に利用が可能です。ネットワークセグメンテーションは、クラスター作成後に手動で作成することも出来ますので、必ずしもこのタイミングで設定する必要はありません。Foundationは、ネットワークを利用してイメージングを行うため、不要なトラブルを避けるため、Foundation後のネットワークセグメンテーション設定を行うことをおすすめします。

Cluster Name
Nutanixクラスターの名称を設定します。本名称はクラスター作成後に変更することが出来ます。

Timezone of Every CVM
CVMにおけるタイムゾーンの設定を行います。従来CVMのタイムゾーンはPSTでしたが、CVMのタイムゾーンはログの観点からもローカルのタイムゾーンを選択することがおすすめです。AHVのタイムゾーンはCVMのタイムゾーンに関係なくUTCで設定されます。(ESXiにはタイムゾーンの設定はありません）

Cluster Redundancy Factor
クラスター全体のRedundancy Factorを設定します。5ノード以上の場合は「3」を設定可能です。2から3への変更は、クラスター作成後に設定変更可能です。

Cluster Virtual IP (Optional)
クラスターの仮想IPアドレスを入力します。本機能はオプションではありますが、CVMの障害によるフェールオーバーが発生しても一貫したIPアドレスでPrism等にアクセスが出来るようになるため、Cluster VIPの設定は事実上必須であると思っておくのが良いと思います。

NTP Servers of Every CVM (Optional)
上位のNTPサーバーIPアドレス（もしくはFQDN）を入れます。Nutanixは、分散ストレージであるため、各CVM間で時刻の同期が行われておくことが大前提となります。インターネット上にNTPサーバーが存在しない場合、ローカルネットワークに存在するNTPサーバーでも構いません。WindowsのNTPサーバーを上位のNTPとして設定する際は、KB3851 (Troubleshooting NTP Sync to Windows Time Servers)を参考にして、同期がただしく行われているかをクラスター作成後に確認する必要があります。
NTPサーバーは、5つのNTPサーバーを設定することが推奨されています。

DNS Servers of Every CVM and Host (Optional)
CVMで利用するDNSサーバーを設定します。DNSサーバー自体は必須ではありませんが、時ホストの名前引きやLCMでバイナリを取得する際に利用します。

vRAM Allocation for Every CVM, in Gigabytes
CVMに設定するメモリー値を設定します。CVMの最低メモリー利用料は20GBです。通常一部の環境を除きCVMの一般的な最大値は32GBとなります。（ストレージヘビーノードの一部は40GBのメモリーを必要とします）。また、ハイパーフォーマンスを必要とするアプリケーションの一部は64GB等の値をCVMに提供するケースがありますが32GBを超えるCVMへのメモリー割り当ては、NutanixサポートやGSOチームから推奨された場合のみ利用します）

詳細なパラメーターを必要するのは、わずか前回紹介したNode情報とこのクラスター情報の2ページだけです。

次回は、具体的にイメージングのバイナリ選択やイメージングの選択肢について紹介いたします。

NutanixにおけるイメージングツールFoundation（その7）Foundationの流れ

今回はFoundationの画面を使って実際のイメージングを行う手順を紹介します。

Foundation VMの「Nutanix Foundation」アイコンをダブルクリックしてFoundation画面を表示します。もしくは、FoundationVMのIPアドレスにポート8000番（http://FoundatioVM-IP:8000）を付けて他の端末からブラウザでアクセスしても構いません。

すると、以下のような画面が表示されます。

では、1つずつの項目について見ていきます。

1.If you have used install.nutanix.com, import the configuration file.

こちらはNutanix Foundationページから事前パラメーター設定をしたものをインポートする際に利用します。今回は、この項目今回利用しません。

2.Select your hardware platform:

こちらはこれからイメージングするハードウェアメーカーを選択します。

4.Do you want RDMA passthrough to the CVMs? 

こちらはRDMAを利用するかになります。NVMeモデル以外は基本「No」を選択します。

5.What type of LAGs will your production switch have?

こちらは、Nutanixのノードに繋いでいるスイッチにLAGを構成している場合にStaticかLACPを選択します。Foundationでイメージングをする際には、ネットワーク周りが原因で失敗するとトラブルシュートに時間がかかりますので、最初はActive/StandByモードで設定して、あとからLAG等のチーミングの設定をするのがおすすめです。

6.To assign a VLAN to host/CVMs, enter the tag:

ホストとCVMにタグVLANを付与する場合に設定します。VLANを利用する場合、Foundation VMも指定したVLAN IDで疎通が出来る必要があります。

7.Nutanix requires all hosts and CVMs of a cluster to have static IPs in the same subnet. Pick a subnet:

ハイパーバイザー及びCVMに付与するIPアドレスのセグメントのサブネットマスクとデフォルトゲートウェイを入力します。ハイパーバイザーとCVMは同一セグメントである必要があります。

8.Pick a same or different subnet for the IPMIs as well, unless you want them to have no IPs.

IPMIに付与するセグメントのPアドレスのセグメントのサブネットマスクとデフォルトゲートウェイを入力します。IPMIは、CVM/ハイパーバイザーとは違うセグメントであっても問題はありませんが、セグメント間はルーティングされて、双方がNATなしでアクセスできる必要があります。

9.Double-check this installer's networking setup.

ネットワークのチェック項目になります。基本チェックを入れず、ネットワークのテストを行うようにしましょう。

List of existing interfaces

こちらは、Foundationで利用するNICを確認します。

ここまで準備をすると、「Next」をクリックします。

次の画面に行くと自動的に、ノードのDiscoveryが実行されます。

Discoveryが終わると、ハイパーバイザーとCVMが起動していて、ディスカバリーに応答したノードの情報が表示されます。

出てきた一覧には、ノードポジションも表示されます。2U４ノードのモデルの場合、A~Dのポジションがあり、こちらの図ではDポジションのノードが検出されていることが分ります。今回は、XC430をイメージングしたいと思いますので、イメージングしたい３ノードにチェックを入れます。

各種IPアドレスを入力する必要があります。IPアドレスは１項目ずつ入れることも可能ですが、Toolsの「Range Autofill」を選択すると、自動入力の枠が上段に表示されます。

追加された項目IPアドレスを入力すると、自動で連番のIPアドレスが入力されます。

自動入力の際、連番を５～８にしたい場合、最初の値（５）を入れると５～８で自動的に採番されます。

必要なIPアドレスやホスト名などのパラメータおを入れ終えたらNextボタンを押します。

次回はクラスター作成に必要なパラメーターを紹介します。

NutanixにおけるイメージングツールFoundation（その6） Foundationの準備

では、実際にFoundationの設定をしていきたいと思います。

今回は、「NutanixにおけるイメージングツールFoundation（その3）」で用意した、Foundation VMを利用して具体的な設定を見ていきたいと思います。

1.Foundation VMへIPアドレスの設定

まず、FoundationVMにIPアドレスを設定します。

GNOMEデスクトップにある「set_doundation_ip_address」をダブルクリックします。

実行方法を聞かれますので、「Run Terminal」でターミナル内で実行を行います。

ターミナル上で、Action選択画面が表示されます。「Device configuration」を選択し、Enterキーを押します。

続いて、設定を行うNICが表示されますので、IPアドレスを指定したいNICを選択肢、Enterキーを押します。

IPアドレス設定画面が表示されます。Use DHCPに[*]が付いている場合は、DHCPによるIP取得になるためIPアドレス設定画面が表示されません。Use DHCP [*]の項目を選択し、スペースキーを押すとIPアドレスを固定で付与する画面に変わります。

IPアドレスを設定した後、Okにカーソルを合わせEnterキーを押します。

前画面のNIC選択画面に戻りますので、Saveにカーソルを合わせ、Enterキーを押します。

続いて、一番最初のメニューが表示されますので「Save&Quit」にカーソルを合せEnterキーを押します。

これで、IPアドレスの設定は完了です。
Terminalを開いて、「ip addr」コマンドでIPアドレスがただしく設定するかを確認してみましょう。

これでIPアドレスの設定は完了です。

2.バイナリの配置

続いて、Foundationで利用するバイナリを用意します。
必要なバイナリは、AOSとハイパーバイザーとなります。

＜AOSの準備＞

AOSは、Nutanix Support Portalから取得します。

Support PortalのダウンロードメニューからAOSを選択します。

AOSには、LTSとSTSバージョンがあります。LTSは長期サポート、STSは短期サポートですが機能盛々バージョンとなります。日本企業においてはバージョンアップ頻度を少なくする傾向が多くLTSを選択する傾向がありますが、LTS・STSともに本番環境で利用することが可能です。

希望するAOSバイナリをダウンロードします。

ダウンロードしたバイナリは、以下のパスに配置します。
Windowsなど他のPCからダウンロードしてSCP等でファイルを配置しても構いません。

AOSバイナリ配置場所

/home/nutanix/foundation/nos

続いて、ハイパーバイザーバイナリの取得方法です。

AHVを利用する場合は、AOSバイナリに含まれているAHVバイナリを利用することができます。その場合は、AHVバイナリをダウンロードする必要はありません。AOSバンドルのAHVと異なるバージョンを利用する場合は、同じくサポートポータルのダウンロードページからAHVを選択します。

AHVバージョンも現在20170830系と20190916系の2系統があります。
現行LTSであるAOS5.15は、20170830系を利用し、20190916系は、AOS5.18などのSTSで利用します。それぞれのAHVバージョンはCompatibilityに沿って導入する必要がありますので、AOSのバージョンに従ってダウンロードします。

なお、ダウンロードするバイナリは「Darksite Bundle」をダウンロードします。

＜VMware ESXiの場合＞

VMware ESXiを利用する場合は、MyVMwareからダウンロードを行います。この際、NXモデルの場合は、VMware純正のバイナリを利用します。HPE ProLiantDXやDELL XC/XC Coreシリーズなどは、必ずサーバーメーカーのカスタムバイナリを利用します。

各サーバーメーカーが準備したカスタムイメージは、「カスタムISO」の項目からダウンロードが可能です。

＜Hyper-Vの場合＞

HyperVの場合、VLSCからOSバイナリをダウンロードします。サーバーメーカーから提供されるOEMメディアを利用することはできません。

または、MSDN等で入手できるISOバイナリであってもかまいません。

各ハイパーバイザーをダウンロードしたらバイナリを配置します。配置先は、利用するハイパーバイザー毎に異なります。

AHVの場合

/home/nutanix/foundation/isos/hypervisor/kvm

VMware ESXiの場合

/home/nutanix/foundation/isos/hypervisor/esx

Hyper-Vの場合

/home/nutanix/foundation/isos/hypervisor/hyperv

これで、バイナリの配置は完了です。

なお、バイナリの配置は、現在のFoundationではWeb画面からバイナリのアップロードが可能となりましたが、HTTP経由のアップロードの場合時間がかかったりAOSのようなバイナリサイズが大きい場合、ファイルが壊れる可能性があるため、事前にFoundationVMに配置をしておくことをおすすめします。

これで事前準備は完了しました。次回は実際のFoundation画面について見ていきます。

NutanixにおけるイメージングツールFoundation（その3）

前回までFoundationの基礎をお伝えしました。
今回は実際にFoundationを行うための環境を作りたいと思います。
前回お伝えしたとおりFoundationには複数の導入方法がありますが、今回は仮想アプライアンス版を利用したいと思います。

Step.1 VirtualBoxを導入数する

既に、VMware Workstation やFusion、もしくはESXiなどOVAをインポートできる環境があればVirtual Boxにこだわる必要はありませんが、ここでは、VirtualBoxを利用してOVAをインポートできる環境を作りたいと思います。

https://www.virtualbox.org/

より、VirtualBox 6.1（12/3時点）をダウンロードします。

今回はWindows環境に導入しますので、Windows hostsをダウンロードします。

ダウンロードした「VirtualBox-6.1.XXX-Win.exe」を実行し、インストールを行います。

ウィザードに従って、インストールを行います。

インストールオプションを選択します。基本デフォルトのまま（全ての項目をインストールを行ってください）FoundationVMは、NATモードでは無くブリッジモードでないと利用が出来ませんので、Bridge Networkingは必須となります。

ショートカットアイコンの配置について各種設定を行います。デフォルトのまま進めます。

一時的にネットワークが切断されるとのメッセージが出てきますので、確認してYesをクリックして進めます。

事前の準備は出来ましたので、Installをクリックし、インストールを実行します。

インストールが実行されます。

途中仮想USBデバイスが表示されますので、インストールを行います。

インストールが完了しました。このままVirtualBoxを起動します。

無事にVirualBoxが起動しました。

Step.2 FoundationVMの導入

では、次にFoundationのOVFをダウンロードします。

MyNutanix(https://my.nutanix.com)からSupportPoralにログインします。

サポートポータルはNPNパートナーもしくは商用版のNutanixユーザーのみがアクセス可能です。

サポートポータルのDownloadsからFoundationを選択します。

沢山のFoundationイメージが出てきますが、ここでは、VirtualBox用のイメージをダウンロードします。

ダウンロードしたファイルは、tarファイルになるため、7zip等でtarファイルを展開します。

展開したファイルから、Foundation_VM-4.X.ovfをダブルクリックします。

インポートのウィザードが表示されるので、そのままインポートを行います。

インポートは環境によって異なりますが大体3～5分程度で終わる物と思います。

インポートできたFoundationVMをパワーオンします。

無事にFoundationVMが起動しました。

nutanixユーザーのパスワードは「nutanix/4u」でログインができます。

ログインが成功するとCentOSベースのGNOMEデスクトップが表示されます。

以下のように仮想マシンがパワーオンできない場合は、稼働している物理マシンでintel VT-dが有効になっていない可能性が高いです。

PC側のBIOSにて、VT-dを有効化したうえで再度仮想マシンを起動してみるとうまく起動できると思います。

（参考）Intel VT-dの有効化または無効化

https://techlibrary.hpe.com/docs/iss/proliant_uefi/UEFI_TM_030617/ja_help/s_enabling_VT-d.html

これでFoundationの環境準備ができました。

次回は、Foundationの動きの確認を整理したうえで、実際にFoundationによるイメージングを行う手はずに入りたいと思います。