"HCI" はじめました。

vSAN担当小佐野舞です。VMwareのHCIを広めるため日々活動していきます。

vSAN 8 で実装された新アーキテクチャとは、の前に - vSAN 8 ①

vSAN 8 は何より新アーキテクチャExpress Storage Architecture の実装が目玉です。

vSAN のストレージポリシー管理による仮想マシン(仮想ディスク)を基準とした考え方はそのままですが、ハードウェアも含め大きな変化ですので、新しいこと、嬉しい!

深掘りすると中身が色々変わってたりするので説明しなければという使命感はあるものの。

今までのvSAN がなくなる訳ではないので、まず全体的なアップデート内容からお伝えできればと思います。

 

目次

 

 

2つのアーキテクチャ

まず整理のために、vSAN 8 では2つのアーキテクチャがあります。

Original Storage Architecture(OSA)

これはみなさまよくご存知の、リリース当初から変わらない、2階層=キャッシュ/キャパシティデバイスから構成されるアーキテクチャです。

専用ストレージ筐体に匹敵するようなパフォーマンスを出すためには、と考えられた汎用的なサーバのパーツを活用したアーキテクチャです。

パフォーマンスを担う前面に出るデバイスは高性能なSSDをキャッシュデバイスとして使用。

コストパフォーマンスに優れたハードディスクやSSDをキャパシティデバイスとして使用。

出たての頃はまだフラッシュデバイスも小容量、高価格と性能を求めると物理ストレージはHDDだけでこんなにパフォーマンス出るのに、SSD なんて高すぎる!というお客様の声もありました。

(物理ストレージのコントローラキャッシュの代わりを汎用的なサーバSSDで代用するということを丁寧に、丁寧に説明をした時代。)

もちろん今現在、フラッシュデバイスは容量単価や性能単価が6,7年前と比較して下がりました。

一方、技術の進化とともに超高性能のストレージデバイスが登場したのもここ数年です。

NVMe やPCIeデバイスを活用した爆速オールフラッシュHCI を構成するお客様もどんどん増えてきています。

 

Express Storage Architecture(ESA)

vSAN 8 で実装された新アーキテクチャです。

最新の高性能なNVMe デバイスを活用することで、従来のキャッシュキャパシティの二階層構造を排除し、シングルティアで構成されます。

性能を求めるとミラーリング、容量効率性を求めるとイレイジャーコーディング、とどちらかしか選べなかった従来アーキテクチャですが、この新アーキテクチャは性能も容量効率性も両方とも

様々なデータサービス、圧縮や暗号化、チェックサムの処理のオーバーヘッドも軽減し、CPU やネットワークを最大限活用することができます。

またディスクグループがなくなったことで、デバイス単位での管理=障害範囲の極小化というメリットもあります。

詳細は別途ご紹介しますね。

 

 

アーキテクチャ以外のアップデートって何があるの?

Original Storage Architecture のエンハンスメント

 

キャッシュデバイスの容量サイジングでどれだけ積めば良いのか、よく質問をいただきます。

2017年に変更があっと時のHCI はじめました記事

サイジング - オールフラッシュモデルのキャッシュ層サイジング

新しい情報もまとめた情報はこちら↓

調べたこと 試したこと: vSAN キャッシュ層 SSD の選定・サイジングのおさらい(2019年版)

vSAN ディスク グループのデザイン、構成、組み方、FAQ | Lab8010

重要なポイントが、オールフラッシュ構成の場合はキャッシュデバイスでvSAN で使用可能な論理的な容量が600GB ということでした。

極端な話、1.2TBのキャッシュデバイスを積んだとしても、600GBをvSAN のキャッシュ領域として使用、残りの容量はSSDの寿命を延ばすためにdynamic over provisioningで使用されるというものでした。

今回のvSAN 8 のアップデートではディスクグループあたり、1.6TBまでvSAN として論理的なキャッシュ領域として使用可能になりました。

性能面を考えると、使用容量が増えたからといってデバイスあたりのIOPSが良くなるわけではないので、キャッシュデバイスを追加してディスクグループを分ける選択は変わりません。

安定性の向上やデステージが間に合わないような大量書き込みに効果的です。

 

 

ESA & OSA 共通のエンハンスメント

 

デプロイ&拡張

クラスタ作成時に32ホスト以上で構成する場合のチェックボックス(および必要な再起動)の削除

大規模構成でのデプロイや32ノード以上への拡張が容易になりました。

 

 

セキュリティ
vSAN 他デーモンを隔離されたサンドボックスドメインで稼働させることが可能

ESXi 全般のセキュリティの強化の項目ですね。

 

 

運用管理

ネットワーク アップリンク メトリックの強化

遅延のメトリックの追加されました。

 

vSAN クラスタのシャットダウンワークフローを強化

→詳細わかり次第まとめます!
 

vSAN Proactive Insights - CEIPを無効化環境においてもクラウド健全性チェックが可能

 

 

データサービス

HCI Mesh

サーバクラスタ-クライアントクラスタの接続数上限が5→10になりました。

 

ファイルサービス

日々の運用と運用管理性の向上に関連する機能拡張

vSAN ファイルサービスの構成チェックの改善、vSAN ファイルサービスのネットワーク再設定に対応、IPV6 対応、など

 

 

 

 

 

 

先日、vSphere 8 / vSAN 8 セミナーを行ったのですが、ちょっと詰め込み過ぎました。

QAのところにブログ見てるよーとコメントいただいた方ありがとうございます!

QAじゃないのに読み上げて回答するのどうしよう、と迷ったので、こちらで嬉しかったことをお伝えします。

 

 

vSAN 8 シリーズ

vSAN 8 ...!!!

vSAN 8 で実装された新アーキテクチャとは、の前に - vSAN 8 ①

ESA シングルティア構成はハードウェアが重要! - vSAN 8 ② 

vSAN 8 ESA ReadyNodes を選んでみよう - vSAN 8番外 ① 

vSAN OSA からESA へのアップグレードはできるの? - vSAN 8番外 ② 

 

vSAN 8 ...!!!

vSphere 7 から2年半。

間の0.5を刻まずに、発表されました...!

vSAN 8

昨晩VMware Explore が始まりました。

そしてvSphere 8/ vSAN 8 のリリースされる予定であることが発表されています。

Announcing VMware vSAN 8

 

VMware ってなんの会社?と聞かれたら。

仮想化から始まり、オンプレ、クラウド、エッジにおけるインフラを支えるソフトウェアを提供、そしてより一貫性のあるアプリケーション開発&運用をするための変革をお手伝いしています。

根幹にあるvSphere のメジャーバージョンのリリース、嬉しいです!

 

私が初めて触ったESXは3.5あたりで、vSAN 担当になったのは6.0からだったので、ずいぶん長いお付き合いになりました。

 

 

vSAN 8 の目玉はなんと言ってもvSAN Express Storage Architecture です。

技術詳細はおいおいお話ししていくとして、昔話でも。

vSAN が世の中に出た頃は物理ストレージによる共有データストアが当たり前で、ストレージとはコントローラの下にディスクを並べる専用の筐体が必要でした。

データを保管する重要な役割を持つため、性能だけでなく信頼性も求められます。

そこでvSAN Original Storage Architecture(従来の2階層構成)でフラッシュデバイスを活用し、キャッシュ層、キャパシティ層と性能の異なるストレージデバイスを使用してストレージとしての性能を担保する方式はすぐには受け入れられませんでした。

なんでキャッシュデバイス必要なの?物理ストレージはHDD並べるだけでいいのに?

何回も聞かれました。

物理ストレージのコントローラキャッシュの役割を説明したり、サーバのストレージコントローラの汎用性の高さのトレードオフがあることを説明したり。

 

そしてついに、ハードウェアの進化とvSAN の進化が交差したところが2022年今日発表されました!

 

Single Tier

キャッシュデバイスなしの vSAN 構成

 

ノートPC の内蔵ストレージ、いつからSSD になりましたか?

TB クラスのSSD いつから見かけるようになりましたか?

フラッシュデバイスは進化し続けています。

驚くほど高性能、数えきれないキュー深度のNVMe の登場。

そして、キャッシュデバイスなしのvSAN 構成を実現することができました。

 

 

ということで、この後もVMware Explore は続きます。

11月には東京でリアル開催&オンライン開催です!

私も楽しみにしていますので、また告知させていただこうと思います。

 

vSAN 7 Update 3 詳細編⑥ 運用管理性の向上!実は色々追加されてました

来週にVMware Explore 2022を控え、秋のVMware Explore Japanも見えてきました。

まだおすすめセッション、vSAN 関連セッションご紹介していなかったので、それは後ほど別記事にするとして。

 

クラスタ一括シャットダウンのワークフローが一番目玉的なアップデートですが、他にもまだありました!

そんな運用管理性の向上に関するアップデートをご紹介していこうと思います。

 

実際の画面操作している最中の画面を見ていただくと、もっとわかりやすいと思いますので、こちらもぜひご覧ください。

【ビデオ】 vSphere / vSAN オンラインセミナー#48 より使いやすく!よりわかりやすく!VMware HCI の運用管理

 

 

Skyline 健全性の相関関係

vSphere 6.0 U1 でプラグインとして追加された健全性。

名前も少し前に変わってVMwareサポートサービス(VMware Skyline)の名前がいつの間にかついてSkyline 健全性となり、アップデートされ続けてきました。

今回のアップデートでは健全性でチェックされエラーとなった複数項目をまとめてそもそも何が原因でこうなっているの?という各項目の関連性や起因となった現象が確認できるようになりました。

経験則に基づく判断が求められていた健全性項目一覧を誰が見ても解決しなければならないことが一目でわかります!

 

ネットワーク監視のエンハンスメント

vSAN のストレージ間通信で重要となるのはネットワークです。

これがなければストレージとして機能しません。

U2でも健全性項目が追加されましたが、さらにLACP の同期にされているか、重複されたIPアドレスはないか、等が追加されています。

 

 

VM I/O Trip analyzer

vSAN のコンポーネントは各ホスト、各ディスクグループ、の中のストレージデバイスに配置されます。

vSAN データストアは単一のデータストアですが、何か問題が発生した場合にはその中を分析していく場合もあります。

仮想ディスク(コンポーネント)単位でどのデバイスに配置されているのか、そのストレージデバイスの遅延情報がどうなっているのか、が確認できるようになりました。

これにより、パフォーマンスに何らかの問題があった際のボトルネックがどこなのか、関連づけられた情報をvSphere ClientのUIから確認できます。

 

 

Persistent Volume を包括的に可視化

何かあった時&構成管理に役立つアップデートです。

vSphere 環境でコンテナを構築することも増えてきた最近ですが、UUID で管理されどのコンテナがどのPersistent Volume を使用しているのかわかりにくいということを解決するため、vSAN オブジェクトと紐付け可視化を可能にしました。

またそのオブジェクトのパフォーマンス情報もオブジェクト一覧から確認できるようになりました。

 

 

何かあった時にも安心してUI から確認可能な運用管理性の向上のアップデートでした。

何もないのが一番ですが、念には念を、デプロイからDay 2 運用管理まで安心してお使いいただけます!

 

 

 

 

ダウンロード/公式情報はこちらから

vSphere / vSAN 7.0 Update 3 ダウンロード

VMware vSAN 7.0 Update 3 リリース ノート

vSAN 7 Update 3 - What's New 

 

 

vSAN 7.0 Update3

vSAN 7 Update 3 GAしました...!(サマリ編)

vSAN 7 Update 3 詳細編① 2ノードクラスタにおける可用性の向上 その1

vSAN 7 Update 3 詳細編② 2ノードクラスタにおける可用性の向上 その2

vSAN 7 Update 3 詳細編③ クラスタ一括シャットダウン

vSAN 7 Update 3 詳細編④ vLCM を使用したクラスタのアップグレード 

vSAN 7 Update 3 詳細編⑤ 2ノードクラスタ/ストレッチクラスタの2サイト障害時の対応

vSAN 7 Update 3 詳細編⑥ 2ノードクラスタ/ストレッチクラスタの2サイト障害時の対応-試してみた!編

 

vSAN 7 Update 3 詳細編⑥ 2ノードクラスタ/ストレッチクラスタの2サイト障害時の対応-試してみた!編

2ノードで試してみたら、本当に止まらなかった...!

引き続き、vSAN 7.0U3での障害時の対応についてお話ししていきます。

前回のアップデートに関する解説はこちら↓

vSAN 7 Update 3 詳細編⑤ 2ノードクラスタ/ストレッチクラスタの2サイト障害時の対応

 

 

vSphere / vSAN 7.0U3 ダウンロード/公式情報はこちらから

vSphere / vSAN 7.0 Update 3 ダウンロード

VMware vSAN 7.0 Update 3 リリース ノート

vSAN 7 Update 3 - What's New 

 

 

 

まずは復習です。

セカンダリサイトのサイト全障害またはサイト全体のメンテナンス

↓ 

ウィットネスアプライアンスの障害

が発生した場合でも、プライマリサイトの仮想マシンが継続して稼働できる

というのが今回のアップデートです。

 

検証環境

vSAN 構成:Nested 2ノード クラスタ

バージョン:vSAN 7.0U3 (7.0 U3d - 19482537)

 

では早速見ていきましょう。

プライマリサイト、セカンダリサイトに1ホストずつある、2ノードクラスタです。

ウィットネスアプライアンス(監視ホスト)があることもここから確認できます。

 

2nodeCluster に2ホスト

10.198.113.51

10.198.113.52

 

クラスタ外部同一データセンタ配下にウィットネスアプライアンス

10.198.113.53

 

2ノードクラスタには仮想マシンが2つあります。 

このような構成になっています。

 

 

一つのサイトのメンテナンスを想定しているので、2ノードクラスタの1ホストをメンテナンスモードへと移行します。

 

アクセシビリティの確保オプションのメンテナンスモードへ移行しました。

 

VM02のコンポーネントの状態を確認すると。

vSAN のストレージポリシーで定義されたFTT=1 ミラーリングのレプリカとウィットネスコンポーネントが正常な状態なので、継続して仮想マシンにアクセスし続けることができます。

 

メンテナンスモードでオプションアクセシビリティの確保を選択しているのでオブジェクトは現状維持となり、可用性の低下している旨のエラーが出ています。

 

ではさらにウィットネスアプライアンスがいなくなったらどうなるのか見ていきましょう。

 

障害発生を擬似的に行うため、ウィットネスアプライアンスをパワーオフします。

 

 

ウィットネスアプリアンス仮想マシンの仮想オブジェクトを確認すると、メンテナンスモードにしたホストとウィットネスアプライアンスに配置されているオブジェクトの状態が取得できていません。

=アクセスできていない状態です。

 

1ホストのみにレプリカ残っている状態で仮想マシンへのアクセスはどうなったのでしょうか?

 

途中経過として仮想マシンVM02にpingを打ち続けていました。

 

ウィットネスアプライアンスをパワーオフした際にエンターキーでわかりやすく空白を入れています。

問題なくpingが通り続けていることが確認できます。

sshでの接続も継続して問題なく行うことができました。

 

 

サイト(または2ノードクラスタの場合はホスト)メンテナンス時のウィットネス障害時でも仮想マシンへのアクセスは継続して行うことができたことが確認できました!

万が一の時にも安心して使うことができますね。

 

 

 

次回はUI周りのU3 アップデートをお届けしたいと考えています!

 

 

vSAN 7.0 Update3

vSAN 7 Update 3 GAしました...!(サマリ編)

vSAN 7 Update 3 詳細編① 2ノードクラスタにおける可用性の向上 その1

vSAN 7 Update 3 詳細編② 2ノードクラスタにおける可用性の向上 その2

vSAN 7 Update 3 詳細編③ クラスタ一括シャットダウン

vSAN 7 Update 3 詳細編④ vLCM を使用したクラスタのアップグレード 

vSAN 7 Update 3 詳細編⑤ 2ノードクラスタ/ストレッチクラスタの2サイト障害時の対応

EMPOWER Online 2022 オンデマンド配信中 & vSAN Deep Dive セミナーのご案内

対象も限定的で、期間も限定的で、その期限がかなり迫っております。

VMware 認定パートナーの皆様、7/29まで期間限定でオンデマンド配信されています!

 

7/29までです...!

来週金曜日までです!

 

EMPOWER ONLINE 2022 | JAPAN

ご登録、ご視聴はこちらから!

 

最近まとめては話す機会がなかったなぁというテーマ、vSAN のデザイン総集編です。

ギュッと詰め込んでいますので、vSAN 初心者の方も、最近のvSAN を知りたい方もぜひご覧ください。

 

日付が書いてありますが、これはオンライン開催当日のものです。

EM221012

2ノードからストレッチクラスタまで、VMware vSAN のデザインをマスター!

VMware HCI は仮想化基盤からモダンアプリケーションまで幅広いユースケースで活用されています。サーバだけで構成される HCI の提案には、慣れ親しんだ従来型物理ストレージとは違った視点が必要となります。 本セッションでは、最適な vSAN クラスタのデプロイを行うためのストレージポリシー、ディスクグループ、ネットワーク、クラスタなどのサイジングや設計ポイントを解説します。

 

 

概要ギュッと詰め込んだら、ステップアップにおすすめセミナーはこちら↓

詳細解説 vSAN Architecture / Performance Deep Dive

2022.8.3(水)13:30−15:00

 

 

ぜひご参加ください!

vSAN のライセンス、最近よく聞かれること

ライセンスをどのように選んだら良いのか。

セット売りライセンスには何が含まれているのか。

そんなお悩みはありませんか?

 

今日はvSAN 関連のライセンスでよく聞かれたことをまとめて、ご紹介していきたいと思います。

 

 

公式ドキュメント

VMware vSAN Licensing, pricing and packaging

エディション、機能、構成例が記載されている公式ドキュメントです。

 

vSAN のエディション

vSAN には使用可能な機能の違いにより、3種類のエディションがあります。

この辺りはよく見かける内容だと思います。

 

こんな方におすすめ!

vSAN Standard

ハイブリッド環境で始めるHCI の一歩目

オールフラッシュでミラーリング

 

vSAN Advanced

オールフラッシュの重複排除、RAID-5/6使いたい

vCenter ビルトインのvROps のダッシュボードを使いたい

 

vSAN Enterprise

ファイルサービス、HCI Mesh、ストレッチクラスタ、暗号化、Date Persistent Platform、これらの機能を使いたい

 

Enterprise だけ機能が盛りだくさんな感じです。

 

名前でよく混合されがちなのが、vSAN Enterprise Plus

これはvSAN Enterprise とvRealize Operations Advanced が組み合わさったセットです。

vSAN のストレージ機能という点ではEnterprise と同じです。

vSphere だとEnterprise とEnterprise Plusで違うので、ここにも違いがあるのかな?と誤解されている方もいらっしゃいますので改めて。

 

 

 

vSAN のライセンスの種類

エディションは機能の違いにより選択しますが、次は買い方についてです。

大きく分けると3つあります。

  1. vSAN CPU ライセンス
  2. vSAN ROBO ライセンス
  3. HCI Kits ライセンス

 

CPU ライセンスとHCI Kitsライセンスについてはサーバの台数(CPUの個数)分購入する、というシンプルな形になっております。

既存vCenter がない場合や新規にvCenter を立てる場合にはvCenter ライセンスの購入も必要となります。

 

2ノード構成の場合やvSAN クラスタあたりの仮想マシン数が少ない構成の場合、ROBOライセンスの適用ってした方が良いの?どっちが良いの?と最近よくお問合せいただきます。

 

ROBO ライセンスは仮想マシン単位(25個パック)のライセンスです。

CPU ライセンスの場合は大きく考えるとホストあたりのコストになりますが、ROBO はサイトあたり仮想マシン25個分ずつを購入することが可能です。

 

サイトとは?

“Authorized Locations” means Your remote physical locations but not including Your on-line stores, Your data centers, or similar types of locations.

基本的にはプライマリデータセンタ以外のリモート拠点となります。

実際にこれはリモート拠点に該当するのか迷った場合には直接ライセンス窓口へお問合せをしていただくと、適用可能か判断されます。

 

CPU ライセンスとROBO ライセンスのどちらがお得になるのか、は仮想マシンの台数によって異なるため、どちらが絶対コストメリットあります!と断言することができません。

ただ言えるのは2ノードを分散させて、1サイトあたり仮想マシン数台であれば、まさにROBOライセンスの適用モデルです。

 

 

ROBO ライセンスシナリオ

ROBO ライセンスの25VM パック、サイト、とならではのキーワードが出てきますが、こういう場合はどうなるの?の代表的な例(極端な例も含む)をいくつかあげていきます。

 

例1(とても極端な話)
25拠点あって各拠点で1VMずつ稼働させる場合、1パックの購入が必要です。

 

例2
2拠点あって合計20VM稼働させる場合、1パック購入が必要です。

 

例3
2拠点あって合計30VM稼働させる場合、2パック購入が必要です
サイト1:25VM、サイト2:5VM、は使用可能です。
サイト1:28VM、サイト2:2VM、は使用できません。

 

 

例4
5拠点あって合計25VM稼働させる場合、2パック購入が必要です

 

 

例5
3拠点あって合計75VM稼働させる場合、3パック購入が必要です
サイト1:25VM、サイト2:25VM、サイト3:25VM、使用可能です。
サイト1:30VM、サイト2:30VM、サイト3:15VM、は使用できません。

 

ROBOに注目した内容になりました。

2ノードだから必ずROBO にする!というわけではなく、仮想マシン数と合わせてご検討ください!

梅雨シーズンのオンラインセミナー!!!

今回はセミナー&イベントのご案内です!

 

紫陽花もちらほら咲き始めて、関東地方ついに梅雨入りしました。

長年使ったゴアテックススプリングコートはちょっと暑いので、ワークマンのレインコートを買ったのですが、撥水性に驚いています。

これでしとしと梅雨を乗り切ります!

 

 

VMware テクニカルサポート主催

Technical Support Summit – 2022 Jun

2022.6.28(火)

オンライン会場14:00~16:20(Zoom Webinar)

日々問い合わせに対応しているサポートチームからのvSphere とvSAN のとラブルシューティング詳細に関するセッションです!

ハードウェア障害時にディスク交換を安全にするためには?と実際に実施する可能性が高い身近な内容となっておりますのでぜひ!

 

 

vSAN/ vSphere オンラインセミナー

たくさん載せたくなっても大丈夫!2node vSAN からの拡張も Uniadex におまかせ!

2022.6.15(水)

オンライン会場14:00~15:00(Zoom)

 

2ノードに注目した内容?と思ったらタイトルから気になりますね。

もしかして、2ノードから通常のvSAN クラスタ(3ノード)に拡張しちゃうのか?!

ハードウェアも選べるvSAN は規模も小さく始めて、大きくすることもできます。

パートナーさんの実践的なセミナーをお楽しみに!

 

 

より使いやすく! よりわかりやすく! VMware HCI の運用管理

2022.6.22(水)

オンライン会場14:00~15:00(Zoom)

こちらワタクシ鋭意作成中となります。

最新vSAN 7.0Update 3の環境でどこを見ればいいの?をデモ付きでご紹介したい、ただ、デモの画面だとどこを見ればいいのか小さくてハイライトできない、というのが今の悩みです。

スライドで説明しつつ、実際の画面も含めご紹介できたらと考えております!

 

 

 

 

vSAN 7 Update 3 詳細編⑤ 2ノードクラスタ/ストレッチクラスタの2サイト障害時の対応

vSphere / vSAN 7.0U3 ダウンロード/公式情報はこちらから

vSphere / vSAN 7.0 Update 3 ダウンロード

VMware vSAN 7.0 Update 3 リリース ノート

vSAN 7 Update 3 - What's New 

 

 

 

2ノード・ストレッチクラスタ、それぞれのトポロジ詳細

vSAN ストレッチクラスタ/2ノードクラスタの場合は、ウィットネスホストを使用してサイト間やノード間のどちらが生きているかを判断しています。

まずストレッチクラスタや2ノードクラスタの基本から設定までの記事は下記を参照ください。

ストレッチクラスタの情報はこちらから!

vSAN ストレッチクラスタ①:ストレッチクラスタとは?

2ノードクラスタの情報はこちらから!

2ノードクラスタ その1

 

 

何が変わったのか?

ストレッチクラスタ、2ノード構成において一つのサイトまたはまたは1ホストのみが残っている状態で仮想マシンを稼働し続けることができるようになりました。

サイト(ストレッチ)/ホスト(2ノード)のメンテナンス時において予期せぬウィットネス障害にも対応できるようになった!と言い換えるとわかりやすいですね。

ただ注意点としては障害がどのような順序で発生したのかは重要になります。

セカンダリサイトに続いて、ウィットネスサイトの障害が発生した場合、残ったサイト/ホストで仮想マシンを稼働させることができます。

(もちろん残ったサイト/ホストが健全な状態で!)

障害復旧後はポリシーに準拠するよう再同期が行われます。

 

 

前提条件

きちんとストレッチクラスタ/2ノードクラスタの設定が行われていること、が条件になるのですが、設定項目としてのストレージポリシーを見ていきましょう。

ストレッチクラスタ

サイトの耐障害性がサイトミラーリングと設定されていること

 

2ノードクラスタ

サイトの耐障害性はホストミラーリングと設定されていること

 

 

障害のタイミング

どんな状況でも1サイト/1ホストが健全な状態で残っていたら、仮想マシンの継続稼働可能というわけではありません。

セカンダリサイトのサイト全障害またはサイト全体のメンテナンス

↓ この間、数分は必要

ウィットネスアプライアンスの障害

この順番でないとこの新しい保護機能は発動されません。

この機能のアップデートが行われた背景としては、メンテナンス時にウィットネスが止まってしまった場合、従来のバージョンでは残っているサイト/ホストに配置されている仮想マシンが稼働できなくなってしまうことでした。

 

セカンダリサイトのメンテナンス中にウィットネスアプライアンスの障害が発生するとどうなるのか?

ストレッチクラスタの例を挙げると。

Before 

プライマリサイトで稼働していた仮想マシンが止まってしまう。

サイト内の健全性がOKであってもポリシーでサイトミラーリングが適用されている場合はウィットネスアプライアンスがいない場合、止まってしまいます。

 

 

After

プライマリサイトの仮想マシンは稼働し続けることができるようになりました!

 

 

 

 

中身をもっと詳しく!

今回のアップデートのアーキテクチャの中心はAdaptive Quorum Controlによるサイト監視です。

まず可用性を担保するためvSAN の各コンポーネントはvoteを持っています。

過半数以上のvoteがある場合、仮想マシンが起動可能・継続稼働可能となります。

そのため、ウィットネスコンポーネントが存在します。(FTT=1ミラーリング)

これは通常のvSANクラスタ、ストレッチクラスタ、2ノードクラスタ、全てに共通しています。

 

今回、サイト/ホスト メンテナンス中の予期せぬウィットネスアプライアンスの障害が発生しても残りのサイト/ホストで仮想マシンを稼働し続けるためにAdaptive Quorum Control という機能が追加されました。

https://images.core.vmware.com/sites/default/files/GIF_SC_resilience_v2_0.gif

公式サイトのGIF動画がわかりやすいのでまずこれを見てみましょう。

ストレッチクラスタの構成は下記で設定されています。

仮想マシンのストレージポリシー

 サイトミラーリング

 許容する障害の数(ローカル保護)=1

 

障害が発生する前のvote数を見ると合計5 votesあります。

 プライマリサイト 1

 セカンダリサイト 1

 ウィットネスアプライアンス 3

 

ストレッチクラスタセカンダリサイトの障害が発生すると、自動的にウィットネスが持っていたvoteが3から0になり、プライマリサイトが3votesとなります。

 プライマリサイト 3

 セカンダリサイト 1

 ウィットネスアプライアンス 0

 

これにより、ウィットネスアプライアンスがいなくなっても3/4の過半数を持っているプライマリサイトのみで仮想マシンを稼働し続けることができます。

障害復旧後は自動的にvotesの移行が行われます。

 

 

 

ストレッチクラスタの例ばかりあげていますが、避けて通れないメンテナンス時の保護という点では2ノードクラスタにもとても嬉しいエンハンスメントです。

 

2ノードで試してみたら、本当に止まらなかった...!は次回更新します。

 

 

 

vSAN 7.0 Update3

vSAN 7 Update 3 GAしました...!(サマリ編)

vSAN 7 Update 3 詳細編① 2ノードクラスタにおける可用性の向上 その1

vSAN 7 Update 3 詳細編② 2ノードクラスタにおける可用性の向上 その2

vSAN 7 Update 3 詳細編③ クラスタ一括シャットダウン

vSAN 7 Update 3 詳細編④ vLCM を使用したクラスタのアップグレード 

ストレッチも!HCI Mesh も!vSAN 7.0U2環境のハンズオンラボ

例年VMWorld 後に新しいハンズオンラボカタログが更新されているのですが、紹介をしておりませんでした。

 

VMware HCI / vSAN を触ってみたい。

でもNested で立てる環境もないし...

実機なんてもっとハードルが高い

 

 

そんな方に、vSAN 7.0U2 のハンズオンラボはこちらです!

VMware HCI / vSAN 関連はこの2つ。

VMware vSAN - Getting Started (HOL-2208-01-HCI)

vSAN Quick Start - Lightning Lab (HOL-2208-91-HCI)


+でVCF のSDDC Managerが試せるものがこちら

VMware Cloud Foundation - SDDC Manager Operations (HOL-2244-01-ISM)

 

 

VMware vSAN - Getting Started (HOL-2208-01-HCI)

 

言語が英語と中国語となっていますが、中身のマニュアルは日本語です!

ブラウザの言語を変えれば日本語環境で実施できます。

そして!

vLCMとvSAN データパーシテンスプラットフォーム(DPp)以外の項目は全てラボで触ることができます。

中身については別途画面を追って紹介していきたいと思います。

暗号化とか、HCI Meshとか。

 

 

 

ちょっとだけ30分で勉強したい、という方にはこちらのライトニングラボがおすすめ

vSAN Quick Start - Lightning Lab (HOL-2208-91-HCI)

 

クイックスタートを使用して、初期構築から仮想マシンのストレージポリシー、運用管理のポイントあたりがサクッと確認できます。

 

見逃していませんか?オンラインセミナーアーカイブ!

オンラインセミナーが乱立する前の2019年ごろから開始したvSphere / vSAN オンラインセミナー。

四半期に数回のペースで続けさせていただいております。

さらに!アーカイブとしてIT価値創造塾からいつでもオンデマンドで見られる&資料ダウンロードもありますのでご活用ください。

 

 

vSphere / vSAN オンラインセミナー  | IT価値創造塾

 

 

アセスメント&サイジングツールを活用したvSphere / vSAN 基盤サイジング手法

【ビデオ】 vSphere / vSAN オンラインセミナー#42 アセスメント&サイジングツールを活用した vSphere / vSAN 基盤サイジング手法 | IT価値創造塾

パートナー様必見!サイジングに関するギュッとまとまった1時間です。

6.7あたりからサイジングの指針が変わったこともあり、基本的なvSAN サイジングや古い情報は知っているけれど、という方にもおすすめ!

 

 

聞いてみよう、知ってみよう!ハイブリッドクラウドの基礎の基礎

【ビデオ】 vSphere / vSAN オンラインセミナー#43 聞いてみよう、知ってみよう!ハイブリッドクラウドの基礎の基礎 | IT価値創造塾

VMware のビジョン:VMware Cloud Cross ServicesのベースのなるSDDCの要素がvSAN です。

ハイブリッドクラウド、マルチクラウドをvSAN 視点多めに改めて整理してみました。

 

 

VMware vSAN で解決したい既存運用基盤の課題と導入効果

【ビデオ】 vSphere / vSAN オンラインセミナー#44 【事例紹介】 VMware vSAN で解決した既存運用基盤の課題と導入効果 | IT価値創造塾

おなじみ公開事例の紹介、ではなく、ご導入いただいたお客様アンケートをもとにした内容となっております。

実際に使ってみての本音を知りたい方はぜひ!

 

 

オンラインセミナーも良いですが、直接お話しする機会もあると良いな〜と思う今日この頃です。

お弁当付き半日セミナーとか懐かしいですね...

このブログを始めた当初は浸透していなかったHCI が当たり前に使われるようになって、時代の流れを感じます。

コンテナ周りやマルチクラウドの話も徐々にしていきたいと考えていますので、今後ともよろしくお願いします!

vSAN 7 Update 3 詳細編④ vLCM を使用したクラスタのアップグレード

先にストレッチクラスタ、2ノードクラスタの障害時の対応に関する記事を上げようと思っていたのですが、こちらを先に。

どうせなら実機検証ありの方が面白いよなと環境を確認してみたら、2ノードクラスタがU3bで動いていたのでウィットネス一緒にアップグレードできるかな?を検証してみました。

 

ダウンロード/公式情報はこちらから

vSphere / vSAN 7.0 Update 3 ダウンロード

VMware vSAN 7.0 Update 3 リリース ノート

vSAN 7 Update 3 - What's New 

 

 

vSphere Lifecycle Manager 周りはどんどんと対応ハードウェアやコンポーネントが増えていっています。

今回vSAN 絡みのvLCM のアップデートとしては、図にある通り:

 

通常ストレッチクラスタのアップグレードを手動で行う場合、下記フローとなります。

  1. vCenter のアップグレード
  2. ウィットネスアプライアンスのアップグレード(再デプロイ)
  3. ESXi ホストのアップグレード(サイトごと、プライマリサイト→セカンダリサイト)
  4. vSAN OnDisk フォーマットのアップデート(必要な場合)

ホストのアップグレードをサイトごとに行うのは、プライマリのホストあげて、次セカンダリのホストをあげてとランダムにホストを選んでアップグレードしてしまうと不要なデータの再同期が発生する可能性があるからです。

手順自体はシンプルですが、今回のアップデートでストレッチクラスタのアップクレードを実施する→事前チェックからクラスタ全体のアップグレードを一括で実行できるようになりました。

 

After としての手順はこうなります!

  1. vCenter のアップグレード
  2. イメージ管理の有効化&イメージの設定
  3. アップデートの実行
  4. vSAN OnDisk フォーマットのアップデート(必要な場合)

 

この流れと同じように、2ノード構成の場合もホスト2台とウィットネスアプライアンスをvLCM で一括でアップグレードできます。

現時点の考慮点はこの2つです。

  • 同一vCenter 配下にウィットネスアプライアンスが配置されていること
  • 共有ウィットネスには対応していないこと

 

 

 

検証環境にはストレッチはいなかったので、2ノードで試してみました。

以前U3bで構成してしまっていた環境だったので、先に個別に一つずつU3cに揃える準備をしました。

 

では、2ノードクラスタをアップデートしてみましょう。

構成

現在のバージョン

ESXi70U3c-19193900

 

アップグレードするバージョン

ESXi70U3d-19482537

 

vCenter のアップグレードはいつも通りなので、割愛させていただきます。

  1. イメージ管理の有効化&イメージの設定
  2. アップデートの実行

 

イメージ管理の有効化&イメージの設定

最初のキャプチャを見ていただいて分かる通り、イメージ管理が有効化されていない状態からスタートします。

クラスタ>アップデート>イメージ からイメージ管理のセットアップを行います。

 

イメージ管理のセットアップ項目としては4つあります。

今回はNested なのでESXiのみ指定していきます。

ハードウェアプラグインOEM バージョンを使用する場合はプロファイルを先に作ったりする必要があります。

 

アップグレードしたいバージョンは7.0U3dなので選択します。

そして保存!

 

コンプライアンスチェックが走り、イメージセットアップの完了となります。

ここで気がつきました。後ろにチラッと見えるコンプライアンスの状態が不明ですアラート。

コンプライアンスチェックに失敗していますね。

このチェック通らないと修正できないよーと思っていたら。

2ノードでとりあえず組んだクラスタだったのでDNS の設定をしていないことが原因でした。

通常ならDNS は一番最初に設定しているので発生しないエラーです。

何事もなかったように次に進めていきます。

 

アップデートの実行

事前チェックを実行し、すべて修正をクリックし、アップグレードを開始していきます。

ハードウェア互換性エラーはNested 起因のものです。

VIBのところは幻のバージョンであるU3b起因だと思いますので、無視して進めていきます。

 

アップグレード開始します!

 

進行中タスクの確認ができます。

見てみると、IPアドレス末尾53のウィットネスのアップグレードが始まっています。

 

ウィットネスの次はホスト#1のアップグレードが行われています。

 

7.0U3c → 7.0U3d

アップグレード完了です!

ホストとウィットネスが一括であげられました!

 

長くなってしまいましたが、机上の整理から実践までvLCM のU3 での進化をまとめてみました!

 

 

 

vSAN 7.0 Update3

vSAN 7 Update 3 GAしました...!(サマリ編)

vSAN 7 Update 3 詳細編① 2ノードクラスタにおける可用性の向上 その1

vSAN 7 Update 3 詳細編② 2ノードクラスタにおける可用性の向上 その2

vSAN 7 Update 3 詳細編③ クラスタ一括シャットダウン

vSAN 7 Update 3 詳細編③-2 クラスタ一括シャットダウン 実践編 

 

vSphere HA とvSAN、ハートビート、2 ノード/ストレッチクラスタの場合は?

vSphere HA とvSAN、ハートビート、3Tier構成と何が違うの?

3Tier との違いについてお話しした前回でしたが、今回はvSAN クラスタで2ノード構成またはストレッチクラスタ構成を使用している場合のHA 周りについてみていきます!

 

2ノードクラスタ/ストレッチクラスタ 

vSAN クラスタ = vSphere HA クラスタであることは変わらないのですが、vSAN ならではの構成はこの2つです。

vSAN 2-Node Cluster Guide

vSAN Stretched Cluster Guide

それでは各構成のHA の設定について見ていきましょう。

 

 

2ノードクラスタ(ダイレクト接続)

f:id:vmwarekkHCI:20220111155633p:plain

可用性が求められる小規模環境やエッジソリューションとしても活用されている2ノード構成。

2ノードクラスタの詳細はこちらからシリーズものでご紹介しています。

2ノードクラスタ その1

 

f:id:vmwarekkHCI:20220323171054p:plain

2台のうち1台が障害が発生した場合、すべての仮想マシンがもう1台に寄せられます。

ホストが2台で構成されている、かつvSAN ネットワークがダイレクト接続されているので、設定はシンプルです。

通常と違う点は、ホスト隔離への対応を無効にすることです。

 

f:id:vmwarekkHCI:20220405103806p:plain

直接接続だからこそvSAN ネットワーク間の障害が発生した場合、ウィットネスホストから疎通確認が行われ、プライマリホストで仮想マシンは稼働します。

 

 

 

ストレッチクラスタ

ストレッチクラスタの場合、近距離でのサイトまたぎのアクティブアクティブデータセンタを構成することが可能です。

ストレッチクラスタの詳細はこちらから

vSAN ストレッチクラスタ①:ストレッチクラスタとは?

 

まず、前提として、ストレッチクラスタの場合はDRS の設定は必須となります。

ホストグループや仮想マシングループを作成し、サイトのどちらで稼働させるかを決定します。

 

f:id:vmwarekkHCI:20220323171026p:plain

その上で想定される障害、サイト内のホスト障害(隔離)の場合、どのように対応するかをHA の設定で設定しておきます。

サイト1が優先サイトの場合、一つ目の隔離アドレスにサイト1のvSAN ネットワーク上のIPアドレスを指定し、二つ目の隔離アドレスにサイト2のvSAN ネットワークのIPアドレスを指定します。

 

 

 

こんな感じで2ノード、ストレッチの場合のHA 設定についてまとめてみました。

 

隔離アドレスの設定は詳細設定でデフォルト何も入っていない状態なので、ストレッチクラスタ、通常のvSAN クラスタの場合も忘れずにご登録を!

vSphere HA とvSAN、ハートビート、3Tier構成と何が違うの?

ハートビート、といえばvSphere HA。

クラスタの機能でホスト障害やネットワーク障害が発生した際に、仮想マシンを自動的に再起動させる嬉しい機能です。

3Tier 構成の物理共有ストレージからvSAN を使ったHCI 構成になった場合、何か違いがあるのか?

知っておいて欲しいことをまとめていきます!

 

vSphere HA とvSAN、ハートビート

この2017年の記事から新しい変更点はありません!

が、整理し直して、覚えておいてほしいことを中心に説明しいきます!

 

リソースとHA のお話

やっぱりわかりやすい公式ドキュメントといえばVMware Docsです。

vSAN および vSphere HA の使用

 

そして図があって実際の操作画面も載っているTech Zone、通称Core

vSAN Availability Technologies | vSAN and vSphere High Availability (HA) Integration

VMware vSAN Design Guide | vSphere HA considerations

 

これらの内容をもとに詳細を書いていきます。

 

複数ホストを束ねるクラスタで活用されるのがvSphere HAです。

現在では当たり前のように使われていますよね。

vSphere HA は、仮想マシンとそれが配置されたホストをクラスタにプールすることで、仮想マシンに高可用性を提供します。クラスタ内のホストは監視され、障害発生時には、その故障したホスト上の仮想マシンが別のホスト上で再起動されます。

この機能により、クラスタに紐づけられた共有データストアに配置されている仮想マシンがホストやネットワーク障害時に異なるホストで再起動されます。

障害発生時のダウンタイムの短縮が可能になります。

 

vSphere HA の発動を判断する方法は、ネットワークハートビートです。

HA のエージェント間のトラフィック疎通を確認します。

そして、より詳細な状態を判断するために、下記2つがあります。

データストアハートビート:ホスト障害またはネットワーク障害を判断

隔離アドレスへのping:ホストが隔離/パーティション状態かを判断

この3つの情報をもとに、HA が行われます。

 

vSphere HA +物理ストレージ構成

f:id:vmwarekkHCI:20220324101318p:plain

ハートビートネットワークは管理ネットワークです。

管理ネットワークの通信が可能かどうか、ホスト間トラフィックで判断されます。

 

vSphere HA + vSAN 構成

f:id:vmwarekkHCI:20220324101335p:plain

3Tier 構成と異なるところがこちら!

ハートビートネットワークはvSAN ネットワークです。

vSAN データストアはクラスタに対して単一の共有データストアを提供するので、vSANデータストアをハートビートデータストアとして指定することはできません。

ハートビートネットワークがvSAN ネットワークのため、隔離状態となるのは隔離アドレスへのpingが通らないかつvSAN ネットワークへアクセスできない場合、となります。
 
このハートビートネットワークの違いにより、HA の設定もvSAN 特有なポイントがいくつかあります。
vSAN 環境のHA 設定項目
  • ホスト隔離への対応 → パワーオフして再起動
    隔離状態となったホストで稼働している仮想マシンの対応については残られると不整合が発生してしまうため、強制的に異なるホストで起動させるようにします。
  • das.useDefaultIsolationAddress → false
    デフォルトで管理ネットワークのデフォルトゲートウェイが隔離アドレスとなっているので、無効化します。
  • das.isolationAddressX → vSAN ネットワーク上のIP を設定(例:vSAN ネットワークで使用しているスイッチのデフォルトゲートウェイ等)
    ハートビートネットワーク=vSAN ネットワークなので、vSAN ネットワーク上のIPアドレスを指定します。

 

f:id:vmwarekkHCI:20220324102607p:plain

HA のデフォルト設定だと、ホスト隔離への対応は無効になっているのでパワーオフして再起動へ変更が推奨となります。

隔離アドレスについては詳細オプションへの追加を行います。

 

これでvSAN + HA の基本設定は終了です!

次回は2ノード/ストレッチクラスタ構成について書いていきたいと思います。

クラスタ一括シャットダウンにおけるKB

2回に渡って、vSAN 7.0U3 におけるクラスタ一括シャットダウンウィザードを紹介しました。

vSAN 7 Update 3 詳細編③ クラスタ一括シャットダウン

vSAN 7 Update 3 詳細編③-2 クラスタ一括シャットダウン 実践編

 

起動時に発生する可能性がある問題に対する、解消方法のKBがすでに出ています。

私も初めて実施した時にぶつかりましたが、その後複数回実施しましたが、特に発生していません。

まさにこのKB通りのことが発生しました。

How to handle inconsistent cluster power status in vSAN shutdown workflow (87350)

 

 

現象としてはvSAN サービスの起動状態に不整合が発生する場合があります。

今回の構成はvCenter サーバがvSAN クラスタ内vSAN データストア上に配置されていました。

vCenter は起動しているので、vSAN データストアは使えている、けれど、vSAN サービスが再起動できない、サービスの各項目の設定ができない、ということになります。

ではその場合はどのように解消するのか実際の操作とともに見ていきます。

 

f:id:vmwarekkHCI:20220302105057p:plain

ウィザードを使用してクラスタをシャットダウンした後、vSAN サービスの再起動が途中で失敗している、というエラーが出てきました。

→KBのシナリオ2ですね。

もう一度、再起動を行なってもvSAN サービスの再起動が一時停止されてしまう現象が発生。(画像)

 

 

まずは現状確認を行いました。

esxcli vsan cluster  get でvSAN サービスの正常性を確認

f:id:vmwarekkHCI:20220302105614p:plain

→問題なし

 

Skyline 健全性

f:id:vmwarekkHCI:20220302105537p:plain

→オールグリーン、だけど、上にvSAN サービス再起動中って出てる

 

では解決策通りに対処方法を実行していきます。

  • vCenter にログインして、コンフィグファイルを修正
  • vSAN 健全性サービスの再起動

 

f:id:vmwarekkHCI:20220302114156p:plain

無事にいつものvSAN サービスの画面が戻ってきました!

 

もしこの問題が発生した場合には落ち着いて、KBの手順を実施してください!

今後のESXi のパッチに含まれる形で修正予定です。

vSAN 7 Update 3 詳細編③-2 クラスタ一括シャットダウン 実践編

ウィザードを使用したクラスタ一括シャットダウンは前回概要をお話しました。

vSAN 7 Update 3 詳細編③ クラスタ一括シャットダウン

 

 

 

ウィザードを使用したクラスタ一括シャットダウン、実際にやってみましょう!

f:id:vmwarekkHCI:20220315174601p:plain

と、その前に。

ウィザードで自動実行される裏側、何が起こっているのかというと。

まずクラスタをシャットダウンを行ってよいかの健全性チェックを行います。

HAの無効化が行われ、vCenter がシャットダウンされます。

vSAN クラスタ再起動時の問題のKB

にあるように、メンテナンスモードデータの移行なしオプションでクラスタ全体のシャットダウンを行う場合にはスクリプトの実行が必須となっています。

ウィザードでは自動的にシャットダウンプロセスの中で実行されます。

そしてメンテナンスモードへの移行、ホストのシャットダウンとなりクラスタ全体のシャットダウンが完了します。

 

ウィザードを使用せず、手動で実行する場合の手順はこちらから確認できます。

手動による vSAN クラスタのシャットダウンと再起動

この手順を代わりに実行してくれるのがウィザードシャットダウン実行です!

 

シャットダウンスクリプトに関するKBはこちら

vSAN -- メンテナンス -- 複数ホストの再起動 / クラスタ全シャットダウン -- 利用不可のデータが発生するリスク (60424)

 

 

ではvSphere Client からウィザードを使用してクラスタのシャットダウンをしていきましょう。

f:id:vmwarekkHCI:20220311110128p:plain

環境の説明からしていきますね。

バージョン:ESXi / vSAN 7.0U3c

ホスト数:4台

vCenter:クラスタ内に配置

仮想マシンは管理系ほか、いくつかクラスタ内にあります。

 

f:id:vmwarekkHCI:20220311110226p:plain

まずvCenter /vCLS 以外の仮想マシンを全てシャットダウンします。

もしvRealize 製品群も乗っていたらここでシャットダウンをしておいてください。

 

f:id:vmwarekkHCI:20220311110151p:plain

クラスタを右クリック、一番下の方にvSAN の項目があります。

クラスタのシャットダウンをクリックします。

 

f:id:vmwarekkHCI:20220311110242p:plain

ウィザードが始まります。
事前チェックが全て緑でパスしていることを確認します。
vCenter がクラスタに展開されている場合は警告マークが出ますが、これは無視してOKです。

事前チェックの項目はほぼ健全性チェックと同様ですので、ウィザードを起動する前に健全性チェックを見ておくと安心です。

 

f:id:vmwarekkHCI:20220311110331p:plain

ウィザードが完了すると、vCenter はシャットダウンされますので、vSphere Client にアクセスできなくなります。

スクリプトの実行、メンテナンスモードへの移行等、この後実施されるタスクはここに記載されているホストから実行されます。

タスクを確認したい場合は対象ホストのHost ClientやCLIから見ることができます。

 

f:id:vmwarekkHCI:20220311110349p:plain

シャットダウンを実行します!

これで正常にクラスタのシャットダウンが完了しました。

 

 

では続いて起動後を見ていきましょう。

f:id:vmwarekkHCI:20220311110418p:plain

ウィザードを使用してクラスタ一括シャットダウンを実施した場合、vSAN のサービスからvSAN クラスタがシャットダウンされていることが確認できます。

vCenter にアクセスできている=vSAN がシャットダウン前と同様な状態ではありません!

この画面からクラスタの再起動を行います。

 

f:id:vmwarekkHCI:20220311110511p:plain

 

正常に再起動されたことを確認します。

 

ウィザードを使用したクラスタの一括シャットダウン、からの起動は以上となります。

次回ポストはこのクラスタ一括シャットダウンに関係するKBをご紹介します!

 

 

vSAN 7.0U3 シリーズ

vSAN 7 Update 3 GAしました...!(サマリ編)

vSAN 7 Update 3 詳細編① 2ノードクラスタにおける可用性の向上 その1

vSAN 7 Update 3 詳細編② 2ノードクラスタにおける可用性の向上 その2

vSAN 7 Update 3 詳細編③ クラスタ一括シャットダウン