"HCI" はじめました。

vSAN担当小佐野舞です。VMwareのHCIを広めるため日々活動していきます。

HCL の パートナーソリューション

バックアップのベンダーさんが増え、AWSのサービスも追加されていました!

f:id:vmwarekkHCI:20180223133139p:plain

 

 KBだったり、Solution Exchangeの紹介ページがありましたので、vSAN 環境のバックアップ製品をこの中でご検討の方は一度ご確認ください!

COMMVAULT FOR VSAN ON PREM

Actifio Sky support to backup and restore virtual machines hosted on vSAN (52043)

Druva Phoenix KB articles (52498)

KB articles for Veeam backup and replication with vSAN datastores

 

 

そもそもパートナーソリューションって何だろう?と思っていたのですが、vSAN と連携したサービスを提供している、もしくはバックアップソフトウェアを提供しているという一覧を確認できます。

ここに掲載されていないベンダーさんも多くいらっしゃいますが、バージョン互換を確実に知りたい!すぐに知りたい!というときに役立つかもしれません。

vSAN ストレッチクラスタ②:ストレッチクラスタの要件 そのいち

2/22!

猫の日で流れてくる画像に癒されます。

大分の動物園にいる虎とライオンの赤ちゃんに最近ハマっています。

猫(動物)アレルギーなので見るだけで満足します...

 

 

ライセンス

vSAN にはStandard/Advanced/Enterpriseの3種類のライセンスがあります。

Standard   :共有ストレージとして使いたい 

Advanced  :オールフラッシュ構成の容量を節約したい

Enterprise :データストアを暗号化したい、2サイトをアクティブアクティブ(メトロクラスタ/ストレッチクラスタ)で使いたい

上記のようにシンプルです。

ストレッチクラスタを使う場合はEnterpriseの最上位のエディションをお使いください。

フォルトドメイン/2ノードクラスタはStandardから使用できます。

 

規模(台数)

ひとつのサイトに、最小1ホスト以上15ホストまで

最大、1クラスタとして30ホスト(+ウィットネスアプライアンス)で構成可能です。

 

構成コンポーネント

f:id:vmwarekkHCI:20180222180916p:plain
vCenter サーバ
ウィットネスホスト(仮想アプライアンス)
ESXi ホスト

 

バージョン
vSAN 6.1以上
vSAN 6.6以降、ローカル保護あり
ハイブリッドはミラーリングのみ、オールフラッシュはミラーリングまたはイレイジャーコーディングがローカル保護として選択可能

 

 

ネットワーク話を始めるとちょっと長くなるので、ネットワークの要件は次回に紹介と思います。

データサイト間の通信

ウィットネスとデータサイト間の通信

距離の制限などなど...

 

vSAN ストレッチクラスタ①:ストレッチクラスタとは?

vSAN ストレッチクラスタ②:ストレッチクラスタの要件 そのいち

vSAN ストレッチクラスタ③:ストレッチクラスタの要件 そのに

vSAN ストレッチクラスタ④:ストレッチクラスタ構成方法

vSAN ストレッチクラスタ⑤:ストレッチクラスタの仮想マシンのストレージポリシー

vSAN ストレッチクラスタ①:ストレッチクラスタとは?

キャンパック様の事例で出てきたこのストレッチクラスタ

vmwarekkhci.hatenablog.jp

 

どのような機能なのか、詳しくご紹介していきます。

 

  1. ストレッチクラスタとは?←このポストで
  2. ストレッチクラスタ構成の要件は?
  3. ストレッチクラスタの挙動、通常のvSAN クラスタと変わるところ、変わらないところ

 

まずストレッチクラスタとは。

f:id:vmwarekkHCI:20180220141440p:plain

ストレッチ クラスタを使用すると、vSAN クラスタが 1 つのサイトから 2 つのサイトに拡張され、より高度な可用性とサイト間のロード バランシングが実現できます。

 

2つのサイトを1つのvSANクラスタに!

データはサイト間で完全同期によりRPO 0分、クラスタだからその中でHAできるので仮想マシン起動までは5分以内、RTO もできるだけ短縮。

 

メトロクラスタと呼ばれる、クラスタのフェールオーバの範囲をサイト間に広げ、アクティブ-アクティブなデータセンターを実現する機能です。

 

重要となるのはやはり仮想マシンが格納されているストレージとなり、vSAN のストレッチクラスタが担当するとお考えください。

 

 

 

続きを書いていきたいのですが、先にvSAN のアーキテクチャについて復習を下記リンクから。

vmwarekkhci.hatenablog.jp

vSAN の場合、コンポーネントを異なるホストに分散させることにより可用性や性能をストレージとして実現しています。

ここでキーワードとなるのは異なるホストです。 

一番大きな障害、ホスト障害が発生しても仮想マシンを継続稼働させるために異なるホストにコンポーネントが分散配置されています。

 

では、ラック障害、サイト障害などより大きな範囲の障害にはどのように対応しているのでしょうか。

 

フォルトドメインという機能です。

機能というと仰々しいですが、ホストをグルーピングしてドメインという考え方を作り、コンポーネント異なるドメインに分散配置します。

シャーシ障害やラック障害に対応可能です。

2U4ノードのタイプですと、電源は4ホストで共有となるため、フォルトドメインを使っている方も多くいらっしゃいます。

 

さらにその延長にあるのがストレッチクラスタです。

隣のラックではなく、異なるサイトにあるホスト群をグルーピングします。

コンポーネント異なるサイトに分散配置します。

クラスタはひとつ、サイト障害時には自動的にフェールオーバを行うことができるアクティブ-アクティブなデータセンターを実現できます。

 

vSAN の機能をそのまま生かすことで、x86サーバだけでメトロクラスタを構成できることが強みと言えます。

 

要件や中身についてはまた次回!

 

vSAN ストレッチクラスタ①:ストレッチクラスタとは?

vSAN ストレッチクラスタ②:ストレッチクラスタの要件 そのいち

vSAN ストレッチクラスタ③:ストレッチクラスタの要件 そのに

vSAN ストレッチクラスタ④:ストレッチクラスタ構成方法

vSAN ストレッチクラスタ⑤:ストレッチクラスタの仮想マシンのストレージポリシー

フラッシュ読み取りキャッシュの予約 - ポリシーベース管理⑩

もう残りルールの数も少なってきたポリシーベース管理。

 

f:id:vmwarekkHCI:20170908171003p:plain

 

ハイブリッド構成のみのポリシールールです。

vSAN はキャッシュとキャパシティの2種類の役割の異なるストレージデバイスを組み合わせて構成します。

f:id:vmwarekkHCI:20180215194831p:plain

キャッシュデバイスは字の通り、キャッシュとして使われます。

  • ハイブリッド構成の場合は30%が書き込みバッファ、70%が読み取りキャッシュ
  • オールフラッシュ構成の場合は100%書き込みバッファ

キャパシティデバイスはデータが格納される領域として使われます。 

 

ハイブリッド構成の場合のこの70%の読み取りキャッシュを優先的に割り当てるためのポリシーがこの”フラッシュ読み取りキャッシュの予約”となります。

 

優先度を決めるのではなく、仮想マシンに割り当てた仮想ハードディスクに対してどのくらい読み取りキャッシュとして確保するかを決定します。

例えば、40GBの仮想マシンにこの読み取りキャッシュの予約ルール10%とした場合、

4GBの読み取りキャッシュを予約することになります。

 

 

マニュアル抜粋

vSAN ポリシーについて

フラッシュ読み取りキャッシュの予約

仮想マシン オブジェクトの読み取りキャッシュとして予約されているフラッシュ容量。 仮想マシン ディスク (vmdk) オブジェクトの論理サイズのパーセントとして指定されます。 予約済みのフラッシュ容量を他のオブジェクトが使用することはできません。 予約されていないフラッシュはすべてのオブジェクトで適切に共有されます。 特定のパフォーマンス問題に対処する場合にのみ、このオプションを使用します。

キャッシュを取得するために予約を設定する必要はありません。 キャッシュの予約設定は常にオブジェクトに含まれるため、読み取りキャッシュの予約を設定すると、仮想マシン オブジェクトの移動時に問題が生じることがあります。

フラッシュ読み取りキャッシュの予約のストレージ ポリシー属性は、ハイブリッド構成でのみサポートされます。オールフラッシュ クラスタ仮想マシン ストレージ ポリシーを定義する際には、この属性は使用しないでください。

デフォルト値は 0% です。 最大値は 100% です。

 

 

主役は仮想マシン!- ポリシーベース管理①

仮想マシンのデプロイとともに、ストレージをプロビジョニング! - ポリシーベース管理②

どうやって可用性を担保するのか - ポリシーベース管理③

オブジェクトとは - ポリシーベース管理④

コンポーネントの配置 - ポリシーベース管理⑤

強制プロビジョニング - ポリシーベース管理⑥

許容される障害数が2つに - ポリシーベース管理⑦

ソフトウェアチェックサム - ポリシーベース管理⑧

ストライプ - ポリシーベース管理⑨

モノは壊れるシリーズ⑤- vSAN 6.6.1までの再同期エンハンスメント続

VMware 、ハタチになりました。

Workstationから始まり、仮想化を推し進め、さらにはパブリッククラウドとの連携やモバイルと多岐に広がり続けています。

先週末テレビを見ていたらモーニング娘。が20周年でデビュー当時のメンバーも集まり新旧入り混じり歌っていたのですが、現役メンバーがひとりもわかりませんでした...

 

 

今日はエンハンスメントの続きとして、効率性、弾力性が高められた再同期プロセスをご紹介します。

f:id:vmwarekkHCI:20180214183357p:plain

ここでは仮想マシンのストレージポリシー、FTT1、ミラーリングという例になります。

プロセス自体はどのポリシーを使用していても同じです。

途中で中断された再同期プロセスがどこまで再同期が完了されているのかトラッキングされ、途中から再開されます。

図の説明をすると

  1. まずホスト#1と#2にコンポーネントが配置されています。
  2. ホスト#2になんらかの障害が発生し、再同期が開始されます。
  3. 再同期が行われている最中にまたホスト#2にアクセスができなくなり同期が中断されます。
  4. アクティブなコンポーネントの変更がトラッキングされ、変更分がマージされ途中から再開されます。
  5. コンポーネントが再同期され、オブジェクトが正常な状態となります。

再同期プロセスが中断されたからといって、はじめからやり直しになるわけではなくすでに同期された部分は再同期する必要がなくなりました。

これにより、再同期時間の短縮にも効果があります。

 

詳細は下記ホワイトペーパーをご確認ください。 

Intelligent Rebuilds in vSAN 6.6

 

リーダーのうちのひとり。

あちこちですでに話題となっています。

マジッククアドラント ハイパーコンバージドシステム 2018 が発表されました。

お告げとか何か見えないヒトの力が働いているとかそんな気もするのですがやっぱり気になるMagic Quadrant。

 

昨年出されたものと比較してみたい!と思うのですが...

Integrated System(統合システムはコンバージドシステムとハイパーコンバージドシステムの両方が合わさったもの)としてしか出されていないため、そのまま比べることができません。

検索の限りですと2017年には出されておらず、2016年10月のIntegrated Systemのものが一つ前のものとなると思われます。

VMware 、いません。

一般的なHCIは単独のベンダーがハードウェア+ソフトウェアを組み上げ、アプライアンスとなります。

ハードウェアベンダーさんの様々なハードと組み合わせられる、ハイパーコンバージドインフラのソフトウェアだけ担当したので、入れてもらえなかったんです。(個人的な想定です)

 

https://blogs.vmware.com/virtualblocks/files/2018/02/GartnerHCI_MagicQuadrant.png

VMware Debuts as a Leader in Gartner Magic Quadrant for Hyperconverged Infrastructure (HCI) - Virtual Blocks

 

ポッと突然出てきてリーダーポジションに入りました!

上記ブログより引用

このHCI 群雄割拠時代に大切なことが3つあります。

Software Key to Modern Infrastructure

もっともコスト効果が高く、業界標準のハードウェアで動き、シンプルな構成を作り出すにはやはりソフトウェアデファインドのHCIであることが重要です。

Strategic, Long-Term HCI Vendors Emerge

HCIの市場は今後も拡大していきます。既存のスキルを活用しつつ新しいことにチャレンジする、よりシンプルになったことにより新しいスキルを習得できる。パブリックかオンプレかの2択ではなく、長期的なこのHCIの革新は様々な選択肢から最適なものを活用できるのではないかと考えます。

Broad Ecosystem Critical to Openness and Flexibility

HCIという言葉の定義が広がっています。オンプレにHCI箱を置いて自分で使うことがHCIではなく、HCI as a Service としてパブリッククラウドのサービスとしても使うことができるようになりました。またReadyNodeやアプライアンス業界標準のサーバベンダーのハードウェアを選ぶこともできます。さらに、AWSでもサービスとして使うことができます。VMware は選択肢の多さ、柔軟性の高さ、これらをパートナーとのエコシステムで実現します。

  

 こちらから今回のレポートがダウンロードできます(英語)

Gartner Magic Quadrant for Hyperconverged Infrastructure.

ReadyNode に関するKB

今週から新年度が始まりました!

2018年になったばかりなのにFY19です。 今年度もよろしくお願いします。 

去年の今頃はラスベガスでキックオフだったんだなーと、1年があっという間に経ってしまったことを実感しています。

 

 

vSAN ReadyNode とは?

 

vSAN ReadyNodeとはVMware のハイパーコンバージドインフラ(ソフトウェア)とサーバベンダーさんから出されているサーバ(ハードウェア)を組み合わせて、組み上げ済み、検証済み、一部はプリインストール済み構成のことを示します。

サーバはのスペックやストレージとしての容量が異なる構成もありますので、必要に応じて適当なReadyNodeを選択します。

 

ReadyNodeの構成がぴったり!もうこのハードウェア買うだけ!という方は良いのですが、カスタムしたいという方ももちろんいらっしゃると思います。

 

ReadyNodeをベースとして、変更が可能なHWコンポーネントに関する指示がKBとして出されました!

What You Can (and Cannot) Change in a vSAN ReadyNode™ (52084)

 

VMwareの公式ブログで出された情報については、正しい見解とはわかっているものの、どこかに正式な文書として出ないものかとやきもきしていました。

ようやく、KBです! 

 

まだ日本語版はリリースされていませんので、こちらを参考にしていただければと思います。

vmwarekkhci.hatenablog.jp

vSAN と ESXi と VxRAIL

本日3日目、狭い部屋にぎゅうぎゅうに詰め込まれて。

ありがとうを言いたかった人にも直接会えた良い1日でした!

 

今日は今までで一番短いです。

バージョン

 

vSANのバージョン=vSphere(ESXi)のバージョンです。

アプライアンス型でもカスタマイズできる、もしくは最新バージョンのインストールを行いますと明記されて入れば、vSphereだけ見れば良いのですが... 

アプライアンス自体にバージョンがあると中身が何か気になります。

 

VxRAILにプリインストールされているvSAN がどのバージョンなのか、という対応表がまとまっていました! 

Correlating VxRAIL Release with VMware build numbers (52075)

 

アップグレードを実際に行なった記事もこちらに。

EMC Community Network - DECN: 仮想化関連で調べて試したことの備忘録: VxRail 4.0.x から VxRail 4.5 へのメジャーアップグレード

 

vSAN 単体とESXi のビルドの対応表はこちら。

Build numbers and versions of VMware vSAN (2150753)

 

 

では、良い1日をお過ごしくださいー!

モノは壊れるシリーズ④- vSAN 6.6.1までの再同期エンハンスメント

今週はお出かけしているため、更新がスローペースになりそうです。

現在、火曜日の11時です。本社に来ています! 

 

 

エンハンスメントとして下記のアップデートが紹介されています。 

リバランスおよび修復の機能強化。

ディスクのリバランス操作がさらに効率化されました。手動によるリバランス操作によってより詳細な進捗レポートが提供されます。
リバランス プロトコルが調整され、より効率的に動作し、クラスタのバランスをさらに向上させます。手動によるリバランスによって、より多くの更新情報とより詳細な進捗レポートが提供されます。
より少ないクラスタ再同期でより効率的な修復操作を行います。vSAN は、低下または不完全コンポーネントを部分的に修復して、vSAN がオブジェクトを準拠させることができない場合でも、許容する障害を増やすことができます。 

 

参考リンク

VMware Virtual SAN 6.6 リリース ノート

vSphere 6.5 P02 – What’s new with vSAN (51891)

 

 

2つ目の効率的な修復操作をおって見ていきましょう!

 

まず前提として、ミラーリング、FTT2のポリシーが適用された仮想マシンのVMDKです。

正常な状態の場合、下のように異なる5ホストにデータ本体が3つ、ウィットネスが2つ分散されます。

f:id:vmwarekkHCI:20180131034535p:plain

 

いわゆる二重障害、2つのホストが同時にアクセスできない状態になりました。

この場合、データとしては3番目のホストにレプリカがあり、仮想マシンとしては継続稼働しています。

f:id:vmwarekkHCI:20180131032854p:plain

 

従来、特にコンポーネントの種類により優先度等がありませんでしたが、データの復旧が優先されるようになりました。 

ウィットネスはあくまでメタデータ、データに対してアクセスできるかを判断するための投票権となるので、仮想マシンのデータではありません。

できるだけデータ部分をは早く復旧するようにします。

f:id:vmwarekkHCI:20180131032928p:plain

 

ここでは5つのコンポーネント、データ3つ、ウィットネス2つのコンポーネントを配置するための正常なホストがクラスタにあり、すべてのコンポーネントが復旧され、ポリシーに準拠しすべての復旧が完了します。

f:id:vmwarekkHCI:20180131033001p:plain

 

まとめ

コンプライアンスに非準拠(許容される障害数で指定したコンポーネント数を満たせていない)場合、正常な状態にするため、できるだけ多くのコンポーネントの再同期を行います。
そのほかのコンポーネントは十分なリソースがあれば再同期が実施されます
ストレッチクラスタではこの方法での再同期は行われません。

 

ほぼ意識しない、見えない部分でのエンハンスメントですがデータの復旧がきちんと優先されるように、内部的なプロセスも最適化が行われています。

この1年を振り返って。

1年前の今日、このブログに初めて投稿したようです。

たまに出張のことを書いたりもしていますが、ほぼvSAN 一色。

こんなにも長い期間、(そこそこ)真面目に続けられるとは正直思っていませんでした!

 

f:id:vmwarekkHCI:20180125132513p:plain

 

初めの3ヶ月はひたすら壁打ち。

  • 書くのにも慣れていないから時間がかかる (自分のスキルの問題)
  • プレビュー数も多いのか少ないのかもわからない (効果測定ができていない)
  • 反応がない (広めていないので当然の結果)

そんな時もありましたが、今はネタさえ決まれば細切れにしてシリーズ物にするワザを身につけたり、あまり書き直したりもせず作っていけるようになってきたかなぁと。

みなさまにvSAN の最新情報他、お届けできるよう引き続きがんばります!

 

最近はFacebookからではなく、Google検索でトップページにアクセスいただいている方が多いです。

ぜひリピーターとなって、ひと月に一回、二回と継続的に遊びにきてくださーい!

 

双方向な活動ができていないのですが、こういう内容をぜひ書いてほしい!というようなエンドユーザ様、パートナー様、リクエストをこっそりと受付中です。

 

 

フライ(揚げ物)食べる日として定着してきているような気がしますが、プレミアムなフライデーをお過ごしください!

 

モンハンワールドは筐体がないので見送りです。

デモでわかる、資料ダウンロード開始!

雪、たくさん降りましたねー!

私は予定通りのお客様訪問から直帰したのですが、ホームからあふれる人が律儀に階段に列を作っていたり、電車だって安全確認で止まったり、いつもよりは少し時間がかかりました。

雪だるまを作れなかったので、次回雪が降るなら土日に重なってくれないかなぁと期待しています。

f:id:vmwarekkHCI:20170823203518p:plain

 

vmware-juku.jp

11−12月にかけて全国で実施したセミナーの資料がダウンロードできるようになっています!

vSAN の基礎と最新6.6の情報、そして実機のデモを詰め込んでいます。

PDFにすると動画がどうなるんだろう...

気になるのでぜひダウンロードして、教えていただけると嬉しいです。

VMware HCI - Lenovoさん編

まだご紹介していなかったVMware HCI がありました...!

発表からかなり出遅れましたが、LenovoさんのVMware HCI です。

 

f:id:vmwarekkHCI:20180119150335p:plain

 

ハードウェアベンダーさんから出されるアプライアンスの場合、ReadyNodesと何が違うの?思われることが多いかもしれません。

が、アプライアンス型にすると嬉しいことが一目でわかりますね!

f:id:vmwarekkHCI:20180119145805p:plain

管理ソフトウェアはXClarity、ハードの特有のツールとしてシステム全体管理が可能です。

サポートではハードもソフトもおまとめ窓口、迷わずまず!電話ができます!

 

独り言:他のベンダーさんのVMware HCIもこの観点でまとめたいですね...

 

 

 

 詳しくは小宮さんが熱い思いを込めて書いているこちらの記事をご覧ください!

ThinkAgile VXのご紹介 - LTN Blog 〜 Lenovo Technology Network 〜

 

 

HCI環境で vCenter + の運用管理を!

お休みが長かったので社会復帰のペースがまだ戻っておりません。。

毎日毎日電車が遅延するのもそのペースが戻らない原因の一つだと思っています。

個人的な嬉しいこととして通勤で使っている路線が、3月中旬、複々線化が完了します!

きっとその効果を体感してほしいということで、無理やり遅延を起こしているんだと言い聞かせて毎日通勤です。

 

 

VMware 環境、そしてハイブリッドクラウドの運用管理も可能なクラウドプラットフォームといえばvRealize。 

そんなvRealizeの中からOperations(可視化/分析/予測)とLog Insight(リアルタイムログ管理/解析)とvSAN の組み合わせるホワイトペーパーがリリースされました!

vRealize Operations and Log Insight in vSAN Environments

 

このブログでは全く触れていなかったので、後日ご紹介しますねー!

f:id:vmwarekkHCI:20180116192528p:plain

お客様事例:株式会社日本キャンパック様

事例のご紹介です。

すでに10月11月のvFORUMで紙やPDFでの配布は行なっていましたが、Web掲載が開始されました!

 

vSAN だけでなくさまざまなVMware製品やソリューションのお客様の事例リンクは下記にまとまっています。

PDFがダウンロードできるのはこちらです。

お客様の成功事例

 

こちらはIT価値創造塾というマイクロサイトです。

両方に掲載させていただいています。

vmware-juku.jp

 

 

 

vSAN ストレッチクラスタという点では世界初となる公開事例かもしれません。

vSAN のSite Redundancy の機能としてストレッチクラスタがあります。

異なるサイトにあるホストからひとつのクラスタを構成する一般的にはメトロクラスタと呼ばれるものです。

vMotion により仮想マシンが自由に行ったり来たりすることはもちろん、同一クラスタでの機能といえば自動的に仮想マシンが再起動するHAも、サイト間をまたいだクラスタで実現可能となります。

 

メトロクラスタを構成する場合、メトロクラスタを構成可能なストレージが必要です。

メトロクラスタ vmware

と検索すると、このようなKBが出て来ます。

EMC VPLEX を使用して VMware vSphere Metro Storage Cluster (vMSC) を実装する (2077195)

Hitachi Storage Cluster を使用した VMware vSphere への vSphere Metro Storage Cluster の実装について (2075209)

HP 3PAR Peer Persistence を使用して vSphere Metro Storage Cluster (vMSC) を実装する (2110883)

 

メトロクラスタを実現するための要件をクリアしているストレージではやはりミッドレンジ-ハイエンドのストレージと言うこともわかります。

 

正確にはメトロクラスタとvSAN ストレッチクラスタは異なりますが、異なるサイトのホストを同一クラスタとし、クラスタとしての機能を活かすということは変わりません。

vSAN を使用する場合、サイトを意識することなく共有データストア = vSAN データストアを手に入れることができますが、もちろんこのストレッチクラスタも同様です。

 

vSAN のストレッチクラスタ機能により、アクティブ-アクティブのデータセンターを実現したお客様の事例、ぜひご覧ください。

新年のご挨拶

遅くなりましたが。

あけましておめでとうございます!

今年、2018年は、もっともっとVMware HCI 年度にしていきたいので、みなさま引き続きよろしくお願いします。

 

 

USでDuncanやCormacが著者のvSAN の徹底入門的な書籍が出ていました。

初版もそうなのですが、ユーザガイドやホワイトペーパーよりもアーキテクチャがとても詳しく書かれています。

しかし、定価は50ドル、vSANだけにしてはそこそこ高いです。

a.co

 

その書籍が、少し前にDuncan Eppingからのプレゼントとして無料公開されています!!

f:id:vmwarekkHCI:20180109095457p:plain

Introduction to the book - vSAN Essentials 6.2

 

現在新しいバージョンでの本を書いているということなのでそれも楽しみにしつつ。 

 

(もちろん50$ぐらいするでしょう…