進化するデータセンターのハードウェアや物理設計【特集】

データセンターのハードウェア設計は、今ではかなり標準化が進んだと考えていませんか?

例えばサーバーは、データセンターが存在する前から 19インチラック に設置されています。室内の空気を冷却する技術は高水準なレベルで開発されており、配電も非常に成熟した技術であり、過去数年間を振り返るといくらか増加分の機能拡張のみが行われているように見えます。

【豆知識】1ユニット(U)サイズが44.50mm(1.752in)となり、19インチラックの仕様が現在の形になったのは1992年のEIAによる標準改定によりますが、19インチラック形式は実に遡ること1922年頃にAT&T社により既に標準として確立されていました。

これらを考慮すると、データセンターのハードウェア設計は標準化が進みつつあり、今後は微調整のみに留まるだろうと考える人も多いかもしれません。しかし、それは違います。ラック、冷却、および配電についての抜本的なアプローチは数多く存在します。長年にわたり継続されているものもあれば、突然発生したものもあります。

もちろんそれらすべてが将来牽引力を持つようになるとは限りませんが。では早速見てみましょう。

ラック革命

ラックを一般的に列に並べて配置している人がフランスのOVH社の クラウドデータセンター を訪問すると、ある種の混乱を覚えるでしょう。OVHはヨーロッパ地域での主要なクラウドプロバイダーとしてのポジションを目指しています。同社はVMwareと OpenStack ベースのplatform as a service( PaaSパブリッククラウド との組み合わせで、企業顧客向けのプライベートクラウドサービスを提供していますが、料金体系は業界の標準とは異なります。そもそもOVHのラックは、垂直ではなく水平配置されています。

フランスのルーベーの施設近くに小さな工場があり、そこでOVHは独自のラックフレームを製造しています。この「ホリラック」と呼ばれるラックは、通常の48Uラックとほぼ同等のサイズではあるが、構成は全く異なります。内部には、3つの小さな16Uラックが横並びで配置されます。この「ホリラック」に工場でサーバーを事前にマウントしてから、主にフランスのOVH施設に向けて出荷されますが、一部は世界の他の場所にも出荷されます。

OVHのチーフインダストリアルオフィサーのFrançois Stérin氏は、水平方式採用の理由は、製造の速さと流通の容易さであると言います。

ラックは、在庫を最小限に抑える”ジャストインタイム”のアプローチで、迅速に製造され、試験が行われます。3人のスタッフが並んで作業し、ハードウェアのロードとテストを行い、フォークリフト、トラック、トレーラー(または船)でラックを目的地のGravelines、Strasbourg、あるいはシンガポールに輸送されます。施設では、最大で3つのラックが積み重ねられ、従来のラックと同じ密度のサーバー実装スペースを提供します。

OVHはPaaSレベルでサービスを販売しているため、その情緒あるハードウェアへの情熱に興じることができます。コロケーションとして顧客のハードウェアを預かることはありません。また、建物自体との融通性を可能にする、冷却に対する新しいアプローチ(後述)を採用しています。

– OVH

このような変わったアプローチはOVHだけではありません。他にも新しいラックの構成方式を提案している多くの組織があります。最も有名な例としては、Facebookが始めたOpen Compute Project( OCP )やLinkedInが始めた Open19 などのオープンソース・ハードウェアグループなどです。

どちらも「バイヤーズクラブ」として機能し、ハードウェアのカスタムデザインを共有することで、複数の顧客がこれらのカスタマイズ品に対して大量注文のメリットを享受できるようにしています。これは、一般的にキットを簡素化し、最終製品において材料の無駄やエネルギーの無駄を削減することを目的としています。従来のラックやIT機器には、不要な電源機器からメーカーのブランドラベルまで、多くの無駄な材料が含まれています。

Open Compute Server – Wikimedia Commons

OCPは、ラックやその他ハードウェアを標準化されたOEMデザインとして開発し、それを一般に共有する目的で、2011年にFacebookによって立ち上げられました。グループの存在理由は、大規模なWebスケール企業が、サプライヤーに独自のカスタマイズ・ハードウェア設計を要求できることでした。この設計をより広く共有することにより、より小規模な企業も利益を享受することができるようになります。そしてそこから広くデザイン改善の提案も集めることができるようになります。

OCPの創設メンバーは皆、巨大なWebスケール企業に注力していますが、アイデアはコロケーション領域にまで拡大している兆候が見られます。コロケーションプロバイダは施設内のハードウェアを最終的に制御することができないため、OCPが想定する一枚岩のようなデータセンターアーキテクチャは提供できませんが、一部のテナント顧客はこのアイデアを採用しています。またOCPは、施設がOCPラックやOCPハードウェアの利用を歓迎し、サポートを可能とするよう「OCP対応」ガイドラインを発行しています。

OCPは、新たなラック設計を提案しました。これは、従来のラックと同じスペースに、より多くのハードウェアが詰め込まれるようになるデザインです。ラック内のスペースをより多く使用することにより、通常の19インチではなく21インチサイズの機器を使用できるようになります。また、44.5mmの通常のラックユニット(RU)と比較して、48mmの OpenU を備えたより深いキットの実装が可能です。

この設計では、ラックの背面にある バスバー を介して分配されるDC電源も使用します。このアプローチでは、データセンターがITキット内の複数の電源ユニットを廃止でき、Facebookなどの一枚岩型Webスケールユーザーに対し訴求できます。AC電源を分配し、個々のボックスでDCに整流する代わりに、それを1か所で行います。

Open Rackバージョン1では12V電源を採用し、バージョン2では48V電源も許可されました。これにより、分散型UPSシステムの一種として、ラック内のリチウムイオン電池オプションも追加されました。

その設計は一部のユーザーにとっては過激すぎた為、2016年にLinkedInはOpen19グループを立ち上げ、19インチのパラダイムを壊すことなく大衆向け市場の簡素化を提案しました。Open19ラックは、ハードウェアメーカーが提供する独自のブレードサーバーと同様、簡素化された配電システムと共にケージに分割されています。グループはまた、LinkedInが開発したネットワークスイッチの仕様を共有しました。

「私たちは21インチのオープンラックを見て、いや、これは19インチのラックに適合する必要があると言った。」と2016年のDCD webscaleイベントでOpen19を創設したYuval Bachar氏はコメントしていました。「 我々はPDU、電源、ラック本体などの一般的な要素のコストを50%削減したいと考えていました。そして実際には65%を達成できました。」

Open19の立ち上げと同時に、LinkedInはMicrosoftに買収されました。MicrosoftはOCPの主要な後援企業であり、AzureクラウドデータセンターでOCP標準機器のビッグユーザーでもありました。マイクロソフトは、ラック内リチウムイオンバッテリーなどのWebスケールテクノロジーをOCPに提供しており、ITキットにローカル電源継続性をもたらすことで既存のUPSを置き換える可能性があります。

LinkedInの買収完了後、OCPとOpen19は並行で継続され、OCPは巨大なデータセンターに対応し、Open19は、LinkedInのように独自のデータセンターを運営する企業向けの小規模施設での展開を目指しています。最近では、Open19はエッジに焦点を当てています。

– Open19

ただし、2019年7月に、LinkedInは独自のデータセンターを運用する必要はなくなり、すべての ワークロード を パブリッククラウド に移行することを発表しました。これは明らかに、親会社のMicrosoftが提供するAzureクラウドを使用すれば十分な理屈によるものでした。

また今年、LinkedInは「Open19の技術仕様はOCPに貢献する」と発表しました。OCPとOpen19の仕様は将来マージされる可能性があるようですが、しかしそれはまだ時期尚早です。仮にLinkedInでは不要になったとしても、同グループにはまだ25を超えるメンバーが残っています。

Webスケールの施設に対して、OCPはMicrosoftとFacebookに支援されたOCPラックv3を推進しています。AIと機械学習が要求する電力密度の増加がこれの推進理由になっているようです。

「コンポーネントレベルでは、さまざまなプロセッサとネットワークチップの電力密度が、近い将来空冷冷却能力を超えると見られる。」として、FacebookブログではOCPラック v3を発表しています。「システムレベルでは、AIハードウェアは継続的に高電力密度を加速させるでしょう。」

この新バージョンOCPラックは、ラック内の液体冷却剤を循環させるためのマニホールド、およびキャビネットドア用の熱交換器を標準化することを目的としており、完全に浸漬されたシステムのオプションが含まれています。詳細な仕様はまだ明確ではありませんが、OCPのRack and PowerプロジェクトとAdvanced Cooling Solutionsサブプロジェクトからそれは今後明らかになります。

液冷

過去数十年間、液体冷却は大きな可能性を示してきました。液体は、空気よりも熱を捉えて除去する能力ははるかに高いが、液体をラック内のハードウェアに利用することは、既存の慣行に対しては大きな変化を求めます。そのため、液体冷却は風変わりな技術の一例として残っています。しかし実際には余分なコストや頭を悩ます理由はありません。

ラックあたり20 kW未満の場合、空冷方式はコスト効率が高く、特にラック内に液体を持ち込む必要はありません。 一般の環境での電力密度はこの数値をはるかに下回っているため、ほとんどのデータセンターでは水冷無しでも簡単に構築ができます。ただし、液体冷却方式を前面に押し出す2つの可能性があります。

まず、GPUやAIなどの特殊なハードウェアが、電力密度を向上させつつあるという背景があります。

次に、液体冷却を実装した場合の利点があげられます。いったん実装されると、液体冷却は施設に多くの柔軟性をもたらします。空冷ラックの場合、ビル全体の壁や床まで、空調機やコンテイメントなどをシステムの一部として考えなければなりません。

一方、水冷ラックは、つなぎ目が必要なだけで、セメント床、カーペット敷きのスペース、または小さなキャビネット内など個別に設置が可能です。

液体は、IT機器に影響を与えるため、コロケーションスペースでの利用は難しいケースがあります。したがい、顧客が特に液体冷却を必要としない限り、通常は利用されません。ただし、プロバイダーがハードウェアを制御し、建物レベルのコンテイメントシステムが存在しないデータセンターでは、柔軟性の向上に役立ちます。

小規模のエッジ施設は、多くの場合、完全なデータセンターのリソースを持たないマイクロデータセンターです。あるいは、再利用された建物内に少しずつ追加しつつ構築されたりしています。液体冷却システムは、このような施設の要件には十分に適合することができます。

実は初期のメインフレームは水冷式でしたが、現代ではさまざまなメーカーから新しい液体冷却製品が登場してきています。

GRC社

液浸方式

Asperitas、Submer、GRCなどの一部のメーカーでは、ラックを不活性液体の浴槽に完全に浸す方式を取っています。冷却する為のエネルギーを必要としないメリットはありますが、ラックの設計は全く異なり、ハードウェアの変更をする場合、サーバーやスイッチを浴槽から持ち上げて、一旦排水する必要があるため、メンテナンス時の作業が複雑になります。例えば現在、シュナイダーエレクトリック社の支援を受けているIceotope社の場合、ラック内のトレイにコンポーネントを浸漬するシステムを持っています。

コールドプレート方式

他には、エネルギーを大量に消費するコンポーネントのヒートシンクに配管を通し、液体を直接循環させるコールドプレート方式があります。これは、元々はコンピューターをオーバークロックさせたかったゲーマーによって考えられ、専用マシンを開発したことが起源です。

例えばCoolIT Systems社は、ラック内のIT機器用の液体循環システムを開発しましたが、これは特にスーパーコンピューターなどを対象としたニッチ製品です。ラックを変更し、循環システムを導入する必要があります。循環システムは、冷水をラックに流入させ、温水を流出させます。

また、 米Aquila社は、2017年にClustered Systems社と共同で、標準のOpen Compute Project( OCP )ラックに組み込まれた水冷式スーパーコンピューティングシステムAquariusを提供しました。

Aquilla社 コールドプレート

フランス北部では、OVHが独自の液体冷却方式を前述したラックで採用しています。以前はタペストリー、清涼飲料水、医療用品を製造していた工場を再利用したデータセンターを構築しています。同社の液体冷却方式では、施設を一つのシェルとして扱うことができます。建物レベルの空調を備え、ラック内のOVHスタックを必要に応じて液体冷却システムに接続します。

Motivair社リアドア熱交換の仕組み ※OVHとは関係ありません

「当社のモデルは、既存の建物を購入し、当社の技術を使用できるように改造することです。」と、OVHの最高経営責任者 François Stérin氏はコメントしています。「これは、自主的な水冷システムを備えた弊社独自のラックを製造しているからこそ実現できています。また、ラックの背面に熱交換器ドア( リアドア冷却 )も採用しています。この構成は、ラックは建物に対してかなり独立していると言えます。」

柔軟性は市場の変化をもたらす、と Stérin氏は言います。「市場性を確かめるために、巨大な100MWのメガデータセンターを構築する必要はありません。1MWのデータセンターから始めて、市場がどのように機能するかを確認すれば良いのです。」

OVHはテクノロジーを前進させ、DCDに対し複数バージョンの将来コンセプトを示しました。OVHの技術者は、既存バージョンの冷却技術のメンテナンス手順を実演しました。

それはまるで手術室のように見えました。まず、冷却液を運ぶチューブを外科的にクランプで密閉し、次に パイプから取り外してからボードを取り外します。その後、ハードドライブがSSDに換装されました。

すでにこの設計は、 bayonet(銃剣型)ジョイントを使用する別の設計に取って代わっており、チューブを固定する必要なくボードを取り外すことができます。

ラックのリアドア熱交換器などでは、極端な液体冷却システムは利用できません。これは、空冷方式が有効な選択肢であるレベルでは効果的です。

OVHはこれと循環システムを組み合わせています。直接液体冷却( DLC )は、IT機器からの熱の70%を除去しますが、残りの30%も除去する必要があり、それをリアドア熱交換器によって除去しています。これは閉じたループ型システムであり、外部に排熱されます。

コンテイメントされたラック列を従来の冷却システムに接続し、セメント床に単独で配置される コンテナデータセンター は、今では非常に一般的です。Vertivなどのベンダーは、モジュール式のビルドを提供していますが、他のベンダーは独自の手法を提供しています。

興味深いベンダーの1つはGiga Data CentersのWindChillエンクロージャです。最近開設したノースカロライナ州ムーアズビルの施設ではシェル内に少しずつ機器の実装を進めていますが、1.15の PUE を達成していると主張しています。

ここでのアプローチは、ラックと共に空冷システムを構築し、大量の空気を引き込んで循環させています。

以上、様々な試みを紹介しましたが、誤った認識に惑わされないでください。しかしハードウェアの設計は常に変化しています。特にコロケーションデータセンターを構築する企業はこのような新しい設計思想を注視する必要があるでしょう。

Data Center Dynamics

原文はこちら