QFX5120事例 合同会社DMM.com様

17の領域で60以上の事業を運営するDMMグループ。「誰もが見たくなる未来」をコーポレートメッセージとして掲げ、規模の大小やジャンルに関係なく、未来を感じるビジネスに投資し、ありとあらゆる領域に参入して挑戦を続けている。DMMグループの中核として、サービス事業全体を統括する合同会社DMM.com（以下、DMM.com）では、新たに構築する動画配信のサーバーサイドネットワークの基盤を構成するデータセンタースイッチにジュニパーネットワークス（以下、ジュニパー）製品を選択。EVPN-VXLAN技術やBGP Unnumberedを含めた各種の機能を活用することで、現在、そして未来に向けたさまざまな導入効果を実現した。

組織横断的にネットワーク基盤を提供するネットワークグループ

幅広い事業を展開するDMMグループの中で、組織横断的に商用のネットワーク環境を提供するDMM.comのITインフラ本部インフラ部のネットワークグループ。
対象となる事業ごとに求められる基盤は異なり、要件に応じて、オンプレミス、クラウドそれぞれについて最適なネットワーク基盤を構築・提供している。

ネットワークグループの対応業務について、ITインフラ本部インフラ部ネットワークグループ マネージャの藤岡 宏樹氏は、「ネットワークを使用する事業に対して、個別要件のヒアリングから、要件定義、設計、検証、構築までを行い、その後の運用も含めた一連の作業について、私達のグループですべて一貫して対応しています」と話す。

このネットワークグループにおいて、2022年初頭、新たな動画配信のサーバーサイドネットワーク構築という案件が浮上した。

動画配信用サーバーサイドネットワークの新規構築にあたりEVPN-VXLAN 適用を検討

当時の状況について藤岡氏は、「EVPN-VXLAN については、過去に導入したネットワークにおいても採用例があり、その有用性について社内でも高く評価されていました。2022年、新たな動画配信のサーバーサイドネットワーク構築の案件が浮上し、事業部と要件を擦り合わせた結果、こちらについてもEVPN-VXLANを採用しようという話になりました」と回想する。

EVPN-VXLANは、L3ネットワーク上に、仮想的にL2ネットワークを構成するオーバーレイ技術のひとつ。
IPファブリック構成との併用により、データセンターネットワーク全体を高度に冗長化されたL2ネットワークとして構築することができる。
VLAN数の上限を回避できるほか、データセンター同士の接続においても同一のL2ネットワークとして構成することが可能なため、データセンター延伸などを含め多くのメリットを得ることができる。

ただし、選定するベンダー、そして製品については留意点があった。
藤岡氏は「既存で導入済のネットワーク製品と同一ベンダーにしてしまうと、脆弱性が露見した場合に、一気に全体をバージョンアップしなければならないような状況が発生するリスクが想定されます。これを回避するためにベンダー冗長性を考え、他のベンダー製品を検討することにしました」と話す。

ジュニパー製品に習熟した双日テックイノベーションの提案によりQFX5120を選定

EVPN-VXLANを利用できるベンダー、製品は複数存在するが、構築のスケジュールや学習コストなどを考えると、すでに利用経験のある製品を選択することが得策と考えられた。
ネットワークグループでは、かねてよりジュニパーネットワークスのQFXシリーズの利用経験があったため、同社製品をターゲットに選定。以前から仕事上での付き合いがあった双日テックイノベーションに提案を依頼した。

ITインフラ本部インフラ部ネットワークグループ チームリーダーの劉 仁建氏は、「今回EVPN-VXLANの要件に加え、冗長性や利便性の観点からBGP Unnumbered、マルチホーミングといった機能を要望として挙げさせていただきました。その結果、要件に当てはまる推奨製品として、双日テックイノベーションからQFX5120の提案をいただきました」と話す。

同グループの松野 泰士氏は当初の期待について、「QFX5120シリーズのEVPN-VXLAN技術によりデータセンター内やデータセンター間の通信がVLAN、特にL2で柔軟に実現できる点を期待しました。また、EVPN-VXLANを利用する際に、アンダーレイのL3ファブリック構成を決める必要がありますが、この構成にあたって、BGP Unnumberedを利用できる点も魅力的でした」と強調する。

双日テックイノベーションからの提案により、QFX5120が希望要件に合致していることを確認したネットワークグループでは、2022年3月、6月、9月、2023年4月の４回にわたる製品検証を実施。
この間に発生した課題や不明点を双日テックイノベーションとともに解決の上、2023年6月末、無事にサービスインを迎えた。

ネットワークシステム概要

QFX5120を使用した動画配信用サーバーサイドネットワークは、以下に示す構成となっている。

QFX5120シリーズは、低レイテンシーのレイヤ―2/レイヤー3機能や高度なEVPN-VXLAN機能を必要とするデータセンターへの導入を想定して設計されたデータセンタースイッチだ。

今回導入されたLeaf ー Spineの2階層モデルのIPファブリックネットワークでは、Leafスイッチ、Spineスイッチの双方にQFX5120（QFX5120-32CおよびQFX5120-48Y）を採用し、これらのスイッチ間を100G接続することにより広帯域を確保している。
また Leaf ー Spine間のルーティングプロトコルとしてBGPを採用し、その管理や拡張性の向上にはBGP Unnumberedが活用されている。

そして、このような構成のネットワーク上に、今回の狙いのひとつでもあったEVPN-VXLAN を構築することで、L2フラットなオーバーレイ環境を実現している。

導入効果：マルチホーミング、BGP Unnumbered による容易な設定、ダウンタイムの最小化、他社製品との相互接続、迅速なリーフスイッチ追加など多くのメリットを実感

サービスインからまだ1カ月あまりしか経過していない段階（2023年7月末日時点）ではあるものの、QFX5120 の導入効果はさまざまな面で発揮されつつある。

• マルチホーミングでのリンクアグリゲーションとBGP Unnumberedによる容易な設定

松野氏は、「マルチホーミングでリンクアグリゲーションを組みたいという希望があったので、これらが実現でき問題なく稼働している点は、期待通りの導入効果だったと思っています。また、BGP Unnumberedが利用できることによって、ファブリックのBGP設定が簡素化され、管理も容易になると考えています。ネットワークの効率的な管理にはBGP Unnumberedが必須であるため、今回導入できたことは大きなメリットだと感じています」と話す。

さらに、製品の設定のしやすさや操作性についても、「実際に触ってみると構成設定が非常に分かりやすく使いやすいと感じました」と感想を述べている。

• 1秒未満のダウンタイム実現による運用コストの削減

ダウンタイムの最小化という点においても優れた効果が現れている。
藤岡氏は「メンテナンスが発生した場合、従来の構成ではL2で接続している部分が多岐に渡っていたため、該当箇所のメンテナンス対応からサービスアウトさせるまでの作業負荷が高いものになっていました。今回、オーバーレイネットワークを構築し、マルチホーミングな状態にできたことにより、瞬断というレベルでの対応が可能となり、構成の切り替えや、問題発生時のサービスアウトが格段に容易になりました。1秒以上のダウンを受け付けないサービス事業について、以前は数ヶ月単位で調整を行っていましたが、今では1秒未満での切り替えが可能となり、アナウンスするだけで済むため、運用コストが大幅に削減できると考えています」と話す。

• 複数のサービスインターフェイスへの対応による他社製品との相互接続

劉氏は、製品に対する評価として「QFX5120の一番大きな特長と言えるのは、EVPN-VXLANの拡張性です。同製品は1つの筐体内において、VLAN Bundle、VLAN-Based、VLAN-Awareなど、複数のサービスインターフェースに対応することができます。今後、すぐ実施するかどうかは別として、他社製品との相互接続も可能になると考えています。このような拡張性については、他社製品より優れていると思います」と強調する。

• 迅速かつ容易なリーフスイッチの追加

さらに松野氏も、「EVPN-VXLAN環境を導入したことで、迅速かつ容易にリーフスイッチの追加が可能になったと考えています。今後の増設作業において、大幅な作業工数の削減ができるものと期待しています」と話す。

製品調達・提供力、検証支援など、双日テックイノベーションの貢献についても高く評価

双日テックイノベーションの貢献についても評価の声が上がっている。
劉氏は、「昨年、この動画配信基盤構築の話が出たタイミングは半導体不足で、世界的にスイッチ製品の納期が非常に長くなっていた時期でした。そのような中でも、双日テックイノベーションに相談した結果、真摯にメーカーと交渉いただき、大幅な納期短縮を実現できた点は非常に助かりました」と回想する。

さらに検証支援にも触れ、「検証中に、製品についていくつかの問題が見つかりましたが、原因の追求や新しいOSのリリースに関する情報提供など、私達とジュニパーネットワークス社の間で動いてもらい、短期間で問題を解消できるようサポートいただいた点についても、非常に感謝しています」と話す。

今後の展望： さらに2セットのEVPN-VXLAN環境を構築。データセンター間のL2延伸もより容易に

新たな動画配信のサーバーサイドネットワーク構築にあたり、QFX5120の導入によって各種の導入効果を実現したDMM.comのネットワークグループだが、すでにその目は未来に向けられている。

今後の展開について劉氏は、「今回はQFX5120を使って1セットのEVPN-VXLANを導入しましたが、今後（2023年の）8月と11月に、さらに2セットのEVPN-VXLANの環境を構築する予定となっています。今回導入した動画配信基盤が問題なく稼動している状況を受け、新たに同様のネットワーク環境を構築していくことにしました」と述べている。

松野氏は、今後におけるネットワーク延伸の容易さについて触れ、「別のデータセンターに対してもEVPN-VXLANを使った同様の構成を導入する検討を進めています。仮にデータセンター間のL2延伸が必要となった場合でも、今回検証済みの構成で導入が行われているため、問題なくL2延伸が実現できるようになると思います」と話す。
これを受け藤岡氏も「このような今後のデータセンターの拡張やデータセンター間の引っ越しといった状況の中で、どうしてもIPを移行したいというケースが発生すると思いますが、そのような場合にも、移行の容易さや柔軟性といった効果を期待できると考えています」と補足する。

DMMグループ内のさまざまなサービスに対してネットワーク基盤を提供することで、該当ビジネスをシステム面から支えるネットワークグループ。
同グループにとって、安定的なネットワーク稼動を担保し、将来的な拡張についても柔軟かつ容易に対応できるQFX5120は、今後も大きなメリットをもたらすものとなるだろう。