スパンドモード クラスタ（サイト間 VXLAN）

言語: English | 日本語

このリファレンスアーキテクチャでは、2 つのデータセンターにまたがる、スパンド インターフェイス モードの 4 ノード Cisco Secure Firewall 3140 クラスタについて説明します。各サイトには Nexus 9332 リーフが 2 台と、Multi-Site ボーダーゲートウェイとしても機能する Nexus 9332 スパインが 2 台あります。VXLAN EVPN により、ルーティングされたサイト間ファブリックを介して保護対象セグメントと outside セグメントを拡張します。ファイアウォールは保護対象サーバのゲートウェイとして機能し、セキュリティゾーン間でルーティングされるトラフィックを検査します。

このガイドでは、各デバイスの役割、VLAN と VNI のマッピング、OSPF および BGP の隣接関係、サイト間クラスタの設定について説明します。

1. アーキテクチャの概要

このアーキテクチャでは、2 つのサイトにまたがって Cisco Secure Firewall クラスタと Nexus VXLAN EVPN ファブリックを組み合わせています。ファイアウォールはセキュリティゾーン間のセキュリティ検査とルーティングを担い、スイッチは冗長接続を提供するとともに、必要なネットワークセグメントをサイト間で拡張します。

ファイアウォールクラスタ

Cisco Secure Firewall 3140 デバイス 4 台を各サイトに 2 台ずつ配置し、1 つの論理ファイアウォールクラスタとして動作させます。メンバーはセキュリティ設定とインターフェイスアドレスを共有し、処理能力の向上と冗長性を実現します。

1 台のメンバーがコントロールノードとして選出され、クラスタ設定と集中管理機能を調整します。他のメンバーはデータノードとして動作します。コントロールノードを含むすべてのメンバーがトラフィックを検査できます。各接続には、その処理と状態管理を担当する接続オーナーがあります。クラスタ制御リンク (CCL) はメンバー間を接続し、ヘルスモニタリング、状態の複製、メンバー間のパケット転送に使用されます。

リーフスイッチ

各サイトの 2 台のリーフスイッチは virtual Port Channel (vPC) ペアとして動作し、ファイアウォールと保護対象エッジスイッチに冗長接続を提供します。リーフには、ファイアウォールのデータインターフェイスと専用 CCL インターフェイスの両方を接続します。

リーフは VXLAN トンネルエンドポイント (VTEP) としても動作し、ローカル VLAN を VXLAN セグメントにマッピングします。保護対象サーバの VLAN はリーフ上ではレイヤ 2 として扱われ、そのゲートウェイはファイアウォールクラスタに配置されます。ファイアウォールの outside ネットワークに対しては、リーフが VLAN 30 のルーティングインターフェイスと、共有 HSRP ネクストホップアドレスを提供します。

スパインスイッチとボーダーゲートウェイ

各リーフはローカルの両方のスパインに接続し、ファブリック接続を冗長化します。スパインは IP アンダーレイに参加し、EVPN ルートリフレクタとして動作して、スイッチ間でオーバーレイの到達可能性情報を配布します。

このアーキテクチャでは、スパインは Multi-Site ボーダーゲートウェイ (BGW) としても動作し、ルーティングされたデータセンター相互接続を介して 2 つの VXLAN ファブリックを接続します。各サイトの BGW ペアは、サイト間 VXLAN 接続用の Multi-Site VIP を共有します。スパインは、非保護エッジスイッチへのルーティング接続も提供します。

保護対象エッジスイッチ

サイト 1 の Edge-3 とサイト 2 の Edge-4 は、保護対象サーバを各サイトのローカルリーフペアに接続します。これらはレイヤ 2 の VLAN 接続を提供し、ファイアウォールクラスタが保護対象サーバのデフォルトゲートウェイとセキュリティポリシーの適用を担います。

非保護エッジスイッチ

Edge-1 は両サイトで共用され、ルーティングリンクを介して 4 台すべてのスパイン/BGW に接続します。非保護クライアントネットワークのゲートウェイとして機能し、そのネットワークとファブリックを接続します。

これらのコンポーネントが、セキュリティポリシーの適用、サーバ接続、ファブリック接続、サイト間拡張をそれぞれ分担します。

各サイトには、ローカルの vPC リーフペア、2 台のスパイン/BGW、2 台のファイアウォールメンバーがあります。vPC ペアは、接続デバイスに冗長スイッチ接続を提供します。ファイアウォールのスプリットスパンド データ EtherChannel は、各サイトのスイッチ側でローカル LACP バンドルを使用します。LACP は、物理メンバーリンクを 1 つの論理ポートチャネルにまとめます。

1.1. コンポーネントと役割

1.2. アンダーレイとオーバーレイ

アンダーレイは、VXLAN でカプセル化されたトラフィックを転送する IP ネットワークです。OSPF は各サイト内の到達可能性を提供し、IPv4 BGP はサイト間のデータセンター相互接続 (DCI) を介してトランスポートルートを交換します。

オーバーレイは、この IP ネットワーク上で運ばれる論理イーサネットセグメントとルーティングコンテキストで構成されます。VXLAN は、イーサネットフレームを UDP/IP パケット内にカプセル化します。VXLAN トンネルエンドポイント (VTEP) はこのカプセル化を追加または削除し、VXLAN ネットワーク識別子 (VNI) はブリッジセグメントまたはルーティングコンテキストを識別します。スイッチの nve1 インターフェイスは、この VXLAN トンネル機能を表します。

VXLAN EVPN は、相互に補完する 2 つの機能を組み合わせています。VXLAN は実際のトラフィックを運び、Ethernet VPN (EVPN) はその転送に使用する到達可能性情報を配布します。EVPN は BGP を使用して、参加スイッチ間で MAC アドレス、IP アドレス、ネットワークプレフィックスをアドバタイズします。これらのアドバタイズにより、宛先への到達可能性を提供するトンネルエンドポイントまたはボーダーゲートウェイが各スイッチに通知されます。VXLAN と EVPN を組み合わせることで、IP ファブリック全体に論理ネットワークを拡張できます。EVPN がコントロールプレーン、VXLAN がデータプレーンを担います。

このラボでは、スパインはボーダーゲートウェイ (BGW) と WAN 接続の機能も提供します。より大規模な設計では、WAN と DCI の接続に専用のボーダーリーフおよび BGW スイッチを使用し、ローカルスパインがファブリックの中継と EVPN ルートリフレクションを担う構成も可能です。

2. セグメントと VNI の対応

VLAN はローカルのイーサネットセグメントを識別します。レイヤ 2 VNI は、そのセグメントを VXLAN 経由で運びます。レイヤ 3 VNI は VRF ルーティングコンテキストを識別します。VRF は独立したルーティングテーブルです。以下の対応表により、サーバゲートウェイ、中継ゲートウェイ、VXLAN トランスポートアドレスを混同せずに各セグメントを追跡できます。

設定に VLAN、VRF、VNI が存在することは、そのオブジェクトが設定されていることを示します。実際のトラフィックパスにおける役割は、インターフェイス、ルーティング、動作状況を示す情報からも読み取る必要があります。VLAN 10 と VLAN 20 には、リーフ上のサーバゲートウェイ SVI がありません。VLAN 2001 の ip forward SVI は、ホストのデフォルトゲートウェイではなく L3 VNI 機能を支えます。

3. ファイアウォールクラスタとサイト間接続の要件

FW-1 と FW-2 はサイト ID 1、FW-3 と FW-4 はサイト ID 2 を使用します。コントロールノードは選出される役割であり、トポロジ上の特定デバイスに恒久的に固定されるものではありません。

3.1. サイト ID と冗長性

FW-1# show run
cluster group 3140-Cluster
 site-redundancy
 director-localization

注: このドキュメントに掲載する設定例は、設定の抜粋です。

ディレクタのローカライズにより、対象となるフローでは、接続オーナーと同じサイトにディレクタとバックアップの役割を配置できます。(NAT/PAT 接続、SCTP 検査対象トラフィック、フラグメントオーナーへの問い合わせは例外です。) ディレクタがセッション情報を保持するため、セッションの所有権に関する問い合わせはサイトをまたぐ必要がなく、ローカルで処理できます。サイト冗長性は、既存のバックアップがオーナーと同じサイトにある場合に別サイトのバックアップを提供するため、サイト障害が発生してもセッション情報は失われません。どのファイアウォールがトラフィックを受信するかは、周辺ネットワークのルーティングと負荷分散によって決まります。一部の接続では、引き続きサイト間転送やグローバルディレクタへの問い合わせが必要になる場合があります。

3.2. グローバルおよびサイト固有の MAC/IP アドレス

ファイアウォールのグローバルインターフェイス IP は、そのインターフェイスに到達するためのアドレスとして引き続き使用されます。VLAN 10 と VLAN 20 では、これがサーバゲートウェイです。クラスタはさらに、サイト固有の ARP 動作と送信時のレイヤ 2 識別情報のために、サイトごと、インターフェイスごとに 1 組のサイト固有 MAC/IP ペアを使用します。これらの設定によって、転送するサーバトラフィックの送信元 IP が自動的に書き換えられることはありません。

グローバルアドレス: トラフィックがファイアウォールに到達する仕組み

ファイアウォールの各データインターフェイスには、クラスタで共有するグローバル IP アドレスがあります。たとえば、VLAN 10 のサーバは、所属サイトにかかわらず 10.10.0.1 をデフォルトゲートウェイとして使用します。

インターフェイスにはグローバル MAC アドレスもあります。サーバが ARP を使用してゲートウェイの MAC アドレスを問い合わせると、ファイアウォールはこのグローバル MAC を返します。サーバは、その MAC をファイアウォール宛てイーサネットフレームの宛先に使用します。

このラボでは、VLAN 10、20、30 のグローバル MAC は cced.4dd4.5000 です。同じ MAC を使用していても、VLAN によって各インターフェイスは区別されます。

FW-1# show run
interface Port-channel10.10
 mac-address cced.4dd4.5000
interface Port-channel10.20
 mac-address cced.4dd4.5000
interface Port-channel10.30
 mac-address cced.4dd4.5000

サイト固有アドレス: ファイアウォールがトラフィックを送信する仕組み

各インターフェイスには、各サイトに対応するサイト固有の MAC/IP ペアもあります。メンバーは設定されたサイト ID に対応するペアを使用します。これらはサイトごとの識別情報であり、ファイアウォールメンバーごとに個別の識別情報を設定するものではありません。

送信イーサネットフレームは、サイト固有の送信元 MAC を使用します。これによりスイッチはサイトごとに異なる MAC を学習でき、同じ MAC が異なるローカル接続やリモート接続から繰り返し現れる MAC フラッピングの防止に役立ちます。

ファイアウォールが直接接続された宛先またはネクストホップを解決するために ARP を実行する際は、サイト固有 IP をサイト固有 MAC と組み合わせて使用します。

FW-1# show run
interface Port-channel10.10
 mac-address cced.4dd4.1011 site-id 1 site-ip 10.10.0.5
 mac-address cced.4dd4.1012 site-id 2 site-ip 10.10.0.6
interface Port-channel10.20
 mac-address cced.4dd4.2011 site-id 1 site-ip 10.20.0.5
 mac-address cced.4dd4.2012 site-id 2 site-ip 10.20.0.6
interface Port-channel10.30
 mac-address cced.4dd4.3011 site-id 1 site-ip 10.30.0.5
 mac-address cced.4dd4.3012 site-id 2 site-ip 10.30.0.6

サーバは引き続きグローバルゲートウェイ IP を使用します。.5 と .6 のアドレスがサーバのゲートウェイに置き換わったり、転送されるサーバパケットの送信元 IP を自動的に置き換えたりすることはありません。

例: サイト 1 のサーバが outside にトラフィックを送信する場合

この例では、サイト 1 の VLAN 10 にある IP アドレス 10.10.1.10 のサーバが、外部の宛先 203.0.113.10 にアクセスする流れを説明します。これらのホストアドレスは説明用の例です。ARP エントリはまだ学習されておらず、NAT は適用されないものとします。

1. サーバがゲートウェイの MAC アドレスを解決する

   サーバは「10.10.0.1 を持っているのは誰ですか」という ARP 要求をブロードキャストします。ファイアウォールは、グローバルゲートウェイのマッピングを返します。

   Text

   Gateway IP:   10.10.0.1
   Gateway MAC:  cced.4dd4.5000

   サーバはこのマッピングを ARP テーブルに保存します。引き続きグローバル IP をゲートウェイとして使用します。

2. サーバがデータパケットをファイアウォールに送信する

   サーバは、ファイアウォールのグローバル MAC を宛先とするイーサネットフレーム内に IP パケットを格納します。

   Text

   Ethernet source MAC:       Server MAC
   Ethernet destination MAC:  cced.4dd4.5000
   IP source:                10.10.1.10
   IP destination:           203.0.113.10

   宛先 MAC はフレームをファイアウォールに届け、宛先 IP は外部ホストを識別します。ローカルのファイアウォールはパケットを受信して検査し、VLAN 30 の outside インターフェイスとネクストホップ 10.30.0.2 を選択します。

3. ファイアウォールが outside のネクストホップの MAC アドレスを解決する

   ファイアウォールは、サイト 1 の outside MAC/IP ペアを使用して VLAN 30 上で ARP 要求をブロードキャストします。

   Text

   ARP sender IP:   10.30.0.5
   ARP sender MAC:  cced.4dd4.3011
   ARP target IP:   10.30.0.2

   つまり、「10.30.0.2 を持っているのは誰ですか。10.30.0.5 に知らせてください」という要求です。

   ネクストホップは自身の MAC アドレスを返します。ここで 10.30.0.5 は ARP 交換においてファイアウォールを識別するものであり、サーバの送信元 IP を置き換えるものではありません。

4. ファイアウォールがデータパケットを転送する

   ファイアウォールは、サイト固有の送信元 MAC と、解決したネクストホップ MAC を使用して新しいイーサネットフレームを作成します。

   Text

   Ethernet source MAC:       cced.4dd4.3011
   Ethernet destination MAC:  Next-hop MAC
   IP source:                10.10.1.10
   IP destination:           203.0.113.10

   ファイアウォールがパケットをルーティングすると、イーサネットアドレスが変わります。この例では、サーバの送信元 IP と外部の宛先 IP は変わりません。

グローバル MAC により、トラフィックはクラスタに到達できます。サイト固有 MAC は、送信フレームを送り出すサイトを識別します。この MAC と併せてサイト固有 IP を設定することが推奨されます。これにより、各サイトの ARP 要求に、共有グローバルゲートウェイの識別情報とは別の固有 IP–MAC ペアを使用できるためです。

3.3. グローバルファイアウォール MAC の EVPN フィルタリング

BGW は、グローバルファイアウォール MAC を含むリモート EVPN アドバタイズをフィルタリングし、各サイトがローカルのファイアウォールゲートウェイ接続を維持できるようにします。ファイアウォールクラスタは両サイトで同じグローバル MAC アドレス (cced.4dd4.5000) を使用します。フィルタリングを行わないと、EVPN がこの MAC をサイト間でアドバタイズし、ファイアウォールへのリモートパスを提供する可能性があります。その結果、ローカルのファイアウォールメンバーが利用可能でも、サイト間リンクを経由してトラフィックが送られる場合があります。ゲートウェイへのアクセスをローカルに維持するため、スパイン/BGW はローカルの到達可能性を保持しつつ、リモートサイトのネイバーから受信したグローバル MAC の EVPN ルートを拒否します。サイト固有 MAC のルートは引き続き許可し、各サイトのファイアウォールの送信時識別情報を個別に学習できるようにします。

spine1# show run
mac-list Global-mac-filter seq 15 permit cced.4dd4.5000 ffff.ffff.ffff
route-map Global-mac-filter deny 10
  match mac-list Global-mac-filter
route-map Global-mac-filter permit 20
router bgp 6500
  neighbor 10.12.0.1
    address-family l2vpn evpn
      route-map Global-mac-filter in
  neighbor 10.12.0.3
    address-family l2vpn evpn
      route-map Global-mac-filter in

このポリシーは、すべての BGW でリモートサイトの EVPN ネイバーに適用します。Spine-1 と Spine-2 のリモートピアは 10.12.0.1 と 10.12.0.3、Spine-3 と Spine-4 のリモートピアは 10.2.0.1 と 10.2.0.3 です。サイト固有のファイアウォール MAC アドバタイズは引き続き許可されます。

3.4. outside VLAN での HSRP のローカライズ

HSRP は、各サイトの 2 台のリーフで共有する仮想ネクストホップ IP を提供します。4 台すべてのリーフが VLAN 30 上で VIP 10.30.0.2 を使用し、サイトごとにローカルのアクティブ/スタンバイペアを構成します。BGW は拡張 VLAN 上の HSRP Hello をフィルタリングし、両サイトの 4 台のリーフが 1 つの HSRP 選出グループを形成しないようにします。

spine1# show run
ip access-list hsrp-hello-filter
  10 permit udp any 224.0.0.2/32 eq 1985
  20 permit udp any 224.0.0.102/32 eq 1985
ip access-list permit-all
  10 permit ip any any
vlan access-map hsrp-hello-filter 10
  match ip address hsrp-hello-filter
  action drop
vlan access-map hsrp-hello-filter 20
  match ip address permit-all
  action forward
vlan filter hsrp-hello-filter vlan-list 30

ACL の permit エントリは、照合対象のパケットを指定します。実際のフィルタリングは access-map の action drop が実行します。このパケットフィルタは、EVPN のグローバル MAC ルートフィルタとは別のものです。

3.5. ポートチャネルの対称ハッシュ

leaf1# show run
port-channel load-balance src-dst ip-l4port symmetric

対称ハッシュは、送信元と宛先の IP アドレスおよびトランスポートポートを双方向で一貫して使用します。これにより、ファイアウォールメンバー間の不要な転送を減らすことができます。同じセッションに属するすべてのパケットは、同じファイアウォールに送信されます。ただし、ECMP ルーティング、接続の所有権、障害によって、パケットが別のメンバーやサイトに到達する場合があります。

3.6. CCL の MTU

CCL は、転送する完全なデータパケットに加えて、100 バイトのクラスタオーバーヘッドを収容できる必要があります。VXLAN トランスポートにはさらに余裕が必要で、一般的に 54 バイトを見込みます。クラスタと VXLAN を合わせたオーバーヘッドは約 154 バイトです。したがって、CCL の MTU は 9000+154=9154 バイトとなります。

FW-1#show run
mtu inside_10 9000
mtu inside_20 9000
mtu outside 9000
mtu cluster 9154

4. OSPF 隣接関係

OSPF は、ローカルファブリックのアンダーレイ、VLAN 30 上のファイアウォールに面したルーティング、共用の非保護エッジから BGW へのルーティング接続に使用します。UNDERLAY プロセスは各ファブリックサイト内に限定されます。ファイアウォールに面する VLAN 30 はサイト間で拡張され、Edge-1 は両サイトへの物理ルーティングリンクを持ちます。

4.1. リーフとスパインのアンダーレイ

各リーフは、ルーティングインターフェイスを介してローカルの 2 台のスパインと OSPF 隣接関係を形成します。また、ピアリンク上の VLAN 3600 SVI を使用して、ローカル vPC ピアとも隣接関係を形成します。SVI は VLAN のルーティングインターフェイスです。VLAN 3600 は、ローカルリーフピア間の IP 接続を提供するものであり、サーバゲートウェイやサイト間に拡張されるセグメントではありません。

leaf1# show ip ospf neighbors
OSPF Process ID UNDERLAY VRF default
Total number of neighbors: 3
Neighbor ID     State       Address       Interface
10.2.0.2        FULL/ -     10.4.0.2      Vlan3600
10.2.0.1        FULL/ -     10.4.0.14     Eth1/3
10.2.0.3        FULL/ -     10.4.0.18     Eth1/4

leaf3# show ip ospf neighbors
10.12.0.2       FULL/ -     10.14.0.2     Vlan3600
10.12.0.3       FULL/ -     10.14.0.14    Eth1/3
10.12.0.1       FULL/ -     10.14.0.10    Eth1/4

3 つの FULL エントリは、ローカルの 2 台のスパインとローカルのピアリーフを示します。サイト 1 では、Leaf-1 のルータ ID は 10.2.0.4、Leaf-2 は 10.2.0.2 です。サイト 2 のリーフルータ ID は 10.12.0.4 と 10.12.0.2 です。ルータ ID は OSPF を実行するルータを識別し、Address 列はその隣接関係で使用するインターフェイスのアドレスを示します。

4.2. ファイアウォールとリーフのネイバー

スパンド インターフェイス モードでは、コントロールノードがクラスタのダイナミックルーティングに参加します。論理 outside インターフェイスは、4 台のリーフの VLAN 30 SVI と OSPF 隣接関係を形成します。サーバ側の VLAN 10 と VLAN 20 のインターフェイスは、それぞれのネットワークをアドバタイズします。このラボでは、保護対象エッジとの OSPF ネイバー関係はありません。

FW-2#cluster exec show ospf neighbor
Neighbor ID  State          Address       Interface
1.1.1.1      FULL/DROTHER   10.30.0.254   outside
1.1.1.2      FULL/DROTHER   10.30.0.253   outside
2.2.2.1      FULL/DROTHER   10.30.0.251   outside
2.2.2.2      FULL/BDR       10.30.0.252   outside
FW-2#router ospf 1
 network 10.10.0.1 255.255.255.255 area 0
 network 10.20.0.1 255.255.255.255 area 0
 network 10.30.0.1 255.255.255.255 area 0
 log-adj-changes
route outside 0.0.0.0 0.0.0.0 10.30.0.2 1

デフォルトルートは、outside の HSRP ネクストホップを使用します。inside の network ステートメントにより、OSPF は直接接続された保護対象プレフィックスをアドバタイズできます。ファイアウォールは network 10.10.0.1 255.255.255.255 area 0 と network 10.20.0.1 255.255.255.255 area 0 を使用して保護対象インターフェイスを OSPF に含め、その直接接続ネットワークをエリア内ルートとして VLAN 30 経由でリーフにアドバタイズします。これにより、意図したネットワークのアドバタイズを実現します。保護対象スイッチはレイヤ 2 のみで動作するため、VLAN 10 と VLAN 20 では OSPF 隣接関係が形成されません。ただし、これらのコマンドは OSPF Hello を抑制せず、インターフェイスをパッシブにも設定しません。OSPFv3 では passive-interface を使用することで、アクティブな OSPF インターフェイスから保護対象プレフィックスを引き続きアドバタイズしながら、Hello を明示的に抑制できます。

4.3. 非保護エッジと BGW のネイバー

Edge1# show ip ospf neighbors
OSPF Process ID 1 VRF default
Total number of neighbors: 4
Neighbor ID   State       Address       Interface
10.33.0.1     FULL/ -     10.33.0.1     Eth1/49.2
10.33.0.9     FULL/ -      10.33.0.9     Eth1/50.2
10.34.0.1     FULL/ -     10.34.0.1     Eth1/51.2
10.34.0.9     FULL/ -     10.34.0.9     Eth1/52.2

Edge-1 には、Spine-1 (10.33.0.1)、Spine-2 (10.33.0.9)、Spine-3 (10.34.0.1)、Spine-4 (10.34.0.9) の 4 つの FULL ネイバーがあります。Ethernet1/49.2 から Ethernet1/52.2 は、dot1q タグ 2 を使用するルーティングサブインターフェイスです。このタグによって保護対象サーバ VLAN が拡張されるわけではありません。

5. BGP 隣接関係と VXLAN 転送

BGP は、IPv4 トランスポートルートと EVPN オーバーレイルートを運びます。IPv4 トランスポートルートにより、リモート BGW のループバックとトンネルアドレスに到達できます。EVPN は、オーバーレイ経由で運ばれる MAC、IP、プレフィックスの宛先を識別します。これらは別々のアドレスファミリおよびネイバー関係です。

5.1. 各サイト内の BGP

リーフは Loopback0 を使用して、ローカルの両方のスパインとの iBGP EVPN セッションを確立します。スパインはルートリフレクタとして動作し、リーフ間で EVPN ルートを中継します。スパイン同士でも EVPN ルートを交換します。OSPF アンダーレイが提供する到達可能性により、これらのループバックを使用するセッションを確立できます。

ローカルスパイン間の直接ルーティングリンク上には、別の IPv4 iBGP セッションもあります。Spine-1 と Spine-2 では、Ethernet1/1 の 10.4.0.5 と 10.4.0.6 を使用します。サイト 2 では、対応するローカルスパインリンクの 10.14.0.5 と 10.14.0.6 を使用します。

5.2. サイト間の BGP

4 本の /30 DCI リンクにより、サイト 1 の各 BGW をサイト 2 の両方の BGW に接続します。これらの直接接続リンク上の IPv4 eBGP は、AS 6500 と AS 6501 間でトランスポートの到達可能性を交換します。別の EVPN eBGP セッションは、リモート BGW 間の Loopback0 アドレスを使用し、利用可能なルーティング IP トランスポート上で動作します。

既存の図 6 の凡例では、青いリンクすべてを iBGP、紫のリンクすべてを eBGP とする誤った表記になっています。どちらの色にも、ローカル iBGP とサイト間 eBGP の関係が含まれます。プロトコルとアドレスファミリは、ピアが同じ AS に属するかどうかとは別の概念です。

EVPN BGP の確認

spine1# show bgp l2vpn evpn summary
BGP router identifier 10.2.0.1, local AS number 6500
Neighbor        AS    Up/Down    State/PfxRcd
10.2.0.2        6500  09:46:57   15
10.2.0.3        6500  09:48:35    6
10.2.0.4        6500  09:46:46   15
10.12.0.1       6501  09:48:34   19
10.12.0.3       6501  09:48:34   19

spine3# show bgp l2vpn evpn summary
BGP router identifier 10.12.0.3, local AS number 6501
Neighbor        AS    Up/Down    State/PfxRcd
10.2.0.1        6500  10:24:31   20
10.2.0.3        6500  15:22:41   20
10.12.0.1       6501  1w5d        6
10.12.0.2       6501  1w5d       14
10.12.0.4       6501  1w5d       14

State/PfxRcd に数値が表示されている場合、セッションが確立されており、その数値は受信プレフィックス数を示します。Spine-1 には、Leaf-2 10.2.0.2、Spine-2 10.2.0.3、Leaf-1 10.2.0.4 の 3 つのローカルピアと、Spine-4 10.12.0.1、Spine-3 10.12.0.3 の 2 つのリモート BGW があります。

IPv4 BGP の確認

spine1# show ip bgp neighbors
BGP neighbor is 10.4.0.6, remote AS 6500, ibgp link
  BGP version 4, remote router ID 10.2.0.3
  BGP state = Established
  Using Ethernet1/1 as update source for this peer
  Peer is directly attached, interface Ethernet1/1
BGP neighbor is 10.100.1.1, remote AS 6501, ebgp link
  BGP version 4, remote router ID 10.12.0.3
  BGP state = Established
  Using Ethernet1/7 as update source for this peer
  Peer is directly attached, interface Ethernet1/7
BGP neighbor is 10.100.1.5, remote AS 6501, ebgp link
  BGP version 4, remote router ID 10.12.0.1
  BGP state = Established
  Using Ethernet1/4 as update source for this peer

Spine-1 のローカル IPv4 ピアは、AS 6500 の Spine-2 (10.4.0.6) です。2 つのリモート IPv4 ピアは、AS 6501 の Spine-3 (10.100.1.1) と Spine-4 (10.100.1.5) です。この出力では、3 つすべてが Established です。これらのアドレスは、EVPN が使用する Loopback0 アドレスとは異なります。

5.3. NVE インターフェイスと Multi-Site VIP

nve1 は、スイッチの論理 VXLAN トンネルインターフェイスです。source-interface loopback1 は、スイッチのローカル VTEP を指定します。BGW では、multisite border-gateway interface loopback100 が 2 つ目のアドレスを Multi-Site 機能に関連付けます。これは同じサイトの両方の BGW で共有される VIP です。

spine1# show run
evpn multisite border-gateway 6500
  delay-restore time 300
interface loopback100
  description Multi-Site VIP loopback interface
  ip address 10.100.0.1/32 tag 54321
  ip router ospf UNDERLAY area 0.0.0.0
  ip pim sparse-mode
interface nve1
  no shutdown
  host-reachability protocol bgp
  source-interface loopback1
  multisite border-gateway interface loopback100
  member vni 30000
    multisite ingress-replication
    mcast-group 239.1.1.0
  member vni 30001
    multisite ingress-replication
    mcast-group 239.1.1.0
  member vni 30002
    multisite ingress-replication
    mcast-group 239.1.1.0
  member vni 30003
    multisite ingress-replication
    mcast-group 239.1.1.0
  member vni 50000 associate-vrf
  member vni 50001 associate-vrf

Spine-1 と Spine-2 は VIP 10.100.0.1/32、Spine-3 と Spine-4 は VIP 10.100.0.2/32 を使用します。リモートからの VXLAN 転送は、利用可能な一方の BGW を介してサイトに到達できます。タグ 54321 により、これらの直接接続ループバックルートが、設定済み IPv4 BGP 再配布ポリシーの対象になります。Multi-Site VIP はトンネルの宛先であり、VLAN 30 の HSRP ネクストホップ VIP 10.30.0.2 とは別のものです。

マルチキャストグループは、ローカルファブリックの BUM レプリケーションを提供します。BUM はブロードキャスト、不明なユニキャスト、マルチキャストのトラフィックを指します。multisite ingress-replication は、Multi-Site 境界を越えるレプリケーションを設定します。associate-vrf は、ブリッジ VLAN VNI ではなく、ルーティング用 L3 VNI であることを示します。

NVE と MAC ルートの確認

spine1# show nve interface nve1 detail
Interface: nve1, State: Up, encapsulation: VXLAN
 Host Learning Mode: Control-Plane
 Source-Interface: loopback1 (primary: 10.3.0.4, secondary: 0.0.0.0)
 Source Interface State: Up
 Multisite bgw-if: loopback100 (ip: 10.100.0.1, admin: Up, oper: Up)
spine1# show nve vni
Interface VNI      Multicast-group   State Mode Type [BD/VRF]      Flags
nve1      30000    239.1.1.0         Up    CP   L2 [99]            MS-IR
nve1      30001    239.1.1.0         Up    CP   L2 [20]            MS-IR
nve1      30002    239.1.1.0         Up    CP   L2 [10]            MS-IR
nve1      30003    239.1.1.0         Up    CP   L2 [30]            MS-IR
nve1      50000    n/a               Up    CP   L3 [protected]
nve1      50001    n/a               Up    CP   L3 [unprotected]

Up は、取得時点でローカルの NVE および VNI オブジェクトが動作していることを示します。CP は、EVPN によるコントロールプレーン学習を意味します。MS-IR は Multi-Site イングレスレプリケーションを示します。この出力により、ブリッジ VLAN VNI とルーティング VRF VNI を明確に区別できます。

spine1# show l2route evpn mac all
Topology    Mac Address    Prod   Flags              Seq No     Next-Hops
10          cced.4dd4.1011 BGP    Rcv                0          10.3.0.2 (Label: 30002)
10          cced.4dd4.1012 BGP    Rcv                0          10.100.0.2 (Label: 30002)(Flags: RS)
10          cced.4dd4.5000 BGP    Rcv                0          10.3.0.2 (Label: 30002)
30          cced.4dd4.3012 BGP    Rcv                0          10.100.0.2 (Label: 30003)(Flags: RS)

Spine-1 は、サイト 1 の VLAN 10 MAC をローカル VTEP 10.3.0.2 経由で、サイト 2 の MAC をリモート Multi-Site VIP 10.100.0.2 経由で学習します。RS はリモートサイトのルートを示します。グローバル MAC の行はローカル VTEP を指しています。これは、ローカルゲートウェイの学習とリモートのサイト固有 MAC への到達可能性を示す転送テーブルの情報であり、フローごとのパケットトレースではありません。

spine1# show nve peers
Interface Peer-IP       State LearnType Uptime   Router-Mac
--------- ------------- ----- --------- -------- -----------------
nve1      10.3.0.1      Up    CP        12:42:15 9c54.1651.6529
nve1      10.3.0.2      Up    CP        12:42:15 0200.0a03.0002
nve1      10.3.0.3      Up    CP        12:42:15 9c54.1651.53f7
nve1      10.13.0.4     Up    CP        12:41:57 9c54.1651.4ddd
nve1      10.13.0.5     Up    CP        12:41:20 f4ee.31a3.d857
nve1      10.100.0.2    Up    CP        12:41:57 0200.0a64.0002


leaf1# show nve peers
Interface Peer-IP                                 State LearnType Uptime   Router-Mac
nve1      10.100.0.1                              Up    CP        12:45:00 n/a
leaf1# show nve vni
Interface VNI      Multicast-group   State Mode Type [BD/VRF]      Flags
nve1      40000    239.1.1.0         Up    CP   L2 [40]

Leaf-1 のピア 10.100.0.1 は、自サイトの BGW VIP です。リーフはローカル BGW を介して Multi-Site 境界に到達し、BGW はリモートサイトへの到達可能性を使用してサイト間の区間を転送します。

EVPN への保護対象プレフィックスのアドバタイズ

提示されたリーフ設定では、VRF unprotected の BGP で network ステートメントを使用して保護対象の /16 プレフィックスを生成し、EVPN にアドバタイズします。

leaf1# show run
router bgp 6500
  vrf unprotected
    address-family ipv4 unicast
      network 10.10.0.0/16
      network 10.20.0.0/16
      advertise l2vpn evpn
      redistribute direct route-map fabric-rmap-redist-subnet
      maximum-paths ibgp 2

6. トラフィックフロー

6.1. 保護対象 VLAN 間のトラフィック – 往路トラフィック

VLAN 10 のサーバは、VLAN 20 に到達するためにゲートウェイ 10.10.0.1 を使用します。リーフは、これらのサーバ VLAN 間を直接ルーティングしません。ファイアウォールがパケットを検査し、ゲートウェイが 10.20.0.1 である VLAN 20 へルーティングします。同じ VLAN 内のホスト間トラフィックは通常レイヤ 2 のまま転送され、VXLAN によりファイアウォール検査を経ずにサイト間で運ぶことができます。

VLAN 10 の Server A → VLAN 20 の Server B というトラフィックフローを例に説明します。

1. Server A → Edge-3

   Server A は、Server B が異なるサブネットにあることを認識し、ファイアウォールクラスタ上のデフォルトゲートウェイ 10.10.0.1 にパケットを送信します。イーサネットフレームの宛先 MAC アドレスはファイアウォールゲートウェイの MAC であり、フレームは VLAN 10 上で Edge-3 に入ります。

2. Edge-3 → Leaf1

   Edge-3 は、保護対象ネットワークの接続を介してフレームを Leaf1 に転送します。Edge-3 はレイヤ 2 で動作するため、フレームは VLAN 10 のままです。

3. Leaf1 → FW-1

   Leaf1 は、VLAN 10 のフレームを FW-1 の inside_10 インターフェイスに転送します。ここで Leaf1 はレイヤ 2 転送を行います。ファイアウォールが Server A のゲートウェイであり、このパケットを最初にルーティングするデバイスです。

4. FW-1 → Leaf1

   FW-1 は接続を検査し、直接接続ルート 10.20.0.0/16 を使用して inside_20 経由でパケットをルーティングします。Server B の MAC アドレスに向けた新しいイーサネットフレームを送信し、VLAN 20 でトラフィックを Leaf1 に戻します。

5. Leaf1 → Spine2

   EVPN は、サイト 2 の Server B の MAC アドレスへの到達可能性情報を Leaf1 に提供します。Leaf1 は L2 VNI 30001 を使用して VLAN 20 フレームを VXLAN でカプセル化し、この例で選択されたローカルボーダーゲートウェイ Spine2 に転送します。

6. Spine2 → ルーティングされた DCI 経由 → Spine3

   Spine2 はローカル VXLAN カプセル化を削除し、VNI 30001 を維持したまま、サイト間トランスポート用にフレームを再カプセル化します。宛先はサイト 2 の Multi-Site VIP 10.100.0.2 です。図のパスでは、ルーティングされたサイト間ネットワークがこのフレームを Spine3 に届けます。

7. Spine3 → Leaf3

   Spine3 はサイト間 VXLAN カプセル化を削除します。宛先の EVPN 到達可能性情報を使用し、VNI 30001 を維持したまま、サイト 2 のリーフエンドポイントに向けてフレームを VXLAN で再カプセル化します。

8. Leaf3 → Edge-4

   Leaf3 は VXLAN カプセル化を削除し、元の内部イーサネットフレームを VLAN 20 で Edge-4 に転送します。これはレイヤ 2 転送であり、Leaf3 がパケットを再度ルーティングすることはありません。

9. Edge-4 → Server B

   Edge-4 は、VLAN 20 のフレームを Server B が接続されたポートに転送します。Server B は、Server A が送信したパケットを受信します。

6.2. 保護対象 VLAN 間のトラフィック – クラスタ制御リンクを介した復路トラフィック

この例では、サイト 1 の FW-1 が接続を所有していますが、Server B の応答はサイト 2 の FW-3 に届きます。FW-3 は、処理を行う FW-1 に向けて、クラスタ制御リンク (CCL) を介して応答を転送します。

紫の矢印はサーバトラフィック、オレンジの矢印は CCL 転送を示します。

1. Server B → Edge-4

   Server B は、ファイアウォールゲートウェイ 10.20.0.1 に向けて応答を送信します。フレームは VLAN 20 上で Edge-4 に入ります。

2. Edge-4 → Leaf3

   Edge-4 は、VLAN 20 のフレームをレイヤ 2 で Leaf3 に転送します。

3. Leaf3 → FW-3

   Leaf3 は、フレームを FW-3 の inside_20 インターフェイスに転送します。FW-3 は、FW-1 が接続を所有していることを確認し、フォワーダとして動作します。

4. FW-3 → CCL 経由 → Leaf3

   FW-3 は、専用 CCL インターフェイス Port-channel48 を介して、FW-1 に向けて応答を送信します。リーフに面する接続では VLAN 99 を使用し、元の応答パケットはクラスタ転送用のカプセル化の内部に格納されます。

5. Leaf3 → Spine3

   Leaf3 は、L2 VNI 30000 を使用して CCL フレームを VXLAN でカプセル化し、ローカルボーダーゲートウェイ Spine3 に転送します。

6. Spine3 → DCI 経由 → Spine2

   Spine3 は、VNI 30000 を維持したまま、サイト 1 の Multi-Site VIP 10.100.0.1 に向けてフレームを再カプセル化します。図のパスでは、Spine2 が受信します。

7. Spine2 → Leaf1

   Spine2 はサイト間 VXLAN カプセル化を削除し、VNI 30000 を維持したまま、FW-1 を収容するサイト 1 のリーフエンドポイントに向けてフレームを再カプセル化します。

8. Leaf1 → CCL 経由 → FW-1

   Leaf1 は VXLAN カプセル化を削除し、VLAN 99 の CCL フレームを FW-1 の Port-channel48 に転送します。FW-1 は応答を受信し、既存の接続状態に基づいて処理します。

9. FW-1 → Leaf1

   FW-1 は、inside_10 を介して Server A に向けて応答をルーティングし、VLAN 10 上で新しいイーサネットフレームを送信します。

10. Leaf1 → Edge-3

    Leaf1 は、VLAN 10 のフレームをレイヤ 2 で Edge-3 に転送します。

11. Edge-3 → Server A

    Edge-3 は、VLAN 10 上の Server A が接続されたポートに応答を転送します。

サイト間の区間では、VLAN 99 / VNI 30000 を使用し、CCL 経由で応答を転送します。接続オーナーは引き続き FW-1 です。

6.3. 非保護ネットワークから保護対象 VLAN へのトラフィック

非保護クライアントからのトラフィックは、エッジ、スパイン、リーフの各スイッチを経由してファイアウォールに到達します。ファイアウォールは接続を検査し、許可された場合はパケットを VLAN 10 にルーティングします。続いて、リーフと保護対象エッジスイッチがサーバに転送します。

非保護クライアント → VLAN 10 の Server A というトラフィックフローを例に説明します。

1. クライアント → Edge-1

   クライアントは、Edge-1 の VLAN 101 SVI 上にあるデフォルトゲートウェイ 10.101.0.1 にパケットを送信します。Edge-1 は、クライアントにとって最初のルーティングホップです。

2. Edge-1 → Spine1

   Edge-1 は、設定された 10.10.0.0/16 宛てのスタティックルートを使用します。この例では、ルーティング接続上の Spine1 のアドレスであるネクストホップ 10.33.0.1 を選択します。パケットは Spine1 の unprotected VRF に入ります。

3. Spine1 → Leaf1

   Spine1 は、リーフが BGP EVPN を介してアドバタイズした保護対象サブネットのルートを使用します。Leaf1 を選択し、unprotected VRF を識別する L3 VNI 50001 を使用して、VXLAN 経由でパケットを転送します。

4. Leaf1 → FW-1

   Leaf1 は VXLAN カプセル化を削除し、宛先を検索します。VLAN 30 上の OSPF を介してファイアウォールから学習した 10.10.0.0/16 へのルートは、ファイアウォールを指しています。Leaf1 は、VLAN 30 でクラスタの outside アドレス 10.30.0.1 にパケットを転送します。

5. FW-1 → Leaf1

   FW-1 は接続を検査し、直接接続ルート 10.10.0.0/16 を使用して、許可されたパケットを inside_10 経由でルーティングします。VLAN 10 上で、Server A の MAC アドレスに向けた新しいイーサネットフレームを送信します。

6. Leaf1 → Edge-3

   Leaf1 は、VLAN 10 のフレームをレイヤ 2 で Edge-3 に転送します。保護対象サブネットへのルーティングは、すでにファイアウォールが実行しています。

7. Edge-3 → Server A

   Edge-3 は、VLAN 10 上の Server A が接続されたポートにフレームを転送し、配信を完了します。

7. 障害シナリオとトラフィックの復旧

以下のシナリオでは、障害後に残存する接続をトラフィックがどのように使用するかを説明します。対応する図では、灰色の破線の矢印が元のパス全体、紫の矢印が復旧後のデータ転送、オレンジの矢印がクラスタ制御リンク (CCL) を介した転送を示します。赤い × 印は障害コンポーネントを示します。各図は、選択された 1 つの転送パスを示しています。

7.1. ファイアウォールの単一データリンク障害

Leaf1 の Ethernet1/11 と FW-1 間のデータリンクに障害が発生しても、FW-1 は Leaf2 を介した接続を維持します。ポートチャネルと vPC の転送では、残存する接続を使用します。FW-1 自体は引き続き稼働しているため、図に示す接続の所有権を維持できます。

元の経路では、Server A の VLAN 10 トラフィックは Edge-3 と Leaf1 を経由して FW-1 に到達します。障害後、Edge-3 は Leaf2 経由で FW-1 に転送します。ファイアウォールはパケットを検査して VLAN 20 にルーティングし、Leaf2 を介して送り返します。VXLAN は、Spine2 と Spine3 を経由して Leaf3、Edge-4、Server B にパケットを運びます。

障害リンクを修復すると、ポートチャネルに再参加できるようになります。復旧した接続は転送に利用できますが、既存の接続が必ず元のリンクに戻るわけではありません。

7.2. リーフのデータポートチャネル障害

Leaf1 の Port-channel101 に障害が発生すると、FW-1 と FW-2 の両方へのローカルデータ接続が使用できなくなります。両ファイアウォールは、Leaf2 を介したデータ接続を維持します。専用 CCL 接続は、障害が発生したデータポートチャネルとは別の接続です。

図に示す VLAN 10 から VLAN 20 への接続では、トラフィックが Leaf1 から Leaf2 に移ります。Server A は、Edge-3 と Leaf2 を経由して FW-1 に送信します。検査とルーティングの後、FW-1 は VLAN 20 のパケットを Leaf2、Spine2、Spine3、Leaf3、Edge-4 経由で Server B に送信します。

復旧には、Leaf1 の Po101 とそのメンバーインターフェイスを復元し、ポートチャネルと vPC の動作を確認する必要があります。転送が収束すると、復旧した接続で再びトラフィックを運べます。FW-1 が稼働しており、到達可能な状態を維持する限り、この障害によって接続オーナーを変更する必要はありません。

7.3. 単一 CCL 接続の障害

Port-channel99 に属する Leaf1 の Ethernet1/13 を介した FW-1 の CCL 接続に障害が発生しても、Leaf2 を介した専用 CCL 接続は引き続き使用できます。クラスタ転送と状態トラフィックは、その残存接続を使用できます。FW-1 の Leaf1 経由のデータ接続は引き続き使用可能です。

サイト 1 の FW-1 が接続を所有している状況で、Server B の応答がサイト 2 の FW-3 に届く場合を考えます。FW-3 は、CCL 経由で FW-1 に向けてパケットを転送します。Leaf3 は、VXLAN L2 VNI 30000 を使用し、VLAN 99 の CCL フレームを Spine3 と Spine2 経由で運びます。

元の経路では、パケットは Leaf1 を介して FW-1 に到達します。接続障害後は、Leaf2 を使用して届けられます。FW-1 は転送された応答を処理し、正常な Leaf1 データ接続を介して VLAN 10 に送信します。続いて、Leaf1 と Edge-3 が Server A に届けます。

障害が発生した CCL 接続を修復し、ポートチャネルに再参加することを確認します。この復旧は、残存接続がエンドツーエンドの CCL 到達可能性を提供していることが前提です。

7.4. リーフスイッチ全体の障害

Leaf1 に障害が発生するかリロードすると、ファブリックリンク、保護対象エッジ接続、ファイアウォールのデータ接続、専用 CCL 接続が使用できなくなります。Leaf2 が、Edge-3 とローカルファイアウォールに残存する接続を提供します。必要なデータ接続と CCL 接続が維持される限り、ファイアウォールは稼働を続けることができます。

図に示すフローでは、Server A は VLAN 10 トラフィックを Edge-3 と Leaf2 経由で FW-1 に送信します。FW-1 は検査して VLAN 20 にルーティングし、Leaf2 を介してパケットを送り返します。VXLAN は、Spine2 と Spine3 を経由して Leaf3、Edge-4、Server B にパケットを運びます。専用 CCL も、必要に応じて残存する Leaf2 接続を使用します。

Leaf1 の復帰後、そのパスが利用可能とみなされるには、vPC、ポートチャネル、アンダーレイルーティング、EVPN、NVE の動作が復旧する必要があります。転送の収束中は、トラフィックが中断される場合があります。

7.5. コントロールノードの障害

コントロールノードに障害が発生すると、残存するクラスタメンバーが新しいコントロールノードを選出します。このスパンド構成では、OSPF はコントロールノード上で動作します。新しいコントロールノードは、保護対象プレフィックスを再びアドバタイズできるように、VLAN 30 上のリーフとの OSPF 隣接関係を再確立する必要があります。したがって、復旧にはクラスタの選出とルーティングの収束の両方が含まれます。

図では、FW-2 がコントロールノードであり、図示したクライアント接続も所有していたと仮定します。FW-1 が新しいコントロールノードに選出され、利用可能な複製済み状態を使用して、その接続を引き継ぎます。

復旧後、クライアントトラフィックは Edge-1 と Spine1 を経由します。Spine1 は、unprotected VRF の L3 VNI 50001 を使用して、ルーティングされた VXLAN トラフィックを Leaf1 に向けて送信します。Leaf1 は、outside VLAN 30 上で FW-1 にパケットを届けます。FW-1 は検査して VLAN 10 にルーティングし、Leaf1 と Edge-3 が Server A に届けます。

コントロールノードと接続オーナーは別の役割です。他の残存メンバーが所有する接続は、そのオーナーを維持できます。障害の影響を受け、使用可能なバックアップ状態がない接続は、再確立が必要になる場合があります。障害が発生したファイアウォールが復帰すると、クラスタに再参加しますが、元の役割が自動的に戻ることは前提としません。この場合、以前のコントロールノードは復帰時にデータノードとして参加し、コントロールノードには戻りません。

7.6. サイト間 CCL の完全分断

このシナリオでは、各サイト内のローカル CCL 接続とデータ用 VXLAN 接続が動作している一方で、サイト間 CCL 接続に障害が発生すると仮定します。障害を検出すると、4 メンバーのクラスタが、それぞれにコントロールノードを持つ独立した 2 メンバーのグループ 2 つに分かれる場合があります。この状態を、クラスタのスプリットブレインと呼びます。

• サイト 1: FW-1 と FW-2 は同じグループに残り、FW-2 は既存のコントロールノードの役割を維持します。

• サイト 2: FW-3 と FW-4 は別のグループを形成します。両方が正常な場合、設定優先度 3 の FW-3 は優先度 4 の FW-4 より優先されるため、コントロールノードになります。数値が小さいほど優先度は高くなります。

Server B の応答は、Server B → Edge-4 → Leaf3 → FW-3 の順に進みます。分断前は、FW-3 がこの応答を CCL 経由で、サイト 1 の接続オーナー FW-1 に転送します。分断中は、この転送パスを使用できません。FW-3 がコントロールノードになっても、自動的に接続オーナーになるわけではありません。そのため、図に示す既存の接続は失敗する可能性があります。

サイト内だけで処理を完結できるトラフィックは、継続できる場合があります。データ用 VXLAN 接続が動作しているだけでは、サイト間のクラスタ状態交換や、CCL 経由のオーナーへの転送は復旧しません。

サイト間 CCL 接続を復元することで復旧できます。2 つのグループは 1 つのクラスタに統合され、優先度の高いコントロールノードがその役割を維持します。影響を受けた接続は、再確立が必要になる場合があります。

8. 設定リファレンス

注: 以下は関連箇所の抜粋であり、デバイスの完全な設定ではありません。

8.1. Secure Firewall メンバー

FW-1#show run
interface Port-channel10.10
 mac-address cced.4dd4.5000
 mac-address cced.4dd4.1011 site-id 1 site-ip 10.10.0.5
 mac-address cced.4dd4.1012 site-id 2 site-ip 10.10.0.6
 vlan 10
 nameif inside_10
 ip address 10.10.0.1 255.255.0.0
interface Port-channel10.20
 mac-address cced.4dd4.5000
 mac-address cced.4dd4.2011 site-id 1 site-ip 10.20.0.5
 mac-address cced.4dd4.2012 site-id 2 site-ip 10.20.0.6
 vlan 20
 nameif inside_20
 ip address 10.20.0.1 255.255.0.0
interface Port-channel10.30
 mac-address cced.4dd4.5000
 mac-address cced.4dd4.3011 site-id 1 site-ip 10.30.0.5
 mac-address cced.4dd4.3012 site-id 2 site-ip 10.30.0.6
 vlan 30
 nameif outside
 ip address 10.30.0.1 255.255.255.0
 ospf hello-interval 1
 ospf dead-interval 3
 ospf bfd disable
interface Port-channel48
 description Clustering Interface
cluster group 3140-Cluster
 local-unit FW-1
 cluster-interface Port-channel48 ip 99.99.99.1 255.255.255.224
 site-id 1
 site-redundancy
 enable
 director-localization

ファイアウォールは、データに Po10、CCL に Po48 を使用します。各メンバーは、それぞれ固有の local-unit、サイト ID、CCL アドレスを持ちます。

8.2. リーフスイッチ

leaf1#show run
vlan 10
  vn-segment 30002
vlan 20
  vn-segment 30001
vlan 30
  vn-segment 30003
vlan 99
  vn-segment 30000
vlan 2001
  name unprotected
  vn-segment 50001
vrf context unprotected
  vni 50001
  rd auto
  address-family ipv4 unicast
    route-target both auto evpn
port-channel load-balance src-dst ip-l4port symmetric
vpc domain 1
  peer-switch
  peer-keepalive destination 198.18.158.19 source 198.18.158.17
  peer-gateway
  layer3 peer-router
interface port-channel500
  switchport mode trunk
  vpc peer-link
interface port-channel99
  switchport
  switchport access vlan 99
  vpc 99
interface port-channel100
  switchport
  switchport access vlan 99
  vpc 100
interface port-channel101
  switchport mode trunk
  switchport trunk allowed vlan 10,20,30
  vpc 101
interface port-channel102
  switchport mode trunk
  switchport trunk allowed vlan 10,20
  vpc 102
interface nve1
  no shutdown
  host-reachability protocol bgp
  source-interface loopback1
  member vni 30000
    mcast-group 239.1.1.0
  member vni 30001
    mcast-group 239.1.1.0
  member vni 30002
    mcast-group 239.1.1.0
  member vni 30003
    mcast-group 239.1.1.0
  member vni 50000 associate-vrf
  member vni 50001 associate-vrf

Leaf-1 のルーティングアンダーレイ、VLAN 30 の HSRP、および両方のローカル EVPN ピア。

leaf1#show run
interface Ethernet1/3
  description connected-to-spine1-Ethernet1/5
  ip address 10.4.0.13/30
  ip ospf network point-to-point
  ip router ospf UNDERLAY area 0.0.0.0
interface Ethernet1/4
  description connected-to-spine2-Ethernet1/5
  ip address 10.4.0.17/30
  ip ospf network point-to-point
  ip router ospf UNDERLAY area 0.0.0.0
interface Vlan3600
  description VPC-Peer-Link SVI
  ip address 10.4.0.1/30
  ip ospf network point-to-point
  ip router ospf UNDERLAY area 0.0.0.0
interface Vlan30
  no shutdown
  mtu 9000
  vrf member unprotected
  no ip redirects
  ip address 10.30.0.254/24 tag 12345
  no ipv6 redirects
  ip ospf dead-interval 3
  ip ospf hello-interval 1
  ip router ospf 1 area 0.0.0.0
  hsrp version 2
  hsrp 30
    priority 110
    ip 10.30.0.2
router ospf 1
  vrf unprotected
    router-id 1.1.1.1
router ospf UNDERLAY
  router-id 10.2.0.4
router bgp 6500
  router-id 10.2.0.4
  neighbor 10.2.0.1
    remote-as 6500
    description to-spine1
    update-source loopback0
    address-family l2vpn evpn
      send-community
      send-community extended
  neighbor 10.2.0.3
    remote-as 6500
    description to-spine2
    update-source loopback0
    address-family l2vpn evpn
      send-community
      send-community extended

スイッチの Po99 と Po100 は CCL VLAN 99、Po101 はファイアウォールのデータ VLAN 10/20/30、Po102 は保護対象エッジに接続します。Po500 は vPC ピアリンクです。VTEP の送信元は Loopback1 で、BGP は Loopback0 を使用します。

8.3. スパインと Multi-Site ボーダーゲートウェイ

spine1#show run
evpn multisite border-gateway 6500
  delay-restore time 300
interface Ethernet1/5
  description connected-to-leaf1-Ethernet1/3
  ip address 10.4.0.14/30
  ip ospf network point-to-point
  ip router ospf UNDERLAY area 0.0.0.0
  evpn multisite fabric-tracking
interface Ethernet1/7
  description connected-to-spine3-Ethernet1/7
  ip address 10.100.1.2/30
  evpn multisite dci-tracking
interface loopback100
  description Multi-Site VIP loopback interface
  ip address 10.100.0.1/32 tag 54321

Fabric-tracking は BGW のローカルファブリック接続を監視します。dci-tracking は DCI 接続を監視します。すべての BGW に、第 3 章のグローバル MAC の EVPN ルートフィルタと HSRP VLAN フィルタを維持してください。

spine1#show run
router bgp 6500
  router-id 10.2.0.1
  cluster-id 6500
  neighbor 10.2.0.2
    remote-as 6500
    update-source loopback0
    address-family l2vpn evpn
      send-community
      send-community extended
      route-reflector-client
  neighbor 10.2.0.3
    remote-as 6500
    update-source loopback0
    address-family l2vpn evpn
      send-community
      send-community extended
  neighbor 10.2.0.4
    remote-as 6500
    update-source loopback0
    address-family l2vpn evpn
      send-community
      send-community extended
      route-reflector-client
router bgp 6500
  neighbor 10.12.0.1
    remote-as 6501
    description multi-site overlay session to spine4
    update-source loopback0
    ebgp-multihop 5
    peer-type fabric-external
    address-family l2vpn evpn
      send-community
      send-community extended
      route-map Global-mac-filter in
      rewrite-evpn-rt-asn
  neighbor 10.12.0.3
    remote-as 6501
    description multi-site overlay session to spine3
    update-source loopback0
    ebgp-multihop 5
    peer-type fabric-external
    address-family l2vpn evpn
      send-community
      send-community extended
      route-map Global-mac-filter in
      rewrite-evpn-rt-asn
router bgp 6500
  neighbor 10.4.0.6
    remote-as 6500
    update-source Ethernet1/1
    address-family ipv4 unicast
      next-hop-self
  neighbor 10.100.1.1
    remote-as 6501
    update-source Ethernet1/7
    address-family ipv4 unicast
      next-hop-self
  neighbor 10.100.1.5
    remote-as 6501
    update-source Ethernet1/4
    address-family ipv4 unicast
      next-hop-self
ip access-list hsrp-hello-filter
  10 permit udp any 224.0.0.2/32 eq 1985
  20 permit udp any 224.0.0.102/32 eq 1985
ip access-list permit-all
  10 permit ip any any
vlan access-map hsrp-hello-filter 10
  match ip address hsrp-hello-filter
  action drop
vlan access-map hsrp-hello-filter 20
  match ip address permit-all
  action forward
vlan filter hsrp-hello-filter vlan-list 30
mac-list Global-mac-filter seq 15 permit cced.4dd4.5000 ffff.ffff.ffff
route-map Global-mac-filter deny 10
  match mac-list Global-mac-filter
route-map Global-mac-filter permit 20
router bgp 6500
  neighbor 10.12.0.1
    address-family l2vpn evpn
      route-map Global-mac-filter in
  neighbor 10.12.0.3
    address-family l2vpn evpn
      route-map Global-mac-filter in

8.4. 稼働中の非保護エッジ

Edge-1 は VLAN 101 のゲートウェイを提供し、4 台すべての BGW に接続します。この共用エッジは、両サイトの境界の外側にあります。

Edge1#show run
interface Vlan101
  no shutdown
  ip address 10.101.0.1/16
  ip router ospf 1 area 0.0.0.0
router ospf 1
  router-id 1.1.1.1
interface Ethernet1/49.2
  mtu 9216
  encapsulation dot1q 2
  ip address 10.33.0.2/30
  ip ospf network point-to-point
  ip router ospf 1 area 0.0.0.0
  no shutdown
interface Ethernet1/50.2
  mtu 9216
  encapsulation dot1q 2
  ip address 10.33.0.10/30
  ip ospf network point-to-point
  ip router ospf 1 area 0.0.0.0
  no shutdown
interface Ethernet1/51.2
  mtu 9216
  encapsulation dot1q 2
  ip address 10.34.0.2/30
  ip ospf network point-to-point
  ip router ospf 1 area 0.0.0.0
  no shutdown
interface Ethernet1/52.2
  mtu 9216
  encapsulation dot1q 2
  ip address 10.34.0.10/30
  ip ospf network point-to-point
  ip router ospf 1 area 0.0.0.0
  no shutdown

4 つのリモート BGW アドレスは、10.33.0.1、10.33.0.9、10.34.0.1、10.34.0.9 です。対応する BGW インターフェイスは、Spine-1/2 の Ethernet1/2.2 と Spine-3/4 の Ethernet1/1.2 です。

8.5. 保護対象エッジスイッチ

保護対象エッジは、レイヤ 2 VLAN とリーフへのトランクポートチャネルを使用します。

Edge3#show run
interface port-channel102
  switchport
  switchport mode trunk
interface Ethernet1/49
  switchport
  switchport mode trunk
  channel-group 102 mode active
  no shutdown
interface Ethernet1/50
  switchport
  switchport mode trunk
  channel-group 102 mode active
  no shutdown
interface Ethernet1/53
  switchport
  switchport mode trunk
  switchport trunk allowed vlan 10
  spanning-tree port type edge trunk
  mtu 9216
  no shutdown

Port-channel102 とそのメンバーは、レイヤ 2 アップリンクを構成します。この抜粋では、Ethernet1/53 がテストホストの接続です。保護対象サーバ VLAN にとって、最初のレイヤ 3 ホップは引き続きファイアウォールです。

9. このアーキテクチャの用語集

言語: English | 日本語