visucius
Mar 19, 2024, updated at 13:52:54 (UTC)
view918
view12
0
Goto Top

Mikrotik-OPNsense lacp-lagg

GermansolvedQuestionMikroTikNetworking BasicsFirewall
Hallo in die Runde,

ich experimentiere gerade ein wenig mit einer OPNsense auf der einen und nem RB5009 auf der anderen Seite.
Dazwischen ein lacp-lagg mit 3 x RJ45.

Die OPNsense soll – später mal – Firewall, DNS-Filter, Virenscanner und Radius-Server beinhalten. Aktuell ist sie aber noch fast komplett im Default-Setup, von dem lacp-lagg abgesehen. Ebenso ist eine Rule any/any für v4/v6 auf dem LAGG konfiguriert. Screenshots im Anhang.
lacp-lagg IP: 10.98.100.1
Ports 5, 6, 7 bzw. igb0, igb1, igb2

Auf dem RB5009 arbeitet eine vLAN-Bridge und 2 lacp-laggs (bond_server und bond_uplink). Bitte nicht zu sehr auf die vLAN-config vercaprizieren, denn auf dem hier betrachteten bond_uplink gibt es keinen Trunk sondern nur die beiden festen IPs. Die vLAN-Verwaltung soll in dem Setup komplett bei RouterOS liegen. Der hier betrachtete lacp-lagg ist deshalb auch nicht Teil der vLAN-Bridge.
lacp-lagg IP: 10.98.100.2
Ports: 6, 7, 8

Problem:
Ich hänge mich an Port 5 des Mikrotiks und bekomme per DHCP aus vLAN 11 die 10.98.11.48 zugewiesen.
Winbox ping 10.98.11.1 (ok)
Winbox ping 10.98.100.2 (ok)
Winbox ping 10.98.100.1 (ok)
Winbox ping 192.168.1.1 (ok)
Winbox ping 1.1.1.1 (ok)

Powershell ping 10.98.11.1 (ok)
Powershell ping 10.98.100.2 (ok)
Powershell ping 10.98.100.1 TIMEOUT

Irgendwie scheint ich vom vLAN zwar zum lokalen LAGG-Port (100.2) zu kommen – aber nicht auf die Gegenseite (100.1). Bestimmt nur ne Kleinigkeit, ich bin aber schon ausgestiegen.

Anbei auch die Routing-Tabelle des RB5009:
  1. DST-ADDRESS GATEWAY DISTANCE
0 As 0.0.0.0/0 10.98.100.1 1
DAc 10.98.11.0/26 vlan11 0
DAc 10.98.22.0/26 vlan22 0
DAc 10.98.33.0/26 vlan33 0
DAc 10.98.44.0/26 vlan44 0
DAc 10.98.99.0/26 vlan99 0
DAc 10.98.100.0/26 bond_uplink 0
DIcH 192.168.88.0/24 ether1 0


bildschirmfoto 2024-03-19 um 14.03.09
bildschirmfoto 2024-03-19 um 14.03.33
bildschirmfoto 2024-03-19 um 14.03.50

# 2024-03-19 12:23:59 by RouterOS 7.14rc1
# software id = CLR6-PH9G
#
# model = RB5009UPr+S+
# serial number = HCY089K4GTZ
/interface bridge
add name=vlanBridge pvid=99 vlan-filtering=yes
/interface vlan
add interface=vlanBridge name=vlan11 vlan-id=11
add interface=vlanBridge name=vlan22 vlan-id=22
add interface=vlanBridge name=vlan33 vlan-id=33
add interface=vlanBridge name=vlan44 vlan-id=44
add interface=vlanBridge name=vlan99 vlan-id=99
/interface bonding
add mode=802.3ad name=bond_server slaves=ether2,ether3 transmit-hash-policy=\
    layer-3-and-4
add mode=802.3ad name=bond_uplink slaves=ether8,ether7,ether6 \
    transmit-hash-policy=layer-3-and-4
/interface list
add name=WAN
add name=LAN
/interface wireless security-profiles
set [ find default=yes ] supplicant-identity=MikroTik
/ip pool
add name=dhcp_pool11 ranges=10.98.11.10-10.98.11.49
add name=dhcp_pool22 ranges=10.98.22.10-10.98.22.49
add name=dhcp_pool33 ranges=10.98.33.10-10.98.33.49
add name=dhcp_pool44 ranges=10.98.44.10-10.98.44.49
add name=dhcp_pool99 ranges=10.98.99.10-10.98.99.49
/ip dhcp-server
add address-pool=dhcp_pool11 interface=vlan11 name=dhcp11
add address-pool=dhcp_pool22 interface=vlan22 name=dhcp22
add address-pool=dhcp_pool33 interface=vlan33 name=dhcp33
add address-pool=dhcp_pool44 interface=vlan44 name=dhcp44
add address-pool=dhcp_pool99 interface=vlan99 name=dhcp99
/ip smb users
set [ find default=yes ] read-only=yes
/interface bridge port
add bridge=vlanBridge frame-types=admit-only-vlan-tagged interface=ether4 pvid=\
    99
add bridge=vlanBridge frame-types=admit-only-vlan-tagged interface=sfp-sfpplus1 \
    pvid=99
add bridge=vlanBridge frame-types=admit-only-vlan-tagged interface=bond_server \
    pvid=99
add bridge=vlanBridge frame-types=admit-only-untagged-and-priority-tagged \
    interface=ether5 pvid=11
/interface bridge vlan
add bridge=vlanBridge tagged=vlanBridge,sfp-sfpplus1,bond_server,ether4 \
    vlan-ids=11
add bridge=vlanBridge tagged=vlanBridge,bond_server,ether4,sfp-sfpplus1 \
    vlan-ids=22
add bridge=vlanBridge tagged=vlanBridge,bond_server,sfp-sfpplus1,ether4 \
    vlan-ids=33
add bridge=vlanBridge tagged=vlanBridge,bond_server,sfp-sfpplus1,ether4 \
    vlan-ids=44
add bridge=vlanBridge tagged=vlanBridge,bond_server,sfp-sfpplus1,ether4 \
    vlan-ids=99
/interface detect-internet
set detect-interface-list=all
/interface list member
add interface=bond_uplink list=WAN
add interface=vlan11 list=LAN
add interface=vlan22 list=LAN
add interface=vlan33 list=LAN
add interface=vlan44 list=LAN
add interface=vlan99 list=LAN
/interface sstp-server server
set ciphers=aes256-sha
/ip address
add address=192.168.88.1/24 interface=ether1 network=192.168.88.0
add address=10.98.11.1/26 interface=vlan11 network=10.98.11.0
add address=10.98.22.1/26 interface=vlan22 network=10.98.22.0
add address=10.98.33.1/26 interface=vlan33 network=10.98.33.0
add address=10.98.44.1/26 interface=vlan44 network=10.98.44.0
add address=10.98.99.1/26 interface=vlan99 network=10.98.99.0
add address=10.98.100.2/26 interface=bond_uplink network=10.98.100.0
/ip dhcp-server network
add address=10.98.11.0/26 dns-server=10.98.11.1 gateway=10.98.11.1
add address=10.98.22.0/26 dns-server=10.98.22.1 gateway=10.98.22.1
add address=10.98.33.0/26 dns-server=10.98.33.1 gateway=10.98.33.1
add address=10.98.44.0/26 dns-server=10.98.44.1 gateway=10.98.44.1
add address=10.98.99.0/26 dns-server=10.98.99.1 gateway=10.98.99.1
/ip dns
set servers=1.1.1.1
/ip route
add disabled=no dst-address=0.0.0.0/0 gateway=10.98.100.1 routing-table=main \
    suppress-hw-offload=no
/system clock
set time-zone-name=Europe/Berlin
/system note
set show-at-login=no
/system routerboard settings
set auto-upgrade=yes
[admin@MikroTik] >
comment-contentCommentShareShare
Share on Facebook Share on Twitter Share on Reddit Share on Linkedin

Content-Key: 8216854295

Url: https://administrator.de/contentid/8216854295

Printed on: April 27, 2024 at 23:04 o'clock

12 Comments
Latest comment
Goto Top
Member: aqui
aqui Mar 19, 2024 updated at 19:00:00 (UTC)
Goto Top
Powershell ping 10.98.100.1 TIMEOUT
Damit pingst du die Firewall, per se ok. Der LAG Link ist also quasi als Koppelnetzwerk zu sehen zw. beiden Geräten was auch perfectly OK ist.
Fragt sich dann nur ob die Firewall einen Routing Eintrag für das 10.98.11.0/26er Mikrotik VLAN-11 Netz in ihrer Routing Tabelle hat mit dem next Hop Gateway 10.98.100.2 ? Ansonsten kann das ICMP Echo der OPNsense nicht wieder zurück zu deinem Test PC in VLAN 11 am Mikrotik. Die OPNsense weiss ja ohne diese Route nicht wie. 🤔
Ein Blick in die Routing Tabelle der OPNsense bzw. Screenshot hätte dir und uns das gezeigt.

Sehr wichtig ist auch das du der OPNsense in den Advanced Settings sagst das sie bitte lokale Routen keinesfalls über sie als Durchlauferhitzer senden soll, weil sonst zusätzlich auch noch ihr Regelwerk dir das Leben unnötigerweise schwer macht für Traffic der direkt geroutet werden sollte!
sameint

Beim Ping über die WinBox nutzt diese als Absender IP automatisch die direkte IP des LACP Lags also 10.98.100.2 und das kennt die OPNsense natürlich wenn man ihr IP Pendant anpingt.
Leider warst du nicht pfiffig genug dem WinBox Ping Tool mit einem Klick auf den "Advanced" Reiter als Absender IP (Source) einmal die VLAN 11 IP deines Mikrotiks dediziert mitzugeben. face-sad
Wäre das der Fall gewesen hättest du gesehen das dieser Ping sehr wahrscheinlich auch scheitert wegen der vermutlich fehlenden IP Route auf der OPNsense.

Ein dortiger Eintrag unter statischen Routen: Ziel: 10.98.0.0, Maske: 255.255.128.0, Gateway: 10.98.100.2 sollte dein "Problem" dann schnell lösen und routet alle 10.98er VLANs zum Mikrotik wo sie hinsollen. face-wink Oder du beschäftigst dich mal etwas mit dynamischem Routing via RIPv2 oder OSPF was dir statische Routen erspart.
Fazit: Sehr wahrscheinlich diese eine Kleinigkeit und... Traceroute ist, wie immer, dein bester Freund! 😉
Member: Visucius
Visucius Mar 19, 2024 updated at 20:27:13 (UTC)
Goto Top
Leider warst du nicht pfiffig genug dem WinBox Ping Tool mit einem Klick auf den "Advanced" Reiter als Absender IP (Source) einmal die VLAN 11 IP deines Mikrotiks dediziert mitzugeben
Wusste gar nciht, dass das geht. Aber gleich mal probiert: Wenn ich unter Src.Address: 10.98.11.50 eingebe, folgt ein timeout mit "could not make socket" als Antwort. Das ist ja cool, kann man das prüfen ohne laufend umstecken zu müssen.

Danke dafür. Ich habe das jetzt erstmal unter "Gateway" und "Route" versucht zu hinterlegen. Klappt aber immer noch nicht. Ich guck mir das morgen nochmal an. Aber das Pingen auf 1.1.1.1 am Port 5 des RB5009 hat schon mal nicht funktioniert.

bildschirmfoto 2024-03-19 um 21.23.28
bildschirmfoto 2024-03-19 um 21.23.14
Member: aqui
aqui Mar 20, 2024 updated at 09:19:06 (UTC)
Goto Top
Wusste gar nciht, dass das geht.
Denk immer am Meister Yoda! 🤣
Wenn ich unter Src.Address: 10.98.11.50 eingebe, folgt ein timeout mit "could not make socket" als Antwort.
Dann hast du vermutlich fälschlicherweise mit der .50 irgendeine willkürliche IP Adresse aus dem 11er VLAN genommen ansatt der wirklichen, konfigurierten IP des Mikrotik auf dem VLAN11 IP Interface!? IPs die nicht sein eigen sind (Interfaces) kennt der MT logischerweise nicht und meckert dann zu Recht.
Das ist ja cool, kann man das prüfen ohne laufend umstecken zu müssen.
Bingo! So ist es! Jeder gute Router hat das genau deswegen an Board. face-wink

Deine Route ist soweit OK. Ein Blick in die Routing Tabeller der OPNsense kann auch nicht schaden.
Kannst du ja auch von der OPNsense aus mal testen, denn die hat selbstredend auch die Option beim Ping Tool das Source Interface zu setzen! face-wink
Dann musst du dich da mal rantasten WO du die Fußfalle eingebaut hast.
Die Bypass Option für lokal geroutete Netzwerke hast du in der OPNsense gesetzt?? Ansonsten muss der Mikrotik Traffic noch sinnloserweise durchs Firewall Regelwerk am LAGG Interface.
Member: aqui
Solution aqui Mar 24, 2024 at 11:35:43 (UTC)
Goto Top
How can I mark a post as solved?
Member: Visucius
Solution Visucius Mar 29, 2024 at 19:25:27 (UTC)
Goto Top
Tja gelöst!? Ist halt wieder so ne Mikrotik-Lösung. Beide Seiten resettet alles nochmal konfiguriert und es hat halt wieder nicht funktioniert.

Jetzt läuft DHCP und vLAN auf der OPNsense wie im bisherigen Setup und es flutschte im ersten Versuch. RouterOS reicht die vLANs problemlos per Trunk an einen WAP ac und per accessport auch an einen Rechner weiter.

Insofern ja, es ist gelöst - nur halt anders als ich es bei Threaderöffnung plante. Und es wird vermutlich dazu führen dass der später daran hängende CRS wieder von SwitchOS auf RouterOS migriert wird.

Danke trotzdem für Deine Bemühungen.
Member: aqui
aqui Mar 29, 2024 at 21:24:42 (UTC)
Goto Top
Habs hier nachgebaut und getestet und hat gleich auf Anhieb funktioniert. Ich vermute das du einen Routing Fehler gemacht hast im originalen Setup. Aber egal, wenns jetzt klappt who cares... 😉
Member: Visucius
Visucius Mar 30, 2024 at 05:57:40 (UTC)
Goto Top
Das hatte ich ja Eingangs auch vermutet. Aber
 /ip route
add disabled=no dst-address=0.0.0.0/0 gateway=10.98.100.1 routing-table=main \
    suppress-hw-offload=no

ist ja nun auch kein Hexenwerk 😏

Zwischenzeitlich hatte ich das vLAN im Verdacht aber der Fehler trat ebenso am Port 1 auf, den ich „plain“ gelassen hatte.
Member: aqui
aqui Mar 30, 2024 at 06:46:49 (UTC)
Goto Top
Aber...
Das ist aber, wie oben schon gesagt, nur die halbe Miete! Solange du keine statische Route auf der OPNsense als Gegenpart zu den IP Netzen am MT hast scheitert die Rückroute zum MT. face-wink
Member: Visucius
Visucius Mar 30, 2024 at 06:53:39 (UTC)
Goto Top
Das hatte ich ja, mit dem Zusatzschritt eines weiteren Gateways. Aber wie Du schon sagtest: Jetzt läufts ja.
heart1
Member: aqui
aqui Mar 30, 2024 at 06:54:45 (UTC)
Goto Top
Case closed!
Fröliches Ostereier suchen!! face-wink
heart1
Member: Visucius
Visucius Mar 30, 2024 at 07:07:56 (UTC)
Goto Top
Dir auch!
Member: Visucius
Visucius Mar 30, 2024 at 12:05:55 (UTC)
Goto Top
Insider: Sitze gerade bei Landsberg in nem Lokal:

Moin (moin, moin is scho Gsappel) 😂
GermansolvedQuestionMikroTikNetworking BasicsFirewall
Hotly discussed
DaniEnd of availability for classic Teams clientDani