Grundidee von tata/Tarek

Als Grund-Kommunikationsmedium kommt hauptsächlich WLAN 2,4 und/oder 5GHz zum Einsatz daher gehen ich hier von den genannten Medien hauptsächlich aus.

Layer 2 Organisation

Das Layer 2 ist in 2 Teilschichten zu unterscheiden. Das Layer 2.1 als Basis zum Verbindungsaufbau zwischen Nodes auf physikalischer ebene und das Layer 2.2 Mesh Protokoll.

Layer 2.1

Als Standard kommt IEEE802.11s zu Einsatz. Der Vorteil gegenüber AD-Hoc(IBSS) Netzen ist die einfachere Implementierung von IEEE802.11s was folglich dazu führt das wir zukünftig einen höheren Hardware Support daraus gewinnen können. Weitere Verbesserungen wird das IEEE802.11s nicht bringen, evtl. noch minimale Latenzverbesserungen durch die einfachere Implementierung im Treiber. Zudem könnte bereits in der nächsten Gluon Version das IBSS raus fliegen. Daher brauchen wir über eine Basis mit IBSS nicht wirklich reden, wenn wir bei bei Gluon bleiben wollen.

Layer 2.2

Als mesh Protokoll kommt BATMAN-adv zu Einsatz, dies ist ein Layer 2 mesh Protokoll welches uns hohe Flexibilität bietet. Aufgrund unserer WLAN Infrastruktur ändern sich die Routen Qualitäten nahe zu ständig BATMAN-adv nimmt uns eine menge Arbeit bei der Routen Organisation im Layer 2 ab. In Kombination mit unseren hood-Konzept haben wir somit eine Art Interface geschaffen mit dem wir dynamisch nahezu beliebig viele für sich operierende Layer 2 mesh Netze erzeugen können welches uns eine hohe Skalierung im Layer 2 ermöglicht.

Abschließend zum Layer 2 kann man sagen haben wir somit eine flexible und dynamische Möglichkeit entwickelt mesh Wolken zu erzeugen. diese werden aktuell über unterschiedliche Mesh-IDs/BSSIDs getrennt gehalten und räumlich über Geokoordinaten definiert. diese Informationen befinden sich im sogenannten hoodfile. Das zugehörige IPv4 Subnetz ist in die BSSID ein kodiert. Dieses ist für das Layer 2 Erstmal uninteressant. Eine andere Möglichkeit ist den Trennung anhand von verschiedenen VXLANs zu erzwingen. Somit ist die Änderung der mesh-ID/BSSID theoretisch nicht mehr nötig. Von der Betrachtung her finde ich die Trennung über das physische IEEE802.11s sauberer und übersichtlicher, als über logische virtuelle Layer 2 Räume wie VXLAN. Das sind aber mögliche Detail fragen die am eigentlichen Konzept nix ändern.

Optionale Erweiterung für die Layer 2 Organisation

Das jetzige hood Konzept ist ein halb-automatisiertes Konzept welches das manuelle definieren eines hoodfiles erfordert. Eine Möglichkeit der vollen Automatisierung wäre z.b. möglich indem man Voronoi Algorithmen zur automatisierten räumlichen Trennung nutzt. Diese müssten mit einigen Kriterien belegt werden, wie z.b. das mindesten 2 BATMAN-adv Gateways existieren müssen bevor ein Splitt einer hood entstehen kann.

Übergang von Layer 2 zu Layer 3

Im neuen Layer 3 Konzept sollen Richtfunkverbindungen und lokale exits Gateways berücksichtigt werden. Dazu kommen wir nun zum Übergang aus dem Layer 2 ins Layer 3. Dies geschieht über sogenannte BATMAN-adv Gateways. Die Gateway selektierung im Layer 2 erfolgt u.a. aus der zur Verfügung gestellten Bandbreite (Class 1). Aktuell haben wir in allen hoods nur ein BATMAN-adv Gateway welcher einfach die mögliche Bandbreite seines ETH Ports zur Verfügung stellt. Als Beispiel 1000/1000 MBit für einen Gigabit-Ethernet-Port oder 100/100 Mbit für einen Fast-Ethernet-Port. Das ist nicht ganz so hilfreich, weil es nur eine partielle Bandbreite auf den weg in das Internet ist. Mit dieser Angabe wird im Grunde nur angegeben wie gut die Verbindung vom BATMAN-adv Gateway zum Rechenzentrum internen Switch ist. Interessanter wäre ein gemessener und evtl. gemittelter Wert wie hoch der Durchsatz in Internet ist. Diesen Wert kann man dann Statisch fest setzen.

root@default02:~# speedtest-cli --simple
Ping: 26.696 ms
Download: 220.28 Mbits/s
Upload: 144.71 Mbits/s

Die zur Verfügung gestellte Bandbreite ist bei einem einzigen Gateway pro hood natürlich so ziemlich egal, da sowieso immer nur dieses eine Gateway gewählt werden kann. Wenn wir aber jetzt mehrere Gateways Pro hood haben wird das Tatsächlich interessant. Hier gibt es jetzt mehrere Faktoren zu berücksichtigen:

Ein direkten exit über eine DSL Leitung.
Eine Richtfunk Verbindung in eine andere hood.

Zu 1.: Bei einem Node der ein direkten exit über die eigene DSL Leitung anbietet ist es relativ Klar. In diesem falle sollte auch die zur Verfügung stehende Bandbreite des Anschlusses zur Verfügung gestellt werden. Als Beispiel bei einem VDSL50 Anschluss dann entweder stumpf 50/10 Mbit oder eben auch hier einen gemessenen Wert Statisch setzen.

tata@codestulle ~ % speedtest-cli --simple
Ping: 32.393 ms
Download: 37.34 Mbit/s
Upload: 9.21 Mbit/s

Zu 2.: Bei Richtfunk Verbindungen wird das ganze ein bisschen komplizierter, da wir uns hier fragen müssen was genau wir hier zur Verfügung stellen wollen. Eine Internet Verbindung die über die Richtfunk Verbindung erreichbar ist? Oder doch der gemessene wert der rein über die Richtfunk Verbindung möglich ist? Streng genommen würden wir im zweiten falle wie oben schon beschrieben nur eine Partielle Bandbreite ermitteln allerdings geht es bei den Richfunk Verbindungen zwischen den hoods auch eher darum das Lokale Clients/Services erreichbar sind. An dieser stelle ist denke ich noch ein TBD nötig. Wir gehen Erstmal davon aus, das auch hier die Gemessene Bandbreite ins Internet zur Verfügung gestellt wird.

Um eine Überlastung einzelner BATMAN-adv Gateways zu vermeiden, könnte man in einen Intervall die zur Verfügung gestellte Bandbreite - der aktuell genutzten Bandbreite zur Verfügung stellen, also die noch zur Verfügung stehende Rest-Bandbreite. Die Freifunk Franken Community hat zufälligerweise schon genau so ein Script gebaut.

#!/bin/bash
gwsel_lockfile="/tmp/gwsel_lockfile"  # lockfile to allow for low bandwidth settings 

if [ -z "$1" ]; then
        echo
        echo "usage: $0 <network-interface> <update_interval [sec]> <total BW up [Mbit/sec]> <total BW down [Mbit/sec]>"
        echo
        echo "e.g. $0 eth0 60 10 10"
        echo
        exit
fi

while true
do
    if [ ! -e ${gwsel_lockfile} ]; then    # lockfile not present
        # Bandwidth currently used (time averaged)
        R1=$(cat "/sys/class/net/$1/statistics/rx_bytes")
        T1=$(cat "/sys/class/net/$1/statistics/tx_bytes")
        sleep "$2"
        R2=$(cat "/sys/class/net/$1/statistics/rx_bytes")
        T2=$(cat "/sys/class/net/$1/statistics/tx_bytes")
        TkbitPS=$(echo "scale=0; ($T2 - $T1) / 1024 * 8 / $2" | bc -l)
        RkbitPS=$(echo "scale=0; ($R2 - $R1) / 1024 * 8 / $2" | bc -l)
#        echo "BW used      -- up $1: $TkbitPS kBit/s; down $1: $RkbitPS kBit/s"

        # Remaining bandwidth available; cut-off negative values
        Tavail_kbitPS=$(echo "scale=0; if (($3 * 1024 - $TkbitPS) >0) ($3 * 1024 - $TkbitPS) else 0" | bc -l)
        Ravail_kbitPS=$(echo "scale=0; if (($4 * 1024 - $RkbitPS) >0) ($4 * 1024 - $RkbitPS) else 0" | bc -l)
#        echo "BW available -- up $1: $Tavail_kbitPS kBit/s; down $1: $Ravail_kbitPS kBit/s"
    else                                     # lockfile present
        Tavail_kbitPS=0
        Ravail_kbitPS=0
        sleep "$2"
    fi

    for bat in /sys/class/net/bat*; do
              iface=${bat##*/}
              batctl -m $iface gw_mode server "${Ravail_kbitPS}kbit/${Tavail_kbitPS}kbit"
    done
done

Es würde dazu frühen das, wenn ein BATMAN-adv Gateway voll ausgelastet ist die zur Verfügung gestellte Bandbreite stark sinken würde und somit andere Gateways mit höher zur Verfügung gestellter Bandbreite bevorzugt werden.

Optionale Erweiterung für das Bandbreiten anouncemend

Das statische setzen der Bandbreite könnte durch eine dynamische Lösung ersetze werden. Indem das Gateway selber schaut wie gut seine Bandbreite ins Internet ist. Das könnte z.b. für Volumen begrenzte oder auch stark schwankende Anschlüsse interessant sein. Das würde die Menschliche Komponente an der stelle ausmerzten. Andererseits kann man das statische setzen der Möglichen Bandbreite auch zur Begrenzung nehmen, falls man nicht den gesamten Anschluss zur Verfügung stellen möchte.

Optionale Erweiterung zur BATMAN-adv Gateway Filterung im RZ

Um zu verhindern das bsp. VPN Router 1 das Rifu 1 Gateway wählt welches nur über das RZ Gateway 1 erreichbar ist müssen die Gateway anouncemend Pakete anderer BATMAN-adv Gateways am RZ Server gefiltert werden. Ansonsten könnte über das RZ Gateway ein anderes Gateway welches eine höhere Bandbreite announce gewählt werden. Das würde zu eine suboptimalen Verbindung führen, da das RZ Gateway ja bereits eine geringere Bandbreite ermöglicht und der Traffic des anderen BATMAN Gateways zwangsweise über das RZ Gateway geroutet werden muss. (Dies beruht auf der Annahmen das die Gatewayselection von BATMAN-adv ein solchen Fall nicht berücksichtigt.)

Layer 3 Organisation

Nun kommen wir aber zum Layer 3. Ich unter teile dies der Übersichthalber in mehrere punkte. Das erste wird die Adressen-zuordnung und Mitname sein. Danach das Routing zwischen den Eizellen Gateways.

Layer 3 Adressenvergabe

Nun zur v4 und v6 Adressenvergabe. Es ist naheliegend das die BATMAN-adv Gateways auch Adressenverteilen dies geschieht aktuell via dhcpd und radvd. Die IP adressrange Vergabe erfolgt aktuell über unser wiki.

Wenn man mit den dhcp Leases am Limit ist, sollte das o.g. Script die Gatewayselection abschaltet wenn nur noch wenige Leases offen sind. Dazu muss die for schleife durch folgenden Teil Ersetzt werden. Dies ist zufälliger weise auch schon bei den Freifunk Frankenern so.:

   for bat in /sys/class/net/bat*; do
             iface=${bat##*/}
             if [ `pidof dhcpd` > "0" ]
             then
                  batctl -m $iface gw_mode server "${Ravail_kbitPS}kbit/${Tavail_kbitPS}kbit"
             else
                  batctl -m $iface gw_mode server off
                  /etc/init.d/isc-dhcp-server restart
             fi

   done

Optionale Erweiterung für die Adressvergabe

Die Adressvergabe kann dynamisch gestaltet werden mittels des Einsatzes von ddhcpd. Dies muss aber genauer evaluiert werden, da ich selber keine Erfahrungen mit ddhcpd habe.

Optionale Erweiterung für das hood übergreifende Roaming

Ein Problem wird sein die zugeordneten Adressen bei einem hood wechsel zu erhalten. Das Roaming geht hier kaputt und der Client muss bis zum timeout warten oder sich eine neue Adresse erfragen. Diese Problem können wir evtl. mittels l3roamd lösen, so das auch hood übergreifend das Roaming möglich ist. Auch hier fehlen die Erfahrungen.

Layer 3 Routing

Um Verbindungen zwischen den hoods und lokalen exit nodes zu ermöglichen müssen wir Routing Informationen zwischen den Teilnehmern austauschen. Als Protokoll welches double-stack (v6 & v4) kann eignet sich Babel. Zudem hat Babel flexible Metriken die Kabel oder Funk Verbindungen berücksichtigen. Um sicher zustellen das das Layer 3 Routing nicht manipuliert wird, müssen wir ein Verifikationsmedium einsetzen bsp. ein Tunnel Protokoll z.b. gre, tinc, usw.. Eine volle Verschlüsselung ist dabei nicht notwendig. Evtl. bietet Babel selbst auch eine Möglichkeit der Verifikation, somit könnte man den overhead des Tunnels kompensieren.

In diesem Diagramm wird Babel auch zwischen den Gateways im RZ gesprochen. Clients haben generell die Möglichkeit via Richtfunk strecke oder über die RZ Gateways zu kommunizieren. Wenn wir jetzt z.B. die Kommunikation auf die Richtfunkstrecken forcieren wollen könnte man die Babel Verbindung zwischen den RZ Gateways auch durch unsere aktuelle BGP oder OSPF Lösung ersetzen. Somit müsste Theoretisch Babel die Lokale bekannte Route über die Richtfunkverbindung nehmen und erst wenn Babel keine Route findet und die default wählt, kann der RZ Gateway über BGP OSPF weiter an seine Anderen RZ Gateways vermitteln.

Technik/Netzkonzept

Inhaltsverzeichnis