RTC
nl en
🌟Installeer en gebruik Kubernetes
[ Nog niet afgewerkt ]
kubernetes

Doel

In deze post wil ik volgende zaken realiseren:

  • installeer en maak kennis met kubernetes
  • deploy bestaande zelfgemaakte applicaties in een kubernetes cluster

Resultaat

1 - Installeer en bestudeer Kubernetes

K3s

Om de portabiliteit, schaalbaarheid en beschikbaarheid van mijn programma’s te verhogen,
ga ik kubernetes als software-platform gebruiken voor container orchestration.
Portabiliteit betekent dat kubernetes zowat op alle linux distros kan geïnstalleerd en gebruikt worden,
om applicaties schaalbaar en met hoge beschikbaarheid te deployen.
Kubernetes is hierdoor zowat de standaard geworden in bedrijven en voor Cloud providers.

Als eerste heb de architectuur en basiswerking van Kubernetes geleerd via een online cursus.
Daarna heb ik verschillende kubernetes distros vergeleken, en “K3s/K3d” als lichtgewicht implementatie gekozen
(vs standard kubernetes K8s, Openshift, Talos Linux, Minikube, Kind, Microk8s).

K3s

Om kubernetes te installeren, diende ik hardware en/of virtuele machines te voorzien.
Daarna diende ik hierop de gewenste cluster architectuur en namespaces uit te bouwen.
Ik creeerde volgende 3 kubernetes-omgevingen:

  • kubernetes cluster “local-devapp” voor local development en exploratie:
    op mijn development pc/laptop installeerde ik “Rancher Desktop”;
    hierin maakte ik gebruik van een one-node-cluster met K3s en een multi-node-cluster met K3d,
    waarin nodes dynamisch gecreeerd en verwijderd kunnen worden wanneer nodig
  • kubernetes cluster “home-devdep” voor centrale app development en deployment tools:
    ik maakte hiervoor gebruik van een one-node-cluster met K3s,
    en kocht hiervoor een refurbished business-grade machine aan;
    in latere posts kan deze cluster uitgebreid worden met extra nodes
  • kubernetes cluster “home-prodapp” voor in productie gedeployde applicaties:
    ik maakte hiervoor gebruik van een one-node-cluster met K3s,
    en kocht hiervoor een refurbished business-grade machine aan;
    in latere posts kan deze cluster uitgebreid worden met extra nodes
HP EliteDesk

De aankoopprijs van deze 2 machines moest binnen mijn jaarlijks budget van 600 eur vallen.
Ik kocht daarom nu volgende 2 gereviseerde business-grade mini pc’s met een laag energieverbruik,
en installeerde hierop K3s Kubernetes:
HP EliteDesk 800 G5 USFF - Intel Core i5-9e Gen (6 cores/6 threads) - 16 GB DDR4 SDRAM - 256 GB SSD

2 - Bestudeer application deployment in Kubernetes

K8s Workloads

Ik leerde als eerste om applicaties te deployen en gebruiken op de “home-prodapp” kubernetes cluster.

ℹ️ Kubernetes geeft ondersteuning om de schaalbaarheid en beschikbaarheid te verbeteren in 3 belangrijke domeinen:

  • computing resources:
    deze worden “Workloads” genoemd in Kubernetes;
    kubernetes specifieert “Long-Running / Continuous” workload types (DaemonSet, Deployment, StatefulSet),
    en “Batch / Scheduled” workload types (Jobs, CronJobs);
  • storage resources:
    deze worden “Volumes” genoemd in Kubernetes;
    kubernetes specifieert vele types die opgedeeld worden in “Ephemeral & Temporary”, “Node-Local”
    en “Persistent & Networked” volume types;
  • networking resources:
    deze worden “Services, Load Balancing, and Networking” genoemd in Kubernetes;
    kubernetes specifieert “ClusterIP” (default), “NodePort”, “LoadBalancer”, “ExternalName” en “HeadlessService” als service types;

In deze post heb ik enkel volgende resources bestudeerd:

  • computing resources:
    “DaemonSet”, “Deployment” en “StatefulSet” als workload types
    (“Batch / Scheduled” workload types zullen in latere posts bestudeerd worden)
  • storage resources:
    “emptyDir” & “configMap” & “secret” als Ephemeral,
    “hostPath” als Node-Local en “nfs” & “csi” (Container Storage Interface) als Persistent volume types
  • networking resources:
    “NodePort” en “LoadBalancer” als service types

Voor de studie van deze kubernetes support voor applicaties, creeerde ik 2 namespaces naast “default” in de “home-prodapp” cluster:

  • “ops” namespace:
    hierin zullen app en infra monitoring tools geinstalleerd worden
  • “demo” namespace:
    hierin zullen de reeds bestaande, zelf gemaakte apps als “demo-hello2” en “demo-todo2” opnieuw geinstalleerd worden

ℹ️ In latere posts zullen we ook “vCluster” bestuderen.
vCluster biedt isolatie zoals clusters, maar is lichtgewicht zoals namespaces.
Het is snel op te starten, net als containers.

Tijdens dit onderzoek zocht ik goede web pages en youtube video’s om bij te leren over Kubernetes.
Om al deze bookmarks browser-onafhankelijk en efficient te kunnen bijhouden en archiveren, zocht ik een software-oplossing.
Ik koos voor “Linkding” (vs Karakeep, Linkwarden), een gratis, snelle en lichtgewicht bladwijzerbeheerder.

3 - Upgrade van mijn thuisnetwerk

3.1 - Van ISP wisselen voor internettoegang thuis

ISP Belgium

Voor mijn thuisnetwerk veranderde ik naar een nieuwe ISP provider met een goedkoper abonnement
en een grotere maximum internet-snelheid: 20 Mbps voor uploads en 200 Mbps voor downloads.

ℹ️ In België levert iedere ISP provider een eigen standaard modem/router met eigen instellingen.
Enkele voorbeelden:

  • Telenet en BASE:
    DHCP-range van 192.168.0.100 tot en met 192.168.0.254;
    statische IP-adressen van 192.168.0.0 tot en met 192.168.0.99
  • Proximus:
    DHCP-range van 192.168.129.0 tot en met 192.168.129.254;
    statische IP-adressen van 192.168.128.128 tot en met 192.168.128.254
  • Scarlet:
    DHCP-range van 192.168.1.0 tot en met 192.168.1.254;
    statische IP-adressen moeten buiten deze range liggen, maar hebben geen voorgestelde range.

In de router van mijn nieuwe ISP provider kreeg ik een nieuw publiek IP-adres,
en diende ik de statische IP-adressen van mijn servers na te kijken en eventueel aan te passen.
Ik paste daarna ook de referenties naar deze statische IP-adressen aan in mijn Cloudflare configuratie.
Als laatste paste ik ook het “Port Forward”-adres op mijn router aan.
Daarna volgde uitgebreide testen om na te gaan of alles werkte zoals bij vorige ISP provider.

Nadat ik alle tests met succes had afgerond, heb ik alle “port forwarding” verwijderd
en vervangen door een veiligere toegang met Cloudflare Tunneling.
Alle inbound requests worden dus geblokkeerd door de ISP router.

3.2 - Advertenties blokkeren bij het bezoeken van webpagina’s op internet

ISP Belgium

Outbound requests naar internet worden doorgelaten door de ISP router.
Echter bij het bezoeken van het web pagina’s op het internet worden ongewild
advertenties, pop-ups, online trackers en schadelijke websites ge-opend.
AdGuard (vs PiHole) is populaire DNS server software om dit te blokkeren,
en biedt oplossingen voor privacybescherming, anti-phishing en het weren van malware.
Ik installeerde de gratis AdGuard Home software om de privacy van alle communicatie via mijn ISP router te beschermen.

3.3 - Netwerkbeveiliging thuis verhogen met VLAN’s

router

Alle fysieke en virtuele machines in mijn thuisnetwerk hebben actieve firewals met regels.
Voorts wou ik VLAN support voor betere interne netwerkbeveiliging,
en kocht ik hiervoor een nieuwe router (200 eur van het budget van volgend jaar):
MikroTik RB5009UG+S+IN.

router

De modem/router van mijn internetprovider ondersteunt geen ‘bridge-mode’,
waardoor ik genoodzaakt was om twee afzonderlijke netwerken op te zetten (router behind router).
Doordat ik een eigen router achter mijn isp router opzet,
ben ik onafhankelijk van de door de isp gekozen router en beschik ik over meer router functionaliteit.

De ISP-router heeft als LAN-adres 192.168.0.1 en gebruikt de DHCP-reeks 192.168.0.x.
Ik wijzigde deze default configuratie van de ISP router:
de Wifi werd uitgeschakeld, het LAN-adres werd 192.168.1.1 en de DHCP-reeks werd gewijzigd in 192.168.1.x.
Daarna heb ik alle LAN-kabels in deze router ontkoppeld en herstarte de router.
Ik heb dan een computer verbonden met mijn eigen router, de beheerpagina geopend,
en het LAN-adres gewijzigd naar 192.168.0.1 (een andere reeks dan die van de ISP-router).
Ik heb de andere installingen van mijn eigen router ingesteld:
DHCP werd ingesteld naar range van 192.168.0.100 tot en met 192.168.0.254
en de firewall en NAT werd uitgeschakeld (geen Wifi op deze router aanwezig).

Vervolgens heb ik een kabel aangesloten tussen een LAN-poort op de ISP-router,
en de WAN- of internetpoort op mijn eigen nieuwe router.
Mijn nieuwe router ga ik ook inzetten als patch panel “alternatief”,
waarin alle 6 netwerk-kabels voor alle kamers worden aangesloten.
Alle servers werden achter een smart switch (sodola) in een server rack geplaatst.
Mijn eigen router heeft nu als LAN-adres 192.168.0.1
en gebruikt IP-adressen in de reeks 192.168.0.x voor verbonden apparaten.
Na deze wijzigingen voor de tweede router, werkte alles zoals vooraf.

router

Al mijn machines zijn nu aangesloten op mijn nieuwe router die VLANs ondersteunt.
Ik zal volgende VLAN’s op deze router configureren:

  • Mgmt VLAN (VLAN 01), gebruikt door network admin om switches en routers te beheren
  • Home VLAN (VLAN 10), gebruikt door betrouwbare interne pc’s, laptops en servers (met alle toegang)
  • Guest VLAN (VLAN 20), gebruikt door bezoekers (met enkel internet-toegang)
  • IoT VLAN (VLAN 30), gebruikt door “Internet of Things” smart devices, tv’s en camera’s (met enkel internet-toegang)
  • Surv VLAN (VLAN 40), gebruikt door bewakingscamera’s (met enkel internet-toegang)

Voorlopig beperk ik me tot “Home VLAN” (default), “Guest VLAN” en “IoT VLAN”.
Hierdoor kan ik bezoekers wifi toegang geven tot internet via mijn thuisnetwerk,
zonder dat ze toegang krijgen tot andere machines door ze te isoleren in een eigen “Guest” VLAN.
Ook las ik dat sommige merken van smart tv’s je home network scannnen en deze data doorsturen naar het internet.
Door IoT devices te isoleren in een eigen “IoT” VLAN kunnen we deze impact beperken.

Under construction

TODO

Dit resulteerde in volgende architectuur voor mijn thuis-netwerk (gebruikmakend van budget componenten):

my network

4 - Deploy dummy app als DaemonSet workload in Kubernetes

K8s daemonset

DaemonSets worden veelal gebruikt voor de deployment van app en infra monitoring software.
Om het gebruik van DaemonSet workloads aan te leren, gebruikte ik voorlopig “nginx” als te installeren software.
Later zullen we deze software vervangen door de Grafana stack.

TODO

Kubernetes “DaemonSet” as workload type and “emptyDir” & “nfs” as volume types

K8s rancher

I made use of “Rancher Desktop” as my main local kubernetes tool.

K8s rancher

Using kubectl (with “kubectx” and “kubens” as plugins) as cli tool and raw kubernetes manifests (in yaml);

5 - Deploy demo-hello app als Deployment workload in Kubernetes

K8s deployment

TODO

Kubernetes “Deployment” as workload type and “configMap” & “secret” as read-only volume types;
because we are using Deployments, all Pods are sharing the same volume

K8s Helm

Using Helm (vs Kustomize) as config management tool;
Deploy the web UI “Kubernetes Dashboard” and access it.

6 - Deploy demo-todo app met database als StatefulSet workload in Kubernetes

K8s statefulset

TODO

Kubernetes “Deployment” & “StatefulSet” as workload types
and “hostPath” & “nfs” & “csi” as volume types;
because we are using StatefulSets, each Pod gets a separate volume

K8s k9s

Using popular cli tools: K9s and “Lens” (vs kube-ps1, stern, kubetail, kube-shell, kubeadm);

7 - Maak Kubernetes applicaties publiek toegankelijk

K8s cf

Ik koos voor “Zero Trust Network Access” (ZTNA) als de enige technology om mijn thuisnetwerk veilig toegankelijk te maken.
Hierdoor is het niet nodig om poorten in de firewall te openen en om een (statisch) openbaar IP-adres bloot te stellen.
Twingate is de populairste en uitgebreide ZTNA technologie (met een gratis optie).
Omdat ik echter reeds gebruik maak van Cloudflare-diensten, heb ik echter gekozen voor “Cloudflare Zero Trust”.
De Cloudflare Zero Trust oplossing maakt gebruik van Cloudflare Tunneling en Cloudflare Access.
Misschien moet ik later overstappen op Twingate voor een hogere doorvoer wanneer ik privé-cloudopslag implementeer.
In Overview of network technology heb ik de uitleg over ZTNA toegevoegd.

TODO

Make “demo-hello2” and “demo-todo2” publicly accessible,
using Cloudflare Tunneling and Kubernetes “LoadBalancer” service type