Αυτός είναι ένας βήμα προς βήμα οδηγός για τη ρύθμιση του Kubernetes σε Scaleway bare-metal ARM και x86-64. Ο κύριος λόγος που εργάζομαι σε αυτό το έργο είναι ότι ήθελα να αυτοματοποιήσω τη δημιουργία δοκιμαστικών περιβαλλόντων για το OpenFaaS και το Weave Net στο ARM. Έψαχνα για μια φθηνή λύση για να εκτελέσω δοκιμές ενσωμάτωσης και αφού δοκίμασα πολλούς παρόχους cloud, στάθηκα στο Scaleway. Η Scaleway είναι ένας γαλλικός πάροχος cloud που προσφέρει γυμνούς μεταλλικούς διακομιστές ARM και x86-64 σε προσιτές τιμές. Χρησιμοποιώντας τον πάροχο Terraform Scaleway μαζί με το kubeadm, μπορείτε να έχετε ένα πλήρως λειτουργικό σύμπλεγμα Kubernetes σε δέκα λεπτά Αρχική εγκατάσταση Κλωνοποιήστε το αποθετήριο και εγκαταστήστε τις εξαρτήσεις: $ git clone httpsgithub.com/stefanprodan/k8s-scw-baremetal.git $ cd k8s-scw-baremetal $ terraform init Σημειώστε ότι θα χρειαστείτε Terraform έκδοση 0.10 ή νεότερη έκδοση για να εκτελέσετε αυτό το έργο Πριν εκτελέσετε το έργο, θα πρέπει να δημιουργήσετε ένα διακριτικό πρόσβασης για να συνδεθεί το Terraform στο Scaleway API. Χρησιμοποιώντας το διακριτικό και το κλειδί πρόσβασης, δημιουργήστε δύο μεταβλητές περιβάλλοντος: $ εξαγωγή SCALEWAY_ORGANIZATIONACCESS-KEY>"$ εξαγωγή SCALEWAY_TOKENACCESS-TOKEN>"Χρήση Δημιουργήστε ένα σύμπλεγμα bare-metal Kubernetes ARMv7 με έναν κύριο και δύο κόμβους: $ terraform χώρος εργασίας νέος βραχίονας $ terraform εφαρμογή \ -var region=par1 \ -var arch=arm \ -var server_type=C1 \ -var nodes=2 \ -var weave_passwd=ChangeMe \ -var k8s_version=stable-1.9 \ -var docker_version =17.03.0~ce-0~ubuntu-xenial Αυτό θα κάνει τα εξής: - κρατά δημόσιες IP για κάθε διακομιστή - παρέχει τρεις γυμνούς διακομιστές με Ubuntu 16.04.1 LTS - συνδέεται με τον κύριο διακομιστή μέσω SSH και εγκαθιστά πακέτα Docker CE και kubeadm armhf apt - εκτελεί το kubeadm init στον κύριο διακομιστή και διαμορφώνει το kubectl - κατεβάζει το αρχείο διαμόρφωσης admin kubectl στον τοπικό σας υπολογιστή και αντικαθιστά την ιδιωτική IP με τη δημόσια - δημιουργεί ένα μυστικό Kubernetes με τον κωδικό πρόσβασης Weave Net - εγκαθιστά το Weave Net με κρυπτογραφημένη επικάλυψη - εγκαθιστά πρόσθετα συμπλέγματος (πίνακας ελέγχου Kubernetes, διακομιστής μετρήσεων και Heapster) - εκκινεί τους κόμβους εργάτη παράλληλα και εγκαθιστά το Docker CE και το kubeadm - ενώνει τους κόμβους εργάτη στο σύμπλεγμα χρησιμοποιώντας το διακριτικό kubeadm που λαμβάνεται από τον κύριο Κλιμακώστε αυξάνοντας τον αριθμό των κόμβων: $ terraform apply -var nodes=3 Καταστρέψτε ολόκληρη την υποδομή με: Terraform-δύναμη Δημιουργήστε ένα σύμπλεγμα γυμνού μετάλλου Kubernetes AMD64 με έναν κύριο και έναν κόμβο: $ terraform χώρος εργασίας νέος amd64 $ terraform εφαρμογή \ -var region=par1 \ -var arch=x86_64 \ -var server_type=C2S \ -var nodes=1 \ -var weave_passwd=ChangeMe \ -var k8s_version=stable-1.9 \ -var docker_version =17.03.0~ce-0~ubuntu-xenial Τηλεχειριστήριο Μετά την εφαρμογή του σχεδίου Terraform, θα δείτε πολλές μεταβλητές εξόδου, όπως η κύρια δημόσια IP, η εντολή kubeadmn join και η τρέχουσα διαμόρφωση χώρου εργασίας Για να τρέξω εντολές kubectl έναντι του συμπλέγματος Scaleway που μπορείτε να χρησιμοποιήσετε Μεταβλητή εξόδου kubectl_config: Ελέγξτε εάν το Heapster λειτουργεί: $ kubectl --kubeconfig terraform έξοδος kubectl_config) επάνω κόμβοι ΟΝΟΜΑ CPU(πυρήνες) CPU% MEMORY(byte) ΜΝΗΜΗ% arm-master-1 655m 16% 873Mi 45% arm-node-1 147m 3% 618Mi 3-2% 2 101m 2% 584Mi 30% ο Η μορφή αρχείου διαμόρφωσης kubectl είναι .conf as in arm.conf or amd64.conf In order to access the dashboard you’ll need to find its cluster IP: $ kubectl --kubeconfig terraform output kubectl_config) \ -n kube-system get svc --selector=k8s-app=kubernetes-dashboard NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kubernetes-dashboard ClusterIP 10.107.37.220 80/TCP 6m Open a SSH tunnel: ssh -L 8888::80 [email protected] Now you can access the dashboard on your computer at httplocalhost:8888 Expose services outside the cluster Since we’re running on bare-metal and Scaleway doesn’t offer a load balancer, the easiest way to expose applications outside of Kubernetes is using a NodePort service Let’s deploy the podinfo app in the default namespace. Podinfo has a multi-arch Docker image and it will work on arm, arm64 or amd64 Create the podinfo nodeport service: $ kubectl --kubeconfig terraform output kubectl_config) \ apply -f httpsraw.githubusercontent.com/stefanprodan/k8s-podinfo/master/deploy/auto-scaling/podinfo-svc-nodeport.yaml service "podinfo-nodeport" created Create the podinfo deployment: $ kubectl --kubeconfig terraform output kubectl_config) \ apply -f httpsraw.githubusercontent.com/stefanprodan/k8s-podinfo/master/deploy/auto-scaling/podinfo-dep.yaml deployment "podinfo" created Inspect the podinfo service to obtain the port number: $ kubectl --kubeconfig terraform output kubectl_config) \ get svc --selector=app=podinfo NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE podinfo-nodeport NodePort 10.104.132.14 9898:31190/TCP 3m You can access podinfo at httpMASTER_PUBLIC_IP>:31190 or using curl: $ curl httpterraform output k8s_master_public_ip):31190 runtime: arch: arm max_procs: "4" num_cpu: "4" num_goroutine: "12" os: linux version: go1.9.2 labels: app: podinfo pod-template-hash: "1847780700" annotations: kubernetes.io/config.seen: 2018-01-08T00:39:45.580597397Z kubernetes.io/config.source: api environment: HOME: /root HOSTNAME: podinfo-5d8ccd4c44-zrczc KUBERNETES_PORT: tcp10.96.0.1:443 KUBERNETES_PORT_443_TCP: tcp10.96.0.1:443 KUBERNETES_PORT_443_TCP_ADDR: 10.96.0.1 KUBERNETES_PORT_443_TCP_PORT: "443" KUBERNETES_PORT_443_TCP_PROTO: tcp KUBERNETES_SERVICE_HOST: 10.96.0.1 KUBERNETES_SERVICE_PORT: "443" KUBERNETES_SERVICE_PORT_HTTPS: "443" PATH: /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin externalIP: IPv4: 163.172.139.112 OpenFaaS You can deploy OpenFaaS on Kubernetes with Helm or by using the YAML files form the faas-netes repository Clone the faas-netes repo: git clone httpsgithub.com/openfaas/faas-netes cd faas-netes Deploy OpenFaaS for ARM: $ kubectl --kubeconfig terraform output kubectl_config) \ apply -f ./namespaces.ymlyaml_armhf Deploy OpenFaaS for AMD64: $ kubectl --kubeconfig terraform output kubectl_config) \ apply -f ./namespaces.ymlyaml You can access the OpenFaaS gateway at httpMASTER_PUBLIC_IP>:31112 Horizontal Pod Autoscaling Starting from Kubernetes 1.9 kube-controller-manager is configured by default with horizontal-pod-autoscaler-use-rest-clients In order to use HPA we need to install the metrics server to enable the new metrics API used by HPA v2 Both Heapster and the metrics server have been deployed from Terraform when the master node was provisioned The metric server collects resource usage data from each node using Kubelet Summary API. Check if the metrics server is running: $ kubectl --kubeconfig terraform output kubectl_config) \ get --raw "/apis/metrics.k8s.io/v1beta1/nodes" | jq { "kind": "NodeMetricsList", "apiVersion": "metrics.k8s.io/v1beta1", "metadata": { "selfLink": "/apis/metrics.k8s.io/v1beta1/nodes" }, "items": [ { "metadata": { "name": "arm-master-1", "selfLink": "/apis/metrics.k8s.io/v1beta1/nodes/arm-master-1", "creationTimestamp": "2018-01-08T15:17:09Z" }, "timestamp": "2018-01-08T15:17:00Z", "window": "1m0s", "usage": { "cpu": "384m", "memory": "935792Ki" } }, { "metadata": { "name": "arm-node-1", "selfLink": "/apis/metrics.k8s.io/v1beta1/nodes/arm-node-1", "creationTimestamp": "2018-01-08T15:17:09Z" }, "timestamp": "2018-01-08T15:17:00Z", "window": "1m0s", "usage": { "cpu": "130m", "memory": "649020Ki" } }, { "metadata": { "name": "arm-node-2", "selfLink": "/apis/metrics.k8s.io/v1beta1/nodes/arm-node-2", "creationTimestamp": "2018-01-08T15:17:09Z" }, "timestamp": "2018-01-08T15:17:00Z", "window": "1m0s", "usage": { "cpu": "120m", "memory": "614180Ki" } } ] } Let’s define a HPA that will maintain a minimum of two replicas and will scale up to ten if the CPU average is over 80% or if the memory goes over 200Mi apiVersion: autoscaling/v2beta1 kind: HorizontalPodAutoscaler metadata: name: podinfo spec: scaleTargetRef: apiVersion: apps/v1beta1 kind: Deployment name: podinfo minReplicas: 2 maxReplicas: 10 metrics: - type: Resource resource: name: cpu targetAverageUtilization: 80 - type: Resource resource: name: memory targetAverageValue: 200Mi Apply the podinfo HPA: $ kubectl --kubeconfig terraform output kubectl_config) \ apply -f httpsraw.githubusercontent.com/stefanprodan/k8s-podinfo/master/deploy/auto-scaling/podinfo-hpa.yaml horizontalpodautoscaler "podinfo" created After a couple of seconds the HPA controller will contact the metrics server and will fetch the CPU and memory usage: $ kubectl --kubeconfig terraform output kubectl_config) get hpa NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE podinfo Deployment/podinfo 2826240 / 200Mi, 15% / 80% 2 10 2 5m In order to increase the CPU usage we could run a load test with hey: #install hey go get -u github.com/rakyll/hey #do 10K requests rate limited at 20 QPS hey -n 10000 -q 10 -c 5 httpterraform output k8s_master_public_ip):31190 You can monitor the autoscaler events with: $ kubectl --kubeconfig terraform output kubectl_config) describe hpa Events: Type Reason Age From MessageNormal SuccessfulRescale 7m horizontal-pod-autoscaler New size: 4; reason: cpu resource utilization (percentage of request) above target Normal SuccessfulRescale 3m horizontal-pod-autoscaler New size: 8; reason: cpu resource utilization (percentage of request) above target After the load tests finishes the autoscaler will remove replicas until the deployment reaches the initial replica count: Events: Type Reason Age From MessageNormal SuccessfulRescale 20m horizontal-pod-autoscaler New size: 4; reason: cpu resource utilization (percentage of request) above target Normal SuccessfulRescale 16m horizontal-pod-autoscaler New size: 8; reason: cpu resource utilization (percentage of request) above target Normal SuccessfulRescale 12m horizontal-pod-autoscaler New size: 10; reason: cpu resource utilization (percentage of request) above target Normal SuccessfulRescale 6m horizontal-pod-autoscaler New size: 2; reason: All metrics below target Conclusions Thanks to kubeadm and Terraform, bootstrapping a Kubernetes cluster on bare-metal can be done with a single command and it takes just ten minutes to have a fully functional setup. If you have any suggestion on improving this guide please submit an issue or PR on GitHub at stefanprodan/k8s-scw-baremetal. Contributions are more than welcome!