ノードのメタデータ保護の必要性 攻撃者からコントロールプレーンにアクセスされ、ノードに関する情報(IPアドレス、ホスト名等)を取得されないために必要。主にNetworkPolicyやClusterRoleによって保護する。 NetworkPolicyの例 コントロールプレーンのIPアドレス取得 kubectl get node controlplane -o jsonpath="{.status.addresses[0].address}" Podからコントロールプレーンへのアクセスを拒否し、メタデータの取得を防ぐ apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: deny-metadata namespace: default spec: podSelector: matchLabels: app: app policyTypes: - Egress egress: - to: - ipBlock: cidr: 0.0.0.0/0 except: - <controlplane-ip>/32 # Replace with the actual IP address of the controlplane node RBAC(ClusterRole/ClusterRolebinding)の例 特定のユーザやServiceAccoutのみノード状態が見られるようにする。これにより不正なノードのメタデータの不正取得を防ぐ。 kubectl create clusterrole node-viewer --verb=get --verb=list --verb=watch --resource=nodes mTLS (相互TLS認証) Istioの導入等が有効 参考文献 https://kubernetes.io/docs/tasks/administer-cluster/securing-a-cluster/

学習内容：LightingLabs,Certificate,CSR,kubeconfig,NetworkPolicy,Kubernetes Enviroment 成果：LightingLabs 100点 メモ： -o=jsonpathや-o=custom-columnsを指定する際、itemsから書かないこと。.specや.metadata.nameから書くこと https://kubernetes.io/docs/reference/kubectl/cheatsheet/#formatting-output K8Sのアップグレード、kubectl cordonしたらkubectl uncordonを忘れずに実施すること kubectl drain でpod排出 kubectl cordonでスケジュールさせない kubeadm,kubelet,kubectlをバージョン指定でaptで持ってくる コントロールプレーンではsudo kubeadm upgrade apply <バージョン> ワーカーノードではsudo kubeadm upgrade node kubeletを再起動 kubectl uncordonでスケジュールさせる https://v1-26.docs.kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade/ .crtを見たいとき openssl x509 -in server.crt -text -noout https://qiita.com/takech9203/items/5206f8e2572e95209bbc kubeconfigは.kube/configになくても接続可能 kubectl config --kubeconfig=<ファイル名> <context> https://kubernetes.io/docs/tasks/access-application-cluster/configure-access-multiple-clusters/#define-clusters-users-and-contexts ip route showでデフォルトゲートウェイを確認

学習内容：Mock Exam 1,2,3 点数： Mock Exam1 94,Mock Exam2 70,MockExam3 54 良かったところ： kubectl run <> --dry-run=client -o yaml >test.yaml にてPodのYAMLファイルを作っている kubectl create role -hでヘルプを表示し、そこからコマンドを作成してRoleを作っていた ダメなところ： 大前提としてケアレスミスをしない、StaticPodは/etc/kubernetes/manifests配下にYAMLを配置する、文字の打ち間違え、デプロイをし忘れをしない 特にPVCの名前間違えだけは気を付ける！PVにも影響するので復旧のタイムロスがでかすぎる！ https://qiita.com/s64s_y/items/b1473695709e39ddba39 メモ： deploymentリソースのロールアウトヒストリーを残すには末尾に --record を付与する kubectl apply -f t04-deploy.yaml --record https://qiita.com/sky0621/items/b935ab6603e9ee9621e0 CSRを作るにはまずはopensslでkeyを作成し、それからcsrを作成する openssl genrsa -out myuser.key 2048 openssl req -new -key myuser.key -out myuser.csr その後CSRリソースを作成するが、事前に作成したcsrに対してcat myuser.csr | base64 | tr -d "\n"を実施する その後、kubectl certificate approve <certificate-signing-request-name>で承認する https://kubernetes.io/docs/reference/access-authn-authz/certificate-signing-requests/#normal-user https://kubernetes.io/docs/reference/access-authn-authz/certificate-signing-requests/#approval-rejection

kubeadmクラスター作成 準備 IPv4フォワーディングを有効化 https://kubernetes.io/ja/docs/setup/production-environment/container-runtimes/#ipv4%E3%83%95%E3%82%A9%E3%83%AF%E3%83%BC%E3%83%87%E3%82%A3%E3%83%B3%E3%82%B0%E3%82%92%E6%9C%89%E5%8A%B9%E5%8C%96%E3%81%97-iptables%E3%81%8B%E3%82%89%E3%83%96%E3%83%AA%E3%83%83%E3%82%B8%E3%81%95%E3%82%8C%E3%81%9F%E3%83%88%E3%83%A9%E3%83%95%E3%82%A3%E3%83%83%E3%82%AF%E3%82%92%E8%A6%8B%E3%81%88%E3%82%8B%E3%82%88%E3%81%86%E3%81%AB%E3%81%99%E3%82%8B コンテナエンジンを入れる (containerdだけ入れる) https://kubernetes.io/ja/docs/setup/production-environment/container-runtimes/#containerd https://github.com/containerd/containerd/blob/main/docs/getting-started.md#option-2-from-apt-get-or-dnf https://docs.docker.com/engine/install/ubuntu/ /etc/containerd/config.toml を作成する https://github.com/containerd/containerd/blob/main/docs/getting-started.md#customizing-containerd cgoupsドライバーを設定 https://kubernetes.io/ja/docs/setup/production-environment/container-runtimes/#systemd-cgroup%E3%83%89%E3%83%A9%E3%82%A4%E3%83%90%E3%83%BC%E3%82%92%E6%A7%8B%E6%88%90%E3%81%99%E3%82%8B swapの無効化 https://zenn.dev/onsd/articles/258d0af9251526#swap-%E3%81%AE%E7%84%A1%E5%8A%B9%E5%8C%96 6443ポートが開いているか確認 https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/install-kubeadm/#%E5%BF%85%E9%A0%88%E3%83%9D%E3%83%BC%E3%83%88%E3%81%AE%E7%A2%BA%E8%AA%8D kubeadmインストール https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/install-kubeadm/#%E5%BF%85%E9%A0%88%E3%83%9D%E3%83%BC%E3%83%88%E3%81%AE%E7%A2%BA%E8%AA%8D K8Sバージョンを指定する際は下記のように記載 sudo apt-get install -y kubelet=1.27.0-00 kubeadm=1.27.0-00 kubectl=1.27.0-00 コントールプレーン作成 kubeadm initコマンドにて作成 https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#%E3%82%B3%E3%83%B3%E3%83%88%E3%83%AD%E3%83%BC%E3%83%AB%E3%83%97%E3%83%AC%E3%83%BC%E3%83%B3%E3%83%8E%E3%83%BC%E3%83%89%E3%81%AE%E5%88%9D%E6%9C%9F%E5%8C%96 コントロールプレーン作成後、.kube/configを登録する mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config kubeadm init完了後、kubeadm joinのコマンドが表示されるのでメモしておく ワーカーノード追加 先ほどメモしたkubeadm joinコマンドを実施 https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#join-nodes CNI導入 まだcorednsのpod(kube-system)が立ち上がらない。原因としてkubeadmで構築した場合、CNIは自分で用意する必要がある。 https://kubernetes.io/ja/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#pod-network weaveのCNIの場合、下記のコマンドを実施 kubectl apply -f https://github.com/weaveworks/weave/releases/download/v2.8.1/weave-daemonset-k8s.yaml - https://www.weave.works/docs/net/latest/kubernetes/kube-addon/ 結果 test@ubuntu:~$ date Sat 10 Jun 2023 08:41:00 AM PDT test@ubuntu:~$ kubectl get node -o wide NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME ubuntu Ready control-plane 111m v1.27.0 192.168.59.130 <none> Ubuntu 20.04.3 LTS 5.15.0-73-generic containerd://1.6.21 worker Ready <none> 100m v1.27.0 192.168.59.129 <none> Ubuntu 20.04.3 LTS 5.15.0-73-generic containerd://1.6.21 test@ubuntu:~$ その他 kubectl get (リソース名) -o jsonpath='{}'でjson形式で絞り込みする https://kubernetes.io/ja/docs/reference/kubectl/jsonpath/ kubectl get (リソース名) --sort-by で表示する項目の順番を変える -o=custom-columns=<spec>にて表示する項目を絞り込む https://kubernetes.io/ja/docs/reference/kubectl/cheatsheet/#%E5%87%BA%E5%8A%9B%E3%81%AE%E3%83%95%E3%82%A9%E3%83%BC%E3%83%9E%E3%83%83%E3%83%88 https://kubernetes.io/ja/docs/reference/kubectl/cheatsheet/#%E3%83%AA%E3%82%BD%E3%83%BC%E3%82%B9%E3%81%AE%E6%A4%9C%E7%B4%A2%E3%81%A8%E9%96%B2%E8%A6%A7 実際の試験のCKAはUbuntuを使用 Ctrl + - でFireFox、ターミナルの画面を縮小できる(Killer.sh上にて確認) (宿題)試験前日に周りに電子機器や窓を隠すように部屋の片づけをする！

学習内容：kubeadmの勉強 メモ：以下の動画を参照 　　　https://www.youtube.com/watch?v=dlbM4riDpSM&t=1913s https://www.youtube.com/watch?v=2AbDqZsMTxA&t=2879s 　　　ETCDはK8Sのオブジェクトを保管する役割 StaticPodにコントロールプレーンで必要なyamlファイルが配置される 　　　kubeadmで証明書やコントロールプレーンに必要なconfigmap、kubeconfigなどを作成する 　　　CNIは別途入れる 　　　kubeadm initでコントロールプレーン作成、kubeadm joinでノード追加、kubeadm upgradeでクラスターアップグレード

学習内容：Udemy LightingLabs 反省点：スペルミスやコマンドミスのケアレスミスが多い。特にリソース名間違えが多く、時間ロスが非常に多い。焦りすぎず早く確実にケアレスミスを防ぐ。 メモ：クラスターアップグレード 　　　https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade/ JsonPathでgetコマンドの出力値を加工する 　　　https://kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade/

学習内容：Udemy Mock Exam3 メモ： JsonPathの書き方を勉強すること https://kubernetes.io/ja/docs/reference/kubectl/jsonpath/ NetworkPolicyのPodSelectorの位置について気を付けること https://kubernetes.io/docs/concepts/services-networking/network-policies/#networkpolicy-resource kubectl scale deploy --replicas=Xができない場合、kube-system内のcontroller-managerを疑うこと https://kubernetes.io/docs/concepts/overview/components/ Udemy 3週目の勉強方針 ・最優先としてコントロールプレーンを理解するまで勉強する https://amateur-engineer-blog.com/kubernetes-cluster/ ・NetworkPolicy、Taints、AffinityNodeの理解が怪しい部分 ・JsonPathの書き方 ・kubectl exposeなど、時間短縮に有効なコマンドを覚える

学習内容：Ingress,kubeadmによるNode作成 メモ： 前提としてcgorup driverの設定を実施 https://kubernetes.io/docs/setup/production-environment/container-runtimes/ kubeadm,kubelet,kubectlのインストール https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/ kubeadmによりコントロールプレーンを作成 kubeadm init --pod-network-cidr=<> --apiserver-advertise-address=<> https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/#instructions データプレーンにはコントロールプレーンで発行したトークンで、クラスターに追加 kubeadm join --token <token> <control-plane-host>:<control-plane-port> --discovery-token-ca-cert-hash sha256:<hash> CNIのインストール https://kubernetes.io/docs/concepts/cluster-administration/addons/

学習内容：Udemy MockExam1,2 メモ： kubectl expose po (pod名) --type=ClusterIP --port=(ポート番号) --name=(サービス名) でサービスを作る https://kubernetes.io/ja/docs/tutorials/stateless-application/expose-external-ip-address/ ETCDCTL_API=3によるETCDバックアップ ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 \ --cacert=<trusted-ca-file> --cert=<cert-file> --key=<key-file> \ snapshot save <backup-file-location> https://kubernetes.io/docs/tasks/administer-cluster/configure-upgrade-etcd/#backing-up-an-etcd-cluster CertificateSigningRequestを作成し、kubectl certificate approve <certificate-signing-request-name>にてCertificateSigningRequestsを許可する https://kubernetes.io/docs/reference/access-authn-authz/certificate-signing-requests/#create-certificatessigningrequest https://kubernetes.io/docs/reference/access-authn-authz/certificate-signing-requests/#create-certificatessigningrequest 反省：焦りすぎてケアレスミスや間違いが多いので、早く注意深くする

学習内容：NetworkService、CoreDNS、Ingress メモ： PodやServiceリソースの名前解決にCoreDNSが使用されている Kubernetesの特定のサービスにアクセスするには <Service名>.<Namespace名>.<Clusterのドメイン>を参照する必要がある 例：test.default.cluster.local https://www.mtioutput.com/entry/kube-dns-check Ingressでリダイレクトするアノテーションとしてnginx.ingress.kubernetes.io/rewrite-targetが存在する /にリダイレクトするには「nginx.ingress.kubernetes.io/rewrite-target: /」を宣言する https://github.com/kubernetes/ingress-nginx/blob/main/docs/examples/rewrite/README.md#deployment https://kubernetes.io/docs/concepts/services-networking/ingress/#the-ingress-resource

学習内容：SecurityContext、NetworkPolicy、PV、PVC、StorageClass、CNI メモ： ・weaveのデプロイ方法 　kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')" 　https://v1-22.docs.kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-availability/#stacked-control-plane-and-etcd-nodes ・KubernetesにおけるCNI(Container Network Interface)はPod間のネットワークを司るために必須 　https://www.netstars.co.jp/kubestarblog/k8s-3/ ・NetworkPolicyはAzureのNSGみたいなもの。K8S内ネットワークのインバウンド、アウトバウンドを制御する。 　https://amateur-engineer-blog.com/kubernetes-network-policy/

学習内容：Role、ClusterRole、ServiceAccount、imagePullSecrets メモ： RoleとClusterRoleはコマンドで作成できる kubectl create role -h kubectl create rolebinding -h kubectl create clusterrole -h kubectl create clusterrolebinding -h 独自のDockerレジストリを使用する場合、docker-registryのSecretリソースが必要。またDeployment等にimagePullSecrets:にてdockerレジストリの宛先を格納したSecretを宣言する必要がある。 kubectl secret docker-registry -h https://kubernetes.io/docs/tasks/configure-pod-container/pull-image-private-registry/#create-a-secret-by-providing-credentials-on-the-command-line

学習内容：ETCD、TLS、Certificate Signing Requests、kubectl config メモ： ETCDCTL_API=3 etcdctl --endpoints=(IP) --cacert="" --cert="" --key=""snapshot save (ファイル名)でバックアップ取得 https://kubernetes.io/docs/tasks/administer-cluster/configure-upgrade-etcd/#backing-up-an-etcd-cluster Certificate Signing Requestsでクラスターへの認証を作成する https://kubernetes.io/docs/reference/access-authn-authz/certificate-signing-requests/ https://zenn.dev/coco9122/articles/k8s-certificate-signing-requests-coco9122 K8Sの証明書は基本的には/etc/kubernetes/pkiに保存される https://kubernetes.io/ja/docs/setup/best-practices/certificates/ kubectl config --kubeconfig="" use-context でクラスターを切り替える https://kubernetes.io/ja/docs/setup/best-practices/certificates/

学習内容：kubectl drain , kubectl uncordon, kubeadm upgrade メモ：Kubernetesノードのバージョンアップ方法を復習すること https://v1-26.docs.kubernetes.io/docs/tasks/administer-cluster/kubeadm/kubeadm-upgrade/

やったこと：NodeAffinity、StaticPods、ConfigMap、Secret、initContainer、MultiContainer 怪しいところ： Secretリソースを最近使っていないので忘れている。 https://kubernetes.io/docs/tasks/inject-data-application/distribute-credentials-secure/#define-container-environment-variables-using-secret-data kubectl drain(Pod排出)とcordon(スケジュールさせない)の違いが怪しい https://cstoku.dev/posts/2018/k8sdojo-21/ cordon後、uncordonでスケジュールをさせる https://www.mtioutput.com/entry/2020/06/21/000000 良かったところ： kubecl run pod名 --dry-run=client -o yaml > xxx.yamlでひな形作れる kubectl create secret generic secret名 --from-literal=key名=値　でbase64に変換せずにSecretが作れる 反省：ケアレスミスが多すぎる。