搜索到
78
篇与
的结果
-
k8s的webhook开发 一、知识储备1、Admission Webhooks是什么 请求链路 ------------|--------|-------------》etcd 关卡 关卡 webhook指的是中途拦击请求做定制化处理，包含 （1）mutate:截胡请求之后做修改，改完之后扔回原链路 （2）validate:对请求的数据做校验，不符合规定的直接扔掉 Admission翻译为准入，入指的是入到etcd数据库中2、webhook的执行时机 Admission Webhook 本质是 api-server 的一个 webhook 调用， 总结出两种webhook的触发时机 1、总提来说，Admission Webhooks 机制是在 API Server 接收到请求、执行授权检查后和将请求持久化到 etcd 之前触发。 2、详细的看，Mutating Webhook 在 Validating Webhook 之前触发，因此可以先对资源进行修改，然后再进行验证。 3、Admission Webhook的运行流程 ┌──────────────────────────────────┐ ┌─────────────────┐ │ │ apply │ │ read │ validatingwebhookconfiguration │ ────────────►│ api-server │◄───────────┤ │ │ │ │ mutatingwebhookconfiguration │ └────────┬────────┘ │ │ │ └──────────────────────────────────┘ │ │ 回调 │ │ ┌────────▼────────┐ │ │ │ webhookservice │ │ │ └─────────────────┘4、Admission Webhook的应用场景mutating webhook应用场景举例 自动注入sidecar容器 自动配置资源限制 注入配置或者标签 Validating Webhook应用场景举例 强制标签和注解策略 必须用私有仓库的镜像 安全策略审计：例如不允许使用特权模式二、mutating webhook实战案例1.储备知识：基于flask框架开发一个web程序，对外提供api接口# 安装python3解释器 # 为解释器环境安装flask代码包: pip3 install flask from flask import Flask app = Flask(__name__) # 创建一个 Flask 应用实例 @app.route('/xxx', methods=['GET']) # http://192.168.71.2:8888/xxx def mutate(): print("run....................") return "hello" @app.route('/yyy', methods=['GET']) # http://192.168.71.2:8888/xxx def test(): print("run22222222222222222....................") return "hello2222222222222222222222222" if __name__ == '__main__': app.run(host='0.0.0.0', port=8888,)2.需求：为所有新创建的pod打上标签：environment: production（1）先准备webhook程序cat > webhook.py << 'EOF' from flask import Flask, request, jsonify # 导入 Flask 框架、请求处理和 JSON 响应模块 import json import ssl import base64 app = Flask(__name__) # 创建一个 Flask 应用实例 def create_patch(metadata): """ 创建 JSON Patch 以添加 'mutate' 注释。 如果 metadata.annotations 不存在，则首先创建该路径。 """ if 'labels' in metadata: dic = metadata['labels'] else: dic = {} patch = [ # 添加 'labels' 键，如果不存在 {'op': 'add', 'path': '/metadata/labels', 'value': dic}, # 添加 'environment' 标签 {'op': 'add', 'path': '/metadata/labels/environment', 'value': 'production'} ] patch_json = json.dumps(patch) patch_base64 = base64.b64encode(patch_json.encode('utf-8')).decode('utf-8') return patch_base64 @app.route('/mutate', methods=['POST']) # https://webhook-service.default.svc:443/mutate def mutate(): """ 处理 Mutating Webhook 的请求，对 Pod 对象应用 JSON Patch。 """ admission_review = request.get_json() # 从请求中提取 AdmissionReview 对象 # 验证 AdmissionReview 格式是否正确 # admission_review['request']['object'] if 'request' not in admission_review or 'object' not in admission_review['request']: return jsonify({ 'kind': 'AdmissionReview', 'apiVersion': 'admission.k8s.io/v1', 'response': { 'allowed': False, # 如果格式无效，则禁止当前提交过来的资源请求 'status': {'message': 'Invalid AdmissionReview format'} } }) req = admission_review['request'] # 提取请求对象 print('--->',req) # 生成 JSON Patch metata = req['object']['metadata'] patch_json = create_patch(metata) # 准备 AdmissionResponse 响应 admission_response = { 'kind': 'AdmissionReview', 'apiVersion': 'admission.k8s.io/v1', 'response': { 'uid': req['uid'], 'allowed': True, 'patchType': 'JSONPatch', 'patch': patch_json # 直接包含 Patch 数据作为 JSON 字符串 } } print(admission_response) return jsonify(admission_response) if __name__ == '__main__': # 加载 SSL 证书和私钥 context = ssl.create_default_context(ssl.Purpose.CLIENT_AUTH) context.load_cert_chain('/certs/tls.crt', '/certs/tls.key') # Run the Flask application with SSL app.run(host='0.0.0.0', port=443, ssl_context=context) EOF python webhook.py（2）制作镜像（包含webhook.py的运行环境，依赖python3解释器、依赖flask框架）文件dockerfile内容如下# 使用官方 Python 镜像作为基础镜像 FROM python:3.9-slim # 设置工作目录 WORKDIR /app # 将当前目录的所有文件复制到容器的 /app 目录 COPY webhook.py . # 安装 Flask 及其依赖 RUN pip install Flask # 启动 Flask 应用 CMD ["python", "webhook.py"] 然后构建镜像：docker build -t egon-mute-webhook:v1.0 .打标签上传docker tag c0f805ffaa01 registry.cn-guangzhou.aliyuncs.com/xingcangku/egon-mute-webhook:v1.0 docker push registry.cn-guangzhou.aliyuncs.com/xingcangku/egon-mute-webhook:v1.0（3）配置 Webhook 的 Secret# 生成 CA 私钥 openssl genrsa -out ca.key 2048 # 生成自签名 CA 证书，有效期为 100 年 openssl req -x509 -new -nodes -key ca.key -subj "/CN=webhook-service.default.svc" -days 36500 -out ca.crt创建证书请求的配置文件cat > webhook-openssl.cnf << 'EOF' [req] default_bits = 2048 prompt = no default_md = sha256 req_extensions = req_ext distinguished_name = dn [ dn ] C = CN ST = Shanghai L = Shanghai O = egonlin OU = egonlin CN = webhook-service.default.svc [ req_ext ] subjectAltName = @alt_names [alt_names] DNS.1 = webhook-service DNS.2 = webhook-service.default DNS.3 = webhook-service.default.svc DNS.4 = webhook-service.default.svc.cluster.local [req_distinguished_name] CN = webhook-service.default.svc [v3_req] keyUsage = critical, digitalSignature, keyEncipherment extendedKeyUsage = serverAuth subjectAltName = @alt_names [ v3_ext ] authorityKeyIdentifier=keyid,issuer:always basicConstraints=CA:FALSE keyUsage=keyEncipherment,dataEncipherment extendedKeyUsage=serverAuth,clientAuth subjectAltName=@alt_names EOF使用webhook-openssl.cnf这个配置文件生成 CSR：# 生成 Webhook 服务的私钥 openssl genrsa -out webhook.key 2048 # 使用 OpenSSL 配置文件生成 CSR openssl req -new -key webhook.key -out webhook.csr -config webhook-openssl.cnf openssl x509 -req -in webhook.csr -CA ca.crt -CAkey ca.key -CAcreateserial -out webhook.crt -days 36500 -extensions v3_ext -extfile webhook-openssl.cnf #最终得到webhook.crt、webhook.key将生成的证书和私钥存储在 Kubernetes Secret 中#可能有残留可以先删一下 kubectl delete secrets webhook-certs kubectl create secret tls webhook-certs \ --cert=webhook.crt \ --key=webhook.key \ --namespace=default --dry-run=client -o yaml | kubectl apply -f -3.创建deployment来部署webhook服务cat > webhook-deployment.yaml << 'EOF' apiVersion: apps/v1 kind: Deployment metadata: name: webhook-deployment namespace: default spec: replicas: 1 selector: matchLabels: app: webhook template: metadata: labels: app: webhook spec: containers: - name: webhook image: registry.cn-guangzhou.aliyuncs.com/xingcangku/axingcangku:v2.0 command: [ "/bin/sh", "-c", "tail -f /dev/null" ] volumeMounts: - name: webhook-certs mountPath: /certs readOnly: true volumes: - name: webhook-certs secret: secretName: webhook-certs --- apiVersion: v1 kind: Service metadata: name: webhook-service namespace: default spec: ports: - port: 443 targetPort: 443 selector: app: webhook EOF4.基于kind: mutatingwebhookconfiguration 该资源类型创建出一个资源，相当于于一道关卡在该资源中声明把请求转给的目标webhook程序的api地址基于脚本来生成yaml：cat a.sh#!/bin/bash base64 -w 0 ca.crt > ca.crt.base64 # 定义文件路径 ca_base64_file="ca.crt.base64" yaml_file="m-w-c.yaml" # 读取 ca.crt.base64 的内容 ca_base64_content=$(cat "$ca_base64_file" | tr -d '\n') # 生成替换后的 YAML 文件内容 # 将 base64 内容插入到 YAML 文件中 cat <<EOF > "$yaml_file" apiVersion: admissionregistration.k8s.io/v1 kind: MutatingWebhookConfiguration metadata: name: example-mutating-webhook webhooks: - name: example.webhook.com clientConfig: service: name: webhook-service namespace: default path: "/mutate" # 替换为 cat ca.crt.base64的内容 caBundle: "$ca_base64_content" rules: - operations: ["CREATE"] apiGroups: [""] apiVersions: ["v1"] resources: ["pods"] admissionReviewVersions: ["v1"] sideEffects: None EOF echo "YAML 文件已更新。" 5、创建pod进行测试[root@k8s-master-01 word]# cat test.yaml apiVersion: v1 kind: Pod metadata: name: test-pod spec: containers: - name: nginx image: nginx:1.18 -
k8s常用命令 kubectl常用命令#查看所有节点pod的名字、数量、状态、启动的时间、创建的时间 kubectl get pods #加上-o wide可以看到IP还有pod的运行在那些节点上 #Nominated Node：表示 Pod 已被选中调度到某个节点，但还未完成调度过程。 #Readiness Gates：一种额外的状态检查机制，用于确定 Pod 是否准备好接收流量。 kubectl get pods -o wide -w #可以查看pod的yaml信息 kubectl get pods <pod的name> -o yaml #查看pod的日志 kubectl logs -f <pod的name> #查看所有名称空间 kube-flannel网络插件 kube-node-lease检测节点是否活着 kube-system系统组件 kube-public存放公共信息 default默认空间 kubectl get namespaces #查看deploy和pods在default名称空间下的状态，deploy预期的pod的数量和实际的数量 只不过这条命令展示的更加详细，多个镜像 标签 容器名 kubectl get deploy,pods -o wide -n default #查看预期 kubectl get deploy #查看详细信息 kubectl describe node <节点名字> #去污点 去了污点后续就可以调度过来 补充一点master节点默认带有污点 kubectl taint node k8s-node-01 node-role.kubernetes.io/master:NoExecute- #加污点 除了master节点给别的节点加污点会把该节点的副本转移到别的副本 kubectl taint node k8s-node-01 node-role.kubernetes.io/master:NoExecute #加减副本数量 kubectl scale deployment web --replicas=<数量> #删除 kubectl delete deployment test #可以用来生成一个yaml文件 kubectl create deployment web --image=nginx:1.14 --dry-run -o yaml > web.yaml #应用或更新资源到集群 kubectl apply -f web.yaml 创建过程创建过程： 用户编写 YAML 文件并使用 kubectl apply 命令创建 Deployment。 Deployment 创建一个或多个 ReplicaSet，并设置期望的副本数。 ReplicaSet 根据 Pod 模板创建 Pod，并确保实际运行的 Pod 数量与期望的副本数相匹配。 管理过程： Deployment 监控 ReplicaSet 和 Pod 的状态，确保符合期望的状态。 如果 Pod 出现故障，ReplicaSet 会创建新的 Pod 来替换。 Deployment 和 ReplicaSet 会根据定义的策略来管理 Pod 的更新。 单个 ReplicaSet：通常情况下，一个 Deployment 会创建一个 ReplicaSet 来管理 Pod。 多个 ReplicaSet：在滚动更新或回滚期间，Deployment 会创建多个 ReplicaSet 来实现平滑的更新。pod调度策略（pod应该调度在哪些物理节点上），注意，污点的优先级更高 1、根据资源 Pod声明的requests和limits，前者就是Pod需要多少资源，后者表示Pod最多用多少资源，资源比如CPU内存等 2、指哪打哪 节点标签选择器，会选择符合标签的节点进行调度 3、同上 节点亲和性，分为硬亲和和软亲和，前者必须满足，后者尝试满足，不强制
-
K8S名称空间删除残留 #建议不要直接删除名称空间，先删除名称空间里面的资源 1. 获取命名空间的资源： 查看该命名空间下的资源： kubectl get all -n system 2. 强制删除命名空间： 使用以下命令强制删除命名空间及其资源： kubectl delete namespace system --grace-period=0 --force 3. 检查删除状态： 再次检查命名空间状态： kubectl get namespaces如果以上方法删除了还有残留的话接下往下看[root@master01 ~]# kubectl delete namespace system --grace-period=0 --force Warning: Immediate deletion does not wait for confirmation that the running resource has been terminated. The resource may continue to run on the cluster indefinitely. namespace "system" force deleted还有是删除不了的话最后的绝招！先在一个终端执行命令： 直接修改 finalizers： 尝试直接通过 API 删除 finalizers： 启动 kubectl proxy： kubectl proxy 然后再开一个终端执行下面的删除命令 curl -X PUT http://localhost:8001/api/v1/namespaces/system/finalize -H "Content-Type: application/json" -d '{"kind":"Namespace","apiVersion":"v1","metadata":{"name":"system","finalizers":[]}}' curl -X PUT http://localhost:8001/api/v1/namespaces/monitoring/finalize -H "Content-Type: application/json" -d '{"kind":"Namespace","apiVersion":"v1","metadata":{"name":"monitoring","finalizers":[]}}' curl -X PUT http://localhost:8001/api/v1/namespaces/mysqlcluster-operator-system/finalize -H "Content-Type: application/json" -d '{"kind":"Namespace","apiVersion":"v1","metadata":{"name":"mysqlcluster-operator-system","finalizers":[]}}'
