1 - kube-apiserver Audit 配置 (v1)

资源类型

Event

出现在:

Event 结构包含可出现在 API 审计日志中的所有信息。

字段描述
apiVersion
string
audit.k8s.io/v1
kind
string
Event
level [必需]
Level
生成事件所对应的审计级别。
auditID [必需]
k8s.io/apimachinery/pkg/types.UID
为每个请求所生成的唯一审计 ID。
stage [必需]
Stage
生成此事件时请求的处理阶段。
requestURI [必需]
string
requestURI 是客户端发送到服务器端的请求 URI。
verb [必需]
string
verb 是与请求对应的 Kubernetes 动词。对于非资源请求,此字段为 HTTP 方法的小写形式。
user [必需]
authentication/v1.UserInfo
关于认证用户的信息。
impersonatedUser
authentication/v1.UserInfo
关于所伪装(impersonated)的用户的信息。
sourceIPs
[]string
发起请求和中间代理的源 IP 地址。
userAgent
string
userAgent 中记录客户端所报告的用户代理(User Agent)字符串。 注意 userAgent 信息是由客户端提供的,一定不要信任。
objectRef
ObjectReference
此请求所指向的对象引用。对于 List 类型的请求或者非资源请求,此字段可忽略。
responseStatus
meta/v1.Status
响应的状态,当 responseObject 不是 Status 类型时被赋值。 对于成功的请求,此字段仅包含 code 和 statusSuccess。 对于非 Status 类型的错误响应,此字段会被自动赋值为出错信息。
requestObject
k8s.io/apimachinery/pkg/runtime.Unknown
来自请求的 API 对象,以 JSON 格式呈现。requestObject 在请求中按原样记录 (可能会采用 JSON 重新编码),之后会进入版本转换、默认值填充、准入控制以及 配置信息合并等阶段。此对象为外部版本化的对象类型,甚至其自身可能并不是一个 合法的对象。对于非资源请求,此字段被忽略。 只有当审计级别为 Request 或更高的时候才会记录。
responseObject
k8s.io/apimachinery/pkg/runtime.Unknown
响应中包含的 API 对象,以 JSON 格式呈现。requestObject 是在被转换为外部类型 并序列化为 JSON 格式之后才被记录的。 对于非资源请求,此字段会被忽略。 只有审计级别为 Response 时才会记录。
requestReceivedTimestamp
meta/v1.MicroTime
请求到达 API 服务器时的时间。
stageTimestamp
meta/v1.MicroTime
请求到达当前审计阶段时的时间。
annotations
map[string]string
annotations 是一个无结构的键-值映射,其中保存的是一个审计事件。 该事件可以由请求处理链路上的插件来设置,包括身份认证插件、鉴权插件以及 准入控制插件等。 注意这些注解是针对审计事件本身的,与所提交的对象中的 metadata.annotations 之间不存在对应关系。 映射中的键名应该唯一性地标识生成该事件的组件,从而避免名字上的冲突 (例如 podsecuritypolicy.admission.k8s.io/policy)。 映射中的键值应该比较简洁。 当审计级别为 Metadata 时会包含 annotations 字段。

EventList

EventList 是审计事件(Event)的列表。

字段描述
apiVersion
string
audit.k8s.io/v1
kind
string
EventList
metadata
meta/v1.ListMeta
列表结构元数据
items [必需]
[]Event
事件对象列表

Policy

出现在:

Policy 定义的是审计日志的配置以及不同类型请求的日志记录规则。

字段描述
apiVersion
string
audit.k8s.io/v1
kind
string
Policy
metadata
meta/v1.ObjectMeta
包含 metadata 字段是为了便于与 API 基础设施之间实现互操作。 参考 Kubernetes API 文档了解 metadata 字段的详细信息。
rules [必需]
[]PolicyRule
字段 rules 设置请求要被记录的审计级别(level)。 每个请求可能会与多条规则相匹配;发生这种状况时遵从第一条匹配规则。 默认的审计级别是 None,不过可以在列表的末尾使用一条全抓(catch-all)规则 重载其设置。 列表中的规则(PolicyRule)是严格有序的。
omitStages
[]Stage
字段 omitStages 是一个阶段(Stage)列表,其中包含无须生成事件的阶段。 注意这一选项也可以通过每条规则来设置。 审计组件最终会忽略出现在 omitStages 中阶段,也会忽略规则中的阶段。

PolicyList

PolicyList 是由审计策略(Policy)组成的列表。

字段描述
apiVersion
string
audit.k8s.io/v1
kind
string
PolicyList
metadata
meta/v1.ListMeta
列表结构元数据。
items [必需]
[]Policy
策略(Policy)对象列表。

GroupResources

出现在:

GroupResources 代表的是某 API 组中的资源类别。

字段描述
group
string
字段 group 给出包含资源的 API 组的名称。 空字符串代表 core API 组。
resources
[]string

如果存在通配符,则合法性检查逻辑会确保 resources 中的条目不会彼此重叠。
空的列表意味着规则适用于该 API 组中的所有资源及其子资源。

resourceNames
[]string
字段 resourceNames 是策略将匹配的资源实例名称列表。 使用此字段时,resources 必须指定。 空的 resourceNames 列表意味着资源的所有实例都会匹配到此策略。

Level

string 数据类型的别名。

出现在:

Level 定义的是审计过程中在日志内记录的信息量。

ObjectReference

出现在:

ObjectReference 包含的是用来检查或修改所引用对象时将需要的全部信息。

字段描述
resource
string
资源类别。
namespace
string
资源对象所在名字空间。
name
string
资源对象名称。
uid
k8s.io/apimachinery/pkg/types.UID
资源对象的唯一标识(UID)。
apiGroup
string
字段 apiGroup 给出包含所引用对象的 API 组的名称。 空字符串代表 core API 组。
apiVersion
string
字段 apiVersion 是包含所引用对象的 API 组的版本。
resourceVersion
string
资源对象自身的版本值。
subresource
string
子资源的类别。

PolicyRule

出现在:

PolicyRule 包含一个映射,基于元数据将请求映射到某审计级别。 请求必须与每个字段所定义的规则都匹配(即 rules 的交集)才被视为匹配。

此规则所适用的名字空间列表。 空字符串("")意味着适用于非名字空间作用域的资源。 空列表意味着适用于所有名字空间。
字段描述
level [必需]
Level
与此规则匹配的请求所对应的日志记录级别(Level)。
users
[]string
根据身份认证所确定的用户名的列表,给出此规则所适用的用户。 空列表意味着适用于所有用户。
userGroups
[]string
此规则所适用的用户组的列表。如果用户是所列用户组中任一用户组的成员,则视为匹配。 空列表意味着适用于所有用户组。
verbs
[]string
此规则所适用的动词(verb)列表。 空列表意味着适用于所有动词。
resources
[]GroupResources
此规则所适用的资源类别列表。 空列表意味着适用于 API 组中的所有资源类别。
namespaces
[]string
nonResourceURLs
[]string
字段 nonResourceURLs 给出一组需要被审计的 URL 路径。 允许使用 ∗,但只能作为路径中最后一个完整分段。
例如:
"/metrics" - 记录对 API 服务器度量值(metrics)的所有请求;
"/healthz∗" - 记录所有健康检查请求。
omitStages
[]Stage
字段 omitStages 是一个阶段(Stage)列表,针对所列的阶段服务器不会生成审计事件。 注意这一选项也可以在策略(Policy)级别指定。服务器审计组件会忽略 omitStages 中给出的阶段,也会忽略策略中给出的阶段。 空列表意味着不对阶段作任何限制。

Stage

string 数据类型的别名。

出现在:

Stage 定义在请求处理过程中可以生成审计事件的阶段。

2 - kube-apiserver 加密配置 (v1)

包 v1 是 API 的 v1 版本。

资源类型

EncryptionConfiguration

EncryptionConfiguration 为加密驱动保存完整的配置信息。

字段描述
apiVersion
string
apiserver.config.k8s.io/v1
kind
string
EncryptionConfiguration
resources [必需]
[]ResourceConfiguration

resources 是一个包含资源及其对应的加密驱动的列表。

AESConfiguration

出现在:

AESConfiguration 包含 AES 转换器的 API 配置信息。

字段描述
keys [必需]
[]Key

keys 是一组用于创建 AES 转换器的秘钥。 对于 AES-CBC,每个秘钥必须是 32 字节长;对于 AES-GCM,每个秘钥可以是 16、24、32 字节长。

IdentityConfiguration

出现在:

IdentityConfiguration 是一个空的结构,用来支持在驱动配置中支持标识转换器。

KMSConfiguration

出现在:

KMSConfiguration 包含基于 KMS 的封套转换器的名称、缓存大小以及配置文件路径信息。

字段描述
name [必需]
string

name 是要使用的 KMS 插件名称。

cachesize
int32

cachesize 是可在内存中缓存的 Secret 数量上限。默认值是 1000。将此字段设置为负值会禁用缓存。

endpoint [必需]
string

endpoint 是 gRPC 服务器的监听地址,例如 "unix:///var/run/kms-provider.sock"。

timeout
meta/v1.Duration

对 KMS 插件执行 gRPC 调用的超时时长(例如,'5s')。默认值为 3 秒。

Key

出现在:

Key 中包含为某转换器所提供的键名和对应的私密数据。

字段描述
name [必需]
string

name 是在向磁盘中存储数据时使用的键名。

secret [必需]
string

secret 是实际的秘钥,用 base64 编码。

ProviderConfiguration

出现在:

ProviderConfiguration 为加密驱动存储配置信息。

字段描述
aesgcm [必需]
AESConfiguration

aesgcm 是用于 AES-GCM 转换器的配置。

aescbc [必需]
AESConfiguration

aescbc 是用于 AES-CBC 转换器的配置。

secretbox [必需]
SecretboxConfiguration

secretbox 是用于基于 Secretbox 的转换器的配置。

identity [必需]
IdentityConfiguration

identity 是用于标识转换器的配置(空)。

kms [必需]
KMSConfiguration

kms 中包含用于基于 KMS 的封套转换器的名称、缓存大小以及配置文件路径信息。

ResourceConfiguration

出现在:

ResourceConfiguration 中保存资源配置。

字段描述
resources [必需]
[]string

resources 是必需要加密的 Kubernetes 资源的列表。

providers [必需]
[]ProviderConfiguration

providers 是一个转换器列表,用来将资源写入到磁盘或从磁盘上读出。 例如:'aesgcm'、'aescbc'、'secretbox'、'identity'。

SecretboxConfiguration

出现在:

SecretboxConfiguration 包含用于某 Secretbox 转换器的 API 配置。

字段描述
keys [必需]
[]Key

keys 是一个秘钥列表,用来创建 Secretbox 转换器。每个秘钥必须是 32 字节长。

3 - kube-apiserver 配置 (v1)

v1 包中包含 API 的 v1 版本。

资源类型

AdmissionConfiguration

AdmissionConfiguration 为准入控制器提供版本化的配置。

字段描述
apiVersion
string
apiserver.config.k8s.io/v1
kind
string
AdmissionConfiguration
plugins
[]AdmissionPluginConfiguration

plugins 字段允许为每个准入控制插件设置配置选项。

AdmissionPluginConfiguration

出现在:

AdmissionPluginConfiguration 为某个插件提供配置信息。

字段描述
name [必需]
string

name 是准入控制器的名称。它必须与所注册的准入插件名称匹配。

path
string

path 是指向包含插件配置信息的配置文件的路径。

configuration
k8s.io/apimachinery/pkg/runtime.Unknown

configuration 是一个内嵌的配置对象,用来保存插件的配置信息。 如果存在,则使用这里的配置信息而不是指向配置文件的路径。

4 - kube-apiserver 配置 (v1alpha1)

包 v1alpha1 包含 API 的 v1alpha1 版本。

资源类型

AdmissionConfiguration

AdmissionConfiguration 为准入控制器提供版本化的配置信息。

字段描述
apiVersion
string
apiserver.k8s.io/v1alpha1
kind
string
AdmissionConfiguration
plugins
[]AdmissionPluginConfiguration

plugins 允许用户为每个准入控制插件指定设置。

EgressSelectorConfiguration

EgressSelectorConfiguration 为 Egress 选择算符客户端提供版本化的配置选项。

字段描述
apiVersion
string
apiserver.k8s.io/v1alpha1
kind
string
EgressSelectorConfiguration
egressSelections [必需]
[]EgressSelection

connectionServices 包含一组 Egress 选择算符客户端配置选项。

TracingConfiguration

TracingConfiguration 为跟踪客户端提供版本化的配置信息。

字段描述
apiVersion
string
apiserver.k8s.io/v1alpha1
kind
string
TracingConfiguration
endpoint
string

在控制面节点上运行的采集器的端点。 API 服务器在向采集器发送数据时将 egressType 设置为 ControlPlane。 这里的语法定义在 https://github.com/grpc/grpc/blob/master/doc/naming.md。 默认值为 otlpgrpc 的默认值,即 localhost:4317 这一连接是不安全的,且不支持 TLS。

samplingRatePerMillion
int32

samplingRatePerMillion 设置每一百万个数据点中要采样的样本个数。默认值为 0。

AdmissionPluginConfiguration

出现在:

AdmissionPluginConfiguration 为某个插件提供配置信息。

字段描述
name [必需]
string

name 是准入控制器的名称。此名称必须与所注册的准入插件名称匹配。

path
string

path 为指向包含插件配置数据的配置文件的路径。

configuration
k8s.io/apimachinery/pkg/runtime.Unknown

configuration 是一个嵌入的配置对象,用作插件的配置数据来源。 如果设置了此字段,则使用此字段而不是指向配置文件的路径。

Connection

出现在:

Connection 提供某个 Egress 选择客户端的配置信息。

字段描述
proxyProtocol [必需]
ProtocolType

proxyProtocol 是客户端连接到 konnectivity 服务器所使用的协议。

transport
Transport

transport 定义的是传输层的配置。我们使用这个配置来联系 konnectivity 服务器。 当 proxyProtocol 是 HTTPConnect 或 GRPC 时需要设置此字段。

EgressSelection

出现在:

EgressSelection 为某个 Egress 选择客户端提供配置信息。

字段描述
name [必需]
string

name 是 Egress 选择器的名称。当前支持的取值有 "controlplane", "master","etcd" 和 "cluster"。 "master" Egress 选择器已被弃用,推荐使用 "controlplane"。

connection [必需]
Connection

connection 是用来配置 Egress 选择器的配置信息。

ProtocolType

string 类型的别名)

出现在:

ProtocolType 是 connection.protocolType 的合法值集合。

TCPTransport

出现在:

TCPTransport 提供使用 TCP 连接 konnectivity 服务器时需要的信息。

字段描述
url [必需]
string

url 是要连接的 konnectivity 服务器的位置。例如 "https://127.0.0.1:8131"。

tlsConfig
TLSConfig

tlsConfig 是使用 TLS 来连接 konnectivity 服务器时需要的信息。

TLSConfig

出现在:

TLSConfig 为连接 konnectivity 服务器提供身份认证信息。仅用于 TCPTransport。

字段描述
caBundle
string

caBundle 是指向用来确定与 konnectivity 服务器间信任欢喜的 CA 证书包的文件位置。 当 tcpTransport.url 前缀为 "http://" 时必须不设置,或者设置为空。 如果 tcpTransport.url 前缀为 "https://" 并且此字段未设置,则默认使用系统的信任根。

clientKey
string

clientKey 是与 konnectivity 服务器进行 mtls 握手时使用的客户端秘钥文件位置。 如果 `tcp.url` 前缀为 http://,必须不指定或者为空; 如果 `tcp.url` 前缀为 https://,必须设置。

clientCert
string

clientCert 是与 konnectivity 服务器进行 mtls 握手时使用的客户端证书文件位置。 如果 `tcp.url` 前缀为 http://,必须不指定或者为空; 如果 `tcp.url` 前缀为 https://,必须设置。

Transport

出现在:

Transport 定义联系 konnectivity 服务器时要使用的传输层配置。

字段描述
tcp
TCPTransport

tcp 包含通过 TCP 与 konnectivity 服务器通信时使用的 TCP 配置。 目前使用 TCP 传输时不支持 GRPC 的 proxyProtocoltcpuds 二者至少设置一个。

uds
UDSTransport

uds 包含通过 UDS 与 konnectivity 服务器通信时使用的 UDS 配置。 tcpuds 二者至少设置一个。

UDSTransport

出现在:

UDSTransport 设置通过 UDS 连接 konnectivity 服务器时需要的信息。

字段描述
udsName [必需]
string

udsName 是与 konnectivity 服务器连接时使用的 UNIX 域套接字名称。 字段取值不要求包含 unix:// 前缀。 (例如:/etc/srv/kubernetes/konnectivity-server/konnectivity-server.socket

5 - kube-proxy 配置 (v1alpha1)

资源类型

KubeProxyConfiguration

KubeProxyConfiguration 包含用来配置 Kubernetes 代理服务器的所有配置信息。

字段描述
apiVersion
string
kubeproxy.config.k8s.io/v1alpha1
kind
string
KubeProxyConfiguration
featureGates [必需]
map[string]bool
featureGates 是一个功能特性名称到布尔值的映射表,用来启用或者禁用测试性质的功能特性。
bindAddress [必需]
string
bindAddress 是代理服务器提供服务时所用 IP 地址(设置为 0.0.0.0 时意味着在所有网络接口上提供服务)。
healthzBindAddress [必需]
string
healthzBindAddress 是健康状态检查服务器提供服务时所使用的的 IP 地址和端口, 默认设置为 '0.0.0.0:10256'。
metricsBindAddress [必需]
string
metricsBindAddress 是度量值服务器提供服务时所使用的的 IP 地址和端口, 默认设置为 '127.0.0.1:10249'(设置为 0.0.0.0 意味着在所有接口上提供服务)。
bindAddressHardFail [必需]
bool
bindAddressHardFail 设置为 true 时,kube-proxy 将无法绑定到某端口这类问题视为致命错误并直接退出。
enableProfiling [必需]
bool
enableProfiling 通过 '/debug/pprof' 处理程序在 Web 界面上启用性能分析。 性能分析处理程序将由度量值服务器执行。
clusterCIDR [必需]
string
clusterCIDR 是集群中 Pods 所使用的 CIDR 范围。这一地址范围用于对来自集群外的请求 流量进行桥接。如果未设置,则 kube-proxy 不会对非集群内部的流量做桥接。
hostnameOverride [必需]
string
hostnameOverride 非空时,所给的字符串(而不是实际的主机名)将被用作 kube-proxy 的标识。
clientConnection [必需]
ClientConnectionConfiguration
clientConnection 给出代理服务器与 API 服务器通信时要使用的 kubeconfig 文件和客户端链接设置。
iptables [必需]
KubeProxyIPTablesConfiguration
iptables 字段包含与 iptables 相关的配置选项。
ipvs [必需]
KubeProxyIPVSConfiguration
ipvs 中包含与 ipvs 相关的配置选项。
oomScoreAdj [必需]
int32
oomScoreAdj 是为 kube-proxy 进程所设置的 oom-score-adj 值。 此设置值必须介于 [-1000, 1000] 范围内。
mode [必需]
ProxyMode
mode 用来设置将使用的代理模式。
portRange [必需]
string
portRange 是主机端口的范围,形式为 ‘beginPort-endPort’(包含边界), 用来设置代理服务所使用的端口。如果未指定(即‘0-0’),则代理服务会随机选择端口号。
udpIdleTimeout [必需]
meta/v1.Duration
udpIdleTimeout 用来设置 UDP 链接保持活跃的时长(例如,'250ms'、'2s')。 此值必须大于 0。此字段仅适用于 mode 值为 'userspace' 的场合。
conntrack [必需]
KubeProxyConntrackConfiguration
conntrack 包含与 conntrack 相关的配置选项。
configSyncPeriod [必需]
meta/v1.Duration
configSyncPeriod 是从 API 服务器刷新配置的频率。此值必须大于 0。
nodePortAddresses [必需]
[]string
nodePortAddresses 是 kube-proxy 进程的 --nodeport-addresses 命令行参数设置。 此值必须是合法的 IP 段。所给的 IP 段会作为参数来选择 NodePort 类型服务所使用的接口。 如果有人希望将本地主机(Localhost)上的服务暴露给本地访问,同时暴露在某些其他网络接口上 以实现某种目标,可以使用 IP 段的列表。 如果此值被设置为 "127.0.0.0/8",则 kube-proxy 将仅为 NodePort 服务选择本地回路(loopback)接口。 如果此值被设置为非零的 IP 段,则 kube-proxy 会对 IP 作过滤,仅使用适用于当前节点的 IP 地址。 空的字符串列表意味着选择所有网络接口。
winkernel [必需]
KubeProxyWinkernelConfiguration
winkernel 包含与 winkernel 相关的配置选项。
showHiddenMetricsForVersion [必需]
string
showHiddenMetricsForVersion 给出的是一个 Kubernetes 版本号字符串,用来设置你希望 显示隐藏度量值的版本。
detectLocalMode [必需]
LocalMode
detectLocalMode 用来确定检测本地流量的方式,默认为 LocalModeClusterCIDR。

KubeProxyConntrackConfiguration

出现在:

KubeProxyConntrackConfiguration 包含为 Kubernetes 代理服务器提供的 conntrack 设置。

字段描述
maxPerCore [必需]
int32
maxPerCore 是每个 CPU 核所跟踪的 NAT 链接个数上限 (0 意味着保留当前上限限制并忽略 min 字段设置值)。
min [必需]
int32
min 给出要分配的链接跟踪记录个数下限。 设置此值时会忽略 maxPerCore 的值(将 maxPerCore 设置为 0 时不会调整上限值)。
tcpEstablishedTimeout [必需]
meta/v1.Duration
tcpEstablishedTimeout 给出空闲 TCP 连接的保留时间(例如,'2s')。 此值必须大于 0。
tcpCloseWaitTimeout [必需]
meta/v1.Duration
tcpCloseWaitTimeout 用来设置空闲的、处于 CLOSE_WAIT 状态的 conntrack 条目 保留在 conntrack 表中的时间长度(例如,'60s')。 此设置值必须大于 0。

KubeProxyIPTablesConfiguration

出现在:

KubeProxyIPTablesConfiguration 包含用于 Kubernetes 代理服务器的、与 iptables 相关的配置细节。

字段描述
masqueradeBit [必需]
int32
masqueradeBit 是 iptables fwmark 空间中的具体一位,用来在纯 iptables 代理模式下 设置 SNAT。此值必须介于 [0, 31](含边界值)。
masqueradeAll [必需]
bool
masqueradeAll 用来通知 kube-proxy 在使用纯 iptables 代理模式时对所有流量执行 SNAT 操作。
syncPeriod [必需]
meta/v1.Duration
syncPeriod 给出 iptables 规则的刷新周期(例如,'5s'、'1m'、'2h22m')。 此值必须大于 0。
minSyncPeriod [必需]
meta/v1.Duration
minSyncPeriod 给出 iptables 规则被刷新的最小周期(例如,'5s'、'1m'、'2h22m')。

KubeProxyIPVSConfiguration

出现在:

KubeProxyIPVSConfiguration 包含用于 Kubernetes 代理服务器的、与 ipvs 相关的配置细节。

字段描述
syncPeriod [必需]
meta/v1.Duration
syncPeriod 给出 ipvs 规则的刷新周期(例如,'5s'、'1m'、'2h22m')。 此值必须大于 0。
minSyncPeriod [必需]
meta/v1.Duration
minSyncPeriod 给出 ipvs 规则被刷新的最小周期(例如,'5s'、'1m'、'2h22m')。
scheduler [必需]
string
IPVS 调度器。
excludeCIDRs [必需]
[]string
excludeCIDRs 取值为一个 CIDR 列表,ipvs 代理程序在清理 IPVS 服务时不应触碰这些 IP 地址。
strictARP [必需]
bool
strictARP 用来配置 arp_ignore 和 arp_announce,以避免(错误地)响应来自 kube-ipvs0 接口的 ARP 查询请求。
tcpTimeout [必需]
meta/v1.Duration
tcpTimeout 是用于设置空闲 IPVS TCP 会话的超时值。 默认值为 0,意味着使用系统上当前的超时值设置。
tcpFinTimeout [必需]
meta/v1.Duration
tcpFinTimeout 用来设置 IPVS TCP 会话在收到 FIN 之后的超时值。 默认值为 0,意味着使用系统上当前的超时值设置。
udpTimeout [必需]
meta/v1.Duration
udpTimeout 用来设置 IPVS UDP 包的超时值。 默认值为 0,意味着使用系统上当前的超时值设置。

KubeProxyWinkernelConfiguration

出现在:

KubeProxyWinkernelConfiguration 包含 Kubernetes 代理服务器的 Windows/HNS 设置。

字段描述
networkName [必需]
string
networkName 是 kube-proxy 用来创建端点和策略的网络名称。
sourceVip [必需]
string
sourceVip 是执行负载均衡时进行 NAT 转换所使用的源端 VIP 端点 IP 地址。
enableDSR [必需]
bool
enableDSR 通知 kube-proxy 是否使用 DSR 来创建 HNS 策略。

LocalMode

string 类型的别名)

出现在:

LocalMode 代表的是对节点上本地流量进行检测的模式。

ProxyMode

string 类型的别名)

出现在:

ProxyMode 表示的是 Kubernetes 代理服务器所使用的模式。

目前 Linux 平台上有三种可用的代理模式:'userspace'(相对较老,即将被淘汰)、 'iptables'(相对较新,速度较快)、'ipvs'(最新,在性能和可扩缩性上表现好)。

在 Windows 平台上有两种可用的代理模式:'userspace'(相对较老,但稳定)和 'kernelspace'(相对较新,速度更快)。

在 Linux 平台上,如果代理的 mode 为空,则使用可用的最佳代理(目前是 iptables, 将来可能会发生变化)。如果选择的是 iptables 代理(无论原因如何),但系统的内核 或者 iptables 的版本不够高,kube-proxy 也会回退为 userspace 代理服务器所使用的模式。 当代理的 mode 设置为 'ipvs' 时会启用 IPVS 模式,对应的回退路径是先尝试 iptables, 最后回退到 userspace。

在 Windows 平台上,如果代理 mode 为空,则使用可用的最佳代理(目前是 userspace, 不过将来可能会发生变化)。如果所选择的是 winkernel 代理(无论原因如何), 但 Windows 内核不支持此代理模式,则 kube-proxy 会回退到 userspace 代理。

ClientConnectionConfiguration

出现在:

ClientConnectionConfiguration 包含构造客户端所需要的细节信息。

字段描述
kubeconfig [必需]
string
kubeconfig 是指向一个 KubeConfig 文件的路径。
acceptContentTypes [必需]
string
acceptContentTypes 定义客户端在连接到服务器时所发送的 Accept 头部字段。 此设置值会覆盖默认配置 'application/json'。 此字段会控制某特定客户端与指定服务器的所有链接。
contentType [必需]
string
contentType 是从此客户端向服务器发送数据时使用的内容类型(Content Type)。
qps [必需]
float32
qps 控制此连接上每秒钟可以发送的查询请求个数。
burst [必需]
int32
允许客户端超出其速率限制时可以临时累积的额外查询个数。

FormatOptions

FormatOptions 包含不同日志记录格式的配置选项。

字段描述
json [必需]
JSONOptions
[实验特性] json 字段包含 “JSON” 日志格式的配置选项。

JSONOptions

出现在:

JSONOptions 包含“json”日志格式的配置选项。

字段描述
splitStream [必需]
bool
[实验特性] splitStream 将信息类型的信息输出到标准输出,错误信息重定向到标准 错误输出,并提供缓存。默认行为是将二者都输出到标准输出且不提供缓存。
infoBufferSize [必需]
k8s.io/apimachinery/pkg/api/resource.QuantityValue
[实验特性] infoBufferSize 设置在使用分离数据流时 info 数据流的缓冲区大小。 默认值为 0,意味着不提供缓存。

VModuleConfiguration

[]k8s.io/component-base/config/v1alpha1.VModuleItem 的别名)

VModuleConfiguration 是一组文件名或文件名模式,及其对应的日志详尽程度阈值配置。

6 - kube-scheduler 配置 (v1beta2)

资源类型

DefaultPreemptionArgs

DefaultPreemptionArgs 包含用来配置 DefaultPreemption 插件的参数。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta2
kind
string
DefaultPreemptionArgs
minCandidateNodesPercentage [必需]
int32
此字段为试运行抢占时 shortlist 中候选节点数的下限,数值为节点数的百分比。 字段值必须介于 [0, 100] 之间。未指定时默认值为整个集群规模的 10%。
minCandidateNodesAbsolute [必需]
int32

此字段设置 shortlist 中候选节点的绝对下限。用于试运行抢占而列举的 候选节点个数近似于通过下面的公式计算的:

候选节点数 = max(节点数 * minCandidateNodesPercentage, minCandidateNodesAbsolute)

之所以说是“近似于”是因为存在一些类似于 PDB 违例这种因素,会影响到进入 shortlist 中候选节点的个数。取值至少为 0 节点。若未设置默认为 100 节点。

InterPodAffinityArgs

InterPodAffinityArgs 包含用来配置 InterPodAffinity 插件的参数。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta2
kind
string
InterPodAffinityArgs
hardPodAffinityWeight [必需]
int32
此字段是一个计分权重值。针对新增的 Pod,要对现存的、带有与新 Pod 匹配的 硬性亲和性设置的 Pod 计算亲和性得分。

KubeSchedulerConfiguration

KubeSchedulerConfiguration 用来配置调度器。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta2
kind
string
KubeSchedulerConfiguration
parallelism [必需]
int32
此字段设置为调度 Pod 而执行算法时的并发度。此值必须大于 0。 默认值为 16。
leaderElection [必需]
LeaderElectionConfiguration
此字段用来定义领导者选举客户端的配置。
clientConnection [必需]
ClientConnectionConfiguration
此字段为与 API 服务器通信时使用的代理服务器设置 kubeconfig 文件和客户端 连接配置。
healthzBindAddress [必需]
string
healthzBindAddress 是健康检查服务器提供服务所用的 IP 地址和端口。 注意:healthzBindAddressmetricsBindAddress 这两个字段都已被弃用。 只可以设置空地址或者端口 0。其他设置值都无法通过合法性检查。
metricsBindAddress [必需]
string
metricsBindAddress 是度量值服务器提供服务所用的 IP 地址和端口。
DebuggingConfiguration [必需]
DebuggingConfiguration
DebuggingConfiguration 的成员被内嵌到此类型中) 此字段设置与调试相关功能特性的配置。
percentageOfNodesToScore [必需]
int32
此字段为所有节点的百分比,一旦调度器找到所设置比例的、能够运行 Pod 的节点, 则停止在集群中继续寻找更合适的节点。这一配置有助于提高调度器的性能。调度器 总会尝试寻找至少 "minFeasibleNodesToFind" 个可行节点,无论此字段的取值如何。 例如:当集群规模为 500 个节点,而此字段的取值为 30,则调度器在找到 150 个合适 的节点后会停止继续寻找合适的节点。当此值为 0 时,调度器会使用默认节点数百分比(基于集群规模 确定的值,在 5% 到 50% 之间)来执行打分操作。
podInitialBackoffSeconds [必需]
int64
此字段设置不可调度 Pod 的初始回退秒数。如果设置了此字段,其取值必须大于零。 若此值为 null,则使用默认值(1s)。
podMaxBackoffSeconds [必需]
int64
此字段设置不可调度的 Pod 的最大回退秒数。如果设置了此字段,则其值必须大于 podInitialBackoffSeconds 字段值。如果此值设置为 null,则使用默认值(10s)。
profiles [必需]
[]KubeSchedulerProfile
此字段为 kube-scheduler 所支持的方案(profiles)。Pod 可以通过设置其对应 的调度器名称来选择使用特定的方案。未指定调度器名称的 Pod 会使用 “default-scheduler”方案来调度,如果存在的话。
extenders [必需]
[]Extender
此字段为调度器扩展模块(Extender)的列表,每个元素包含如何与某扩展模块 通信的配置信息。所有调度器模仿会共享此扩展模块列表。

NodeAffinityArgs

NodeAffinityArgs 中包含配置 NodeAffinity 插件的参数。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta2
kind
string
NodeAffinityArgs
addedAffinity
core/v1.NodeAffinity
addedAffinity 会作为附加的亲和性属性添加到所有 Pod 的 规约中指定的 NodeAffinity 中。换言之,节点需要同时满足 addedAffinity 和 .spec.nodeAffinity。默认情况下,addedAffinity 为空(与所有节点匹配)。 使用了 addedAffinity 时,某些带有已经能够与某特定节点匹配的亲和性需求 的 Pod (例如 DaemonSet Pod)可能会继续呈现不可调度状态。

NodeResourcesBalancedAllocationArgs

NodeResourcesBalancedAllocationArgs 包含用来配置 NodeResourcesBalancedAllocation 插件的参数。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta2
kind
string
NodeResourcesBalancedAllocationArgs
resources [必需]
[]ResourceSpec
要管理的资源;如果未设置,则默认值为 "cpu" 和 "memory"。

NodeResourcesFitArgs

NodeResourcesFitArgs 包含用来配置 NodeResourcesFit 插件的参数。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta2
kind
string
NodeResourcesFitArgs
ignoredResources [必需]
[]string
此字段为 NodeResources 匹配过滤器要忽略的资源列表。此列表不影响节点打分。
ignoredResourceGroups [必需]
[]string
此字段定义 NodeResources 匹配过滤器要忽略的资源组列表。 例如,如果配置值为 ["example.com"],则以 "example.com" 开头的资源名(如 "example.com/aaa" 和 "example.com/bbb")都会被忽略。 资源组名称中不可以包含 '/'。此设置不影响节点的打分。
scoringStrategy [必需]
ScoringStrategy
此字段用来选择节点资源打分策略。默认的策略为 LeastAllocated,且 "cpu" 和 "memory" 的权重相同。

PodTopologySpreadArgs

PodTopologySpreadArgs 包含用来配置 PodTopologySpread 插件的参数。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta2
kind
string
PodTopologySpreadArgs
defaultConstraints
[]core/v1.TopologySpreadConstraint
此字段针对未定义 .spec.topologySpreadConstraints 的 Pod, 为其提供拓扑分布约束。.defaultConstraints[∗].labelSelectors 必须为空,因为这一信息要从 Pod 所属的 Service、ReplicationController、 ReplicaSet 或 StatefulSet 来推导。 此字段不为空时,.defaultingType 必须为 "List"。
defaultingType
PodTopologySpreadConstraintsDefaulting

defaultingType 决定如何推导 .defaultConstraints。 可选值为 "System" 或 "List"。

  • "System":使用 Kubernetes 定义的约束,将 Pod 分布到不同节点和可用区;
  • "List":使用 .defaultConstraints 中定义的约束。

当特性门控 DefaultPodTopologySpread 被禁用时,默认值为 "list";反之,默认值为 "System"。

VolumeBindingArgs

VolumeBindingArgs 包含用来配置 VolumeBinding 插件的参数。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta2
kind
string
VolumeBindingArgs
bindTimeoutSeconds [必需]
int64
此字段设置卷绑定操作的超时秒数。字段值必须是非负数。 取值为 0 意味着不等待。如果此值为 null,则使用默认值(600)。
shape
[]UtilizationShapePoint

shape 用来设置打分函数曲线所使用的计分点,这些计分点 用来基于静态制备的 PV 卷的利用率为节点打分。 卷的利用率是计算得来的,将 Pod 所请求的总的存储空间大小除以每个节点 上可用的总的卷容量。每个计分点包含利用率(范围从 0 到 100)和其对应 的得分(范围从 0 到 10)。你可以通过为不同的使用率值设置不同的得分来 反转优先级:

默认的曲线计分点为:

  • 利用率为 0 时得分为 0;
  • 利用率为 100 时得分为 10。

所有计分点必须按利用率值的升序来排序。

Extender

出现在:

Extender 包含与扩展模块(Extender)通信所用的参数。 如果未指定 verb 或者 verb 为空,则假定对应的扩展模块选择不提供该扩展功能。

字段描述
urlPrefix [必需]
string
用来访问扩展模块的 URL 前缀。
filterVerb [必需]
string
filter 调用所使用的动词,如果不支持过滤操作则为空。 此动词会在向扩展模块发送 filter 调用时追加到 urlPrefix 后面。
preemptVerb [必需]
string
preempt 调用所使用的动词,如果不支持抢占操作则为空。 此动词会在向扩展模块发送 preempt 调用时追加到 urlPrefix 后面。
prioritizeVerb [必需]
string
prioritize 调用所使用的动词,如果不支持 prioritize 操作则为空。 此动词会在向扩展模块发送 prioritize 调用时追加到 urlPrefix 后面。
weight [必需]
int64
针对 prioritize 调用所生成的节点分数要使用的数值系数。 weight 值必须是正整数。
bindVerb [必需]
string
bind 调用所使用的动词,如果不支持 bind 操作则为空。 此动词会在向扩展模块发送 bind 调用时追加到 urlPrefix 后面。 如果扩展模块实现了此方法,扩展模块要负责将 Pod 绑定到 API 服务器。 只有一个扩展模块可以实现此函数。
enableHTTPS [必需]
bool
此字段设置是否需要使用 HTTPS 来与扩展模块通信。
tlsConfig [必需]
ExtenderTLSConfig
此字段设置传输层安全性(TLS)配置。
httpTimeout [必需]
meta/v1.Duration
此字段给出扩展模块功能调用的超时值。filter 操作超时会导致 Pod 无法被调度。 prioritize 操作超时会被忽略,Kubernetes 或者其他扩展模块所给出的优先级值 会被用来选择节点。
nodeCacheCapable [必需]
bool
此字段指示扩展模块可以缓存节点信息,从而调度器应该发送关于可选节点的最少信息, 假定扩展模块已经缓存了集群中所有节点的全部详细信息。
managedResources
[]ExtenderManagedResource

managedResources 是一个由此扩展模块所管理的扩展资源的列表。

  • 如果某 Pod 请求了此列表中的至少一个扩展资源,则 Pod 会在 filter、 prioritize 和 bind (如果扩展模块可以执行绑定操作)阶段被发送到该扩展模块。 若此字段为空或未设置,则所有 Pod 都会发送到此扩展模块。
  • 如果某资源上设置了 ignoredByScheduler 为 true,则 kube-scheduler 会在断言阶段略过对该资源的检查。
ignorable [必需]
bool
此字段用来设置扩展模块是否是可忽略的。换言之,当扩展模块返回错误或者 完全不可达时,调度操作不应失败。

ExtenderManagedResource

出现在:

ExtenderManagedResource 描述某扩展模块所管理的扩展资源的参数。

字段描述
name [必需]
string
扩展资源的名称。
ignoredByScheduler [必需]
bool
此字段标明 kube-scheduler 是否应在应用断言时忽略此资源。

ExtenderTLSConfig

出现在:

ExtenderTLSConfig 包含启用与扩展模块间 TLS 传输所需的配置参数。

字段描述
insecure [必需]
bool
访问服务器时不需要检查 TLS 证书。此配置仅针对测试用途。
serverName [必需]
string
serverName 会被发送到服务器端,作为 SNI 标志;客户端会使用 此设置来检查服务器证书。如果 serverName 为空,则会使用联系 服务器时所用的主机名。
certFile [必需]
string
服务器端所要求的 TLS 客户端证书认证。
keyFile [必需]
string
服务器端所要求的 TLS 客户端秘钥认证。
caFile [必需]
string
服务器端可信任的根证书。
certData [必需]
[]byte
certData 包含 PEM 编码的字节流(通常从某客户端证书文件读入)。 此字段优先级高于 certFile 字段。
keyData [必需]
[]byte
keyData 包含 PEM 编码的字节流(通常从某客户端证书秘钥文件读入)。 此字段优先级高于 keyFile 字段。
caData [必需]
[]byte
caData 包含 PEM 编码的字节流(通常从某根证书包文件读入)。 此字段优先级高于 caFile 字段。

KubeSchedulerProfile

出现在:

KubeSchedulerProfile 是一个调度方案。

字段描述
schedulerName [必需]
string
schedulerName 是与此调度方案相关联的调度器的名称。 如果 schedulerName 与 Pod 的 spec.schedulerName 匹配,则该 Pod 会使用此方案来调度。
plugins [必需]
Plugins

plugins 设置一组应该被启用或禁止的插件。 被启用的插件是指除了默认插件之外需要被启用的插件。被禁止的插件 是指需要被禁用的默认插件。

如果针对某个扩展点没有设置被启用或被禁止的插件,则使用该扩展点 的默认插件(如果有的话)。如果设置了 QueueSort 插件,则同一个 QueueSort 插件和 pluginConfig 要被设置到所有调度方案之上。

pluginConfig [必需]
[]PluginConfig
pluginConfig 是为每个插件提供的一组可选的定制插件参数。 如果忽略了插件的配置参数,则意味着使用该插件的默认配置。

Plugin

出现在:

Plugin 指定插件的名称及其权重(如果适用的话)。权重仅用于评分(Score)插件。

字段描述
name [必需]
string
插件的名称。
weight [必需]
int32
插件的权重;仅适用于评分(Score)插件。

PluginConfig

出现在:

PluginConfig 给出初始化阶段要传递给插件的参数。 在多个扩展点被调用的插件仅会被初始化一次。 参数可以是任意结构。插件负责处理这里所传的参数。

字段描述
name [必需]
string
name 是所配置的插件的名称。
args [必需]
k8s.io/apimachinery/pkg/runtime.RawExtension
args 定义在初始化阶段要传递给插件的参数。参数可以为任意结构。

PluginSet

出现在:

PluginSet 为某扩展点设置要启用或禁用的插件。 如果数组为空,或者取值为 null,则使用该扩展点的默认插件集合。

字段描述
enabled [必需]
[]Plugin
enabled 设置在默认插件之外要启用的插件。如果在调度器的配置 文件中也配置了默认插件,则对应插件的权重会被覆盖。 此处所设置的插件会在默认插件之后被调用,调用顺序与数组中元素顺序相同。
disabled [必需]
[]Plugin
disabled 设置要被禁用的默认插件。 如果需要禁用所有的默认插件,应该提供仅包含一个元素 "∗" 的数组。

Plugins

出现在:

Plugins 结构中包含多个扩展点。当此结构被设置时,针对特定扩展点所启用 的所有插件都在这一列表中。 如果配置中不包含某个扩展点,则使用该扩展点的默认插件集合。 被启用的插件的调用顺序与这里指定的顺序相同,都在默认插件之后调用。 如果它们需要在默认插件之前调用,则需要先行禁止默认插件,之后在这里 按期望的顺序重新启用。

字段描述
queueSort [必需]
PluginSet
queueSort 是一个在对调度队列中 Pod 排序时要调用的插件列表。
preFilter [必需]
PluginSet
preFilter 是一个在调度框架中“PreFilter(预过滤)”扩展点上要 调用的插件列表。
filter [必需]
PluginSet
filter 是一个在需要过滤掉无法运行 Pod 的节点时被调用的插件列表。
postFilter [必需]
PluginSet
postFilter 是一个在过滤阶段结束后会被调用的插件列表; 这里的插件只有在找不到合适的节点来运行 Pod 时才会被调用。
preScore [必需]
PluginSet
preScore 是一个在打分之前要调用的插件列表。
score [必需]
PluginSet
score 是一个在对已经通过过滤阶段的节点进行排序时调用的插件的列表。
reserve [必需]
PluginSet
reserve 是一组在运行 Pod 的节点已被选定后,需要预留或者释放资源时调用的插件的列表。
permit [必需]
PluginSet
permit 是一个用来控制 Pod 绑定关系的插件列表。这些插件可以 禁止或者延迟 Pod 的绑定。
preBind [必需]
PluginSet
preBind 是一个在 Pod 被绑定到某节点之前要被调用的插件的列表。
bind [必需]
PluginSet
bind 是一个在调度框架中“Bind(绑定)”扩展点上要调用的 插件的列表。调度器按顺序调用这些插件。只要其中某个插件返回成功,则调度器 就略过余下的插件。
postBind [必需]
PluginSet
postBind 是一个在 Pod 已经被成功绑定之后要调用的插件的列表。
multiPoint [必需]
PluginSet

multiPoint 是一个简化的配置段落,用来为所有合法的扩展点启用插件。

PodTopologySpreadConstraintsDefaulting

string 类型的别名)

出现在:

PodTopologySpreadConstraintsDefaulting 定义如何为 PodTopologySpread 插件 设置默认的约束。

RequestedToCapacityRatioParam

出现在:

RequestedToCapacityRatioParam 结构定义 RequestedToCapacityRatio 的参数。

字段描述
shape [必需]
[]UtilizationShapePoint
shape 是一个定义评分函数曲线的计分点的列表。

ResourceSpec

出现在:

ResourceSpec 用来代表某个资源。

字段描述
name [必需]
string
资源名称。
weight [必需]
int64
资源权重。

ScoringStrategy

出现在:

ScoringStrategy 为节点资源插件定义 ScoringStrategyType。

字段描述
type [必需]
ScoringStrategyType
type 用来选择要运行的策略。
resources [必需]
[]ResourceSpec

resources 设置在评分时要考虑的资源。

默认的资源集合包含 "cpu" 和 "memory",且二者权重相同。

权重的取值范围为 1 到 100。

当权重未设置或者显式设置为 0 时,意味着使用默认值 1。

requestedToCapacityRatio [必需]
RequestedToCapacityRatioParam
特定于 RequestedToCapacityRatio 策略的参数。

ScoringStrategyType

string 数据类型的别名)

出现在:

ScoringStrategyType 是 NodeResourcesFit 插件所使用的的评分策略类型。

UtilizationShapePoint

出现在:

UtilizationShapePoint 代表的是优先级函数曲线中的一个评分点。

字段描述
utilization [必需]
int32
利用率(x 轴)。合法值为 0 到 100。完全被利用的节点映射到 100。
score [必需]
int32
分配给指定利用率的分值(y 轴)。合法值为 0 到 10。

ClientConnectionConfiguration

出现在:

ClientConnectionConfiguration 中包含用来构造一个客户端所需的细节。

字段描述
kubeconfig [必需]
string
此字段为指向某 KubeConfig 文件的路径。
acceptContentTypes [必需]
string
acceptContentTypes 定义的是客户端与服务器建立连接时要发送的 Accept 头部;这里的设置值会覆盖默认值 "application/json"。 此字段会影响某特定客户端与服务器的所有连接。
contentType [必需]
string
contentType 包含的是此客户端向服务器发送数据时使用的 内容类型(Content Type)。
qps [必需]
float32
qps 控制的是此连接上每秒可以发送的查询个数。
burst [必需]
int32
burst 允许在客户端超出其速率限制时可以累积的额外查询个数。

DebuggingConfiguration

出现在:

DebuggingConfiguration 保存与调试功能相关的配置。

字段描述
enableProfiling [必需]
bool
此字段允许通过 Web 接口 host:port/debug/pprof/ 执行性能分析。
enableContentionProfiling [必需]
bool
此字段在 enableProfiling 为 true 时允许执行锁竞争分析。

FormatOptions

FormatOptions 中包含不同日志格式的配置选项。

字段描述
json [必需]
JSONOptions
[实验特性] json 字段包含为 "json" 日志格式提供的配置选项。

JSONOptions

出现在:

JSONOptions 包含为 "json" 日志格式所设置的配置选项。

字段描述
splitStream [必需]
bool
[实验特性] 此字段将错误信息重定向到标准错误输出(stderr),将提示消息 重定向到标准输出(stdout),并且支持缓存。默认配置为将二者都输出到 标准输出(stdout),且不提供缓存。
infoBufferSize [必需]
k8s.io/apimachinery/pkg/api/resource.QuantityValue
[实验特性] infoBufferSize 用来在分离数据流场景是设置提示 信息数据流的大小。默认值为 0,意味着禁止缓存。

LeaderElectionConfiguration

出现在:

LeaderElectionConfiguration 为能够支持领导者选举的组件定义其领导者选举 客户端的配置。

字段描述
leaderElect [必需]
bool
leaderElect 启用领导者选举客户端,从而在进入主循环执行之前 先要获得领导者角色。当运行多副本组件时启用此功能有助于提高可用性。
leaseDuration [必需]
meta/v1.Duration
leaseDuration 是非领导角色候选者在观察到需要领导席位更新时 要等待的时间;只有经过所设置时长才可以尝试去获得一个仍处于领导状态但需要 被刷新的席位。这里的设置值本质上意味着某个领导者在被另一个候选者替换掉 之前可以停止运行的最长时长。只有当启用了领导者选举时此字段有意义。
renewDeadline [必需]
meta/v1.Duration
renewDeadline 设置的是当前领导者在停止扮演领导角色之前 需要刷新领导状态的时间间隔。此值必须小于或等于租约期限的长度。 只有到启用了领导者选举时此字段才有意义。
retryPeriod [必需]
meta/v1.Duration
retryPeriod 是客户端在连续两次尝试获得或者刷新领导状态 之间需要等待的时长。只有当启用了领导者选举时此字段才有意义。
resourceLock [必需]
string
此字段给出在领导者选举期间要作为锁来使用的资源对象类型。
resourceName [必需]
string
此字段给出在领导者选举期间要作为锁来使用的资源对象名称。
resourceNamespace [必需]
string
此字段给出在领导者选举期间要作为锁来使用的资源对象所在名字空间。

VModuleConfiguration

[]k8s.io/component-base/config/v1alpha1.VModuleItem 的别名)

VModuleConfiguration 是一组文件名(通配符)及其对应的日志详尽程度阈值。

7 - kube-scheduler 配置 (v1beta3)

资源类型

DefaultPreemptionArgs

DefaultPreemptionArgs 包含用来配置 DefaultPreemption 插件的参数。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta3
kind
string
DefaultPreemptionArgs
minCandidateNodesPercentage [必需]
int32
此字段为试运行抢占时 shortlist 中候选节点数的下限,数值为节点数的百分比。 字段值必须介于 [0, 100] 之间。未指定时默认值为整个集群规模的 10%。
minCandidateNodesAbsolute [必需]
int32
此字段设置 shortlist 中候选节点的绝对下限。用于试运行抢占而列举的 候选节点个数近似于通过下面的公式计算的:
候选节点数 = max(节点数 * minCandidateNodesPercentage, minCandidateNodesAbsolute) 之所以说是“近似于”是因为存在一些类似于 PDB 违例这种因素,会影响到进入 shortlist 中候选节点的个数。取值至少为 0 节点。若未设置默认为 100 节点。

InterPodAffinityArgs

InterPodAffinityArgs 包含用来配置 InterPodAffinity 插件的参数。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta3
kind
string
InterPodAffinityArgs
hardPodAffinityWeight [必需]
int32
此字段是一个计分权重值。针对新增的 Pod,要对现存的、带有与新 Pod 匹配的 硬性亲和性设置的 Pods 计算亲和性得分。

KubeSchedulerConfiguration

KubeSchedulerConfiguration 用来配置调度器。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta3
kind
string
KubeSchedulerConfiguration
parallelism [必需]
int32
此字段设置为调度 Pod 而执行算法时的并发度。此值必须大于 0。 默认值为 16。
leaderElection [必需]
LeaderElectionConfiguration
此字段用来定义领导者选举客户端的配置。
clientConnection [必需]
ClientConnectionConfiguration
此字段为与 API 服务器通信时使用的代理服务器设置 kubeconfig 文件和客户端 连接配置。
DebuggingConfiguration [必需]
DebuggingConfiguration
DebuggingConfiguration 的成员被内嵌到此类型中) 此字段设置与调试相关功能特性的配置。
percentageOfNodesToScore [必需]
int32
此字段为所有节点的百分比,一旦调度器找到所设置比例的、能够运行 Pod 的节点, 则停止在集群中继续寻找更合适的节点。这一配置有助于提高调度器的性能。调度器 总会尝试寻找至少 "minFeasibleNodesToFind" 个可行节点,无论此字段的取值如何。 例如:当集群规模为 500 个节点,而此字段的取值为 30,则调度器在找到 150 个合适 的节点后会停止继续寻找合适的节点。当此值为 0 时,调度器会使用默认节点数百分比(基于集群规模 确定的值,在 5% 到 50% 之间)来执行打分操作。
podInitialBackoffSeconds [必需]
int64
此字段设置不可调度 Pod 的初始回退秒数。如果设置了此字段,其取值必须大于零。 若此值为 null,则使用默认值(1s)。
podMaxBackoffSeconds [必需]
int64
此字段设置不可调度的 Pod 的最大回退秒数。如果设置了此字段,则其值必须大于 podInitialBackoffSeconds 字段值。如果此值设置为 null,则使用默认值(10s)。
profiles [必需]
[]KubeSchedulerProfile
此字段为 kube-scheduler 所支持的方案(profiles)。Pod 可以通过设置其对应 的调度器名称来选择使用特定的方案。未指定调度器名称的 Pod 会使用 “default-scheduler”方案来调度,如果存在的话。
extenders [必需]
[]Extender
此字段为调度器扩展模块(Extender)的列表,每个元素包含如何与某扩展模块 通信的配置信息。所有调度器模仿会共享此扩展模块列表。

NodeAffinityArgs

NodeAffinityArgs 中包含配置 NodeAffinity 插件的参数。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta3
kind
string
NodeAffinityArgs
addedAffinity
core/v1.NodeAffinity
addedAffinity 会作为附加的亲和性属性添加到所有 Pod 的 规约中指定的 NodeAffinity 中。换言之,节点需要同时满足 addedAffinity 和 .spec.nodeAffinity。默认情况下,addedAffinity 为空(与所有节点匹配)。 使用了 addedAffinity 时,某些带有已经能够与某特定节点匹配的亲和性需求 的 Pod (例如 DaemonSet Pod)可能会继续呈现不可调度状态。

NodeResourcesBalancedAllocationArgs

NodeResourcesBalancedAllocationArgs 包含用来配置 NodeResourcesBalancedAllocation 插件的参数。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta3
kind
string
NodeResourcesBalancedAllocationArgs
resources [必需]
[]ResourceSpec
要管理的资源;如果未设置,则默认值为 "cpu" 和 "memory"。

NodeResourcesFitArgs

NodeResourcesFitArgs 包含用来配置 NodeResourcesFit 插件的参数。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta3
kind
string
NodeResourcesFitArgs
ignoredResources [必需]
[]string
此字段为 NodeResources 匹配过滤器要忽略的资源列表。此列表不影响节点打分。
ignoredResourceGroups [必需]
[]string
此字段定义 NodeResources 匹配过滤器要忽略的资源组列表。 例如,如果配置值为 ["example.com"],则以 "example.com" 开头的资源名(如 "example.com/aaa" 和 "example.com/bbb")都会被忽略。 资源组名称中不可以包含 '/'。此设置不影响节点的打分。
scoringStrategy [必需]
ScoringStrategy
此字段用来选择节点资源打分策略。默认的策略为 LeastAllocated,且 "cpu" 和 "memory" 的权重相同。

PodTopologySpreadArgs

PodTopologySpreadArgs 包含用来配置 PodTopologySpread 插件的参数。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta3
kind
string
PodTopologySpreadArgs
defaultConstraints
[]core/v1.TopologySpreadConstraint
此字段针对未定义 .spec.topologySpreadConstraints 的 Pod, 为其提供拓扑分布约束。.defaultConstraints[∗].labelSelectors 必须为空,因为这一信息要从 Pod 所属的 Service、ReplicationController、 ReplicaSet 或 StatefulSet 来推导。 此字段不为空时,.defaultingType 必须为 "List"。
defaultingType
PodTopologySpreadConstraintsDefaulting

defaultingType 决定如何推导 .defaultConstraints。 可选值为 "System" 或 "List"。

  • "System":使用 Kubernetes 定义的约束,将 Pod 分布到不同节点和可用区;
  • "List":使用 .defaultConstraints 中定义的约束。

当特性门控 DefaultPodTopologySpread 被禁用时,默认值为 "list";反之,默认值为 "System"。

VolumeBindingArgs

VolumeBindingArgs 包含用来配置 VolumeBinding 插件的参数。

字段描述
apiVersion
string
kubescheduler.config.k8s.io/v1beta3
kind
string
VolumeBindingArgs
bindTimeoutSeconds [必需]
int64
此字段设置卷绑定操作的超时秒数。字段值必须是非负数。 取值为 0 意味着不等待。如果此值为 null,则使用默认值(600)。
shape
[]UtilizationShapePoint

shape 用来设置打分函数曲线所使用的计分点,这些计分点 用来基于静态制备的 PV 卷的利用率为节点打分。 卷的利用率是计算得来的,将 Pod 所请求的总的存储空间大小除以每个节点 上可用的总的卷容量。每个计分点包含利用率(范围从 0 到 100)和其对应 的得分(范围从 0 到 10)。你可以通过为不同的使用率值设置不同的得分来 反转优先级:

默认的曲线计分点为:

  • 利用率为 0 时得分为 0;
  • 利用率为 100 时得分为 10。

所有计分点必须按利用率值的升序来排序。

Extender

出现在:

Extender 包含与扩展模块(Extender)通信所用的参数。 如果未指定 verb 或者 verb 为空,则假定对应的扩展模块选择不提供该扩展功能。

字段描述
urlPrefix [必需]
string
用来访问扩展模块的 URL 前缀。
filterVerb [必需]
string
filter 调用所使用的动词,如果不支持过滤操作则为空。 此动词会在向扩展模块发送 filter 调用时追加到 urlPrefix 后面。
preemptVerb [必需]
string
preempt 调用所使用的动词,如果不支持过滤操作则为空。 此动词会在向扩展模块发送 preempt 调用时追加到 urlPrefix 后面。
prioritizeVerb [必需]
string
prioritize 调用所使用的动词,如果不支持过滤操作则为空。 此动词会在向扩展模块发送 prioritize 调用时追加到 urlPrefix 后面。
weight [必需]
int64
针对 prioritize 调用所生成的节点分数要使用的数值系数。 weight 值必须是正整数。
bindVerb [必需]
string
bind 调用所使用的动词,如果不支持过滤操作则为空。 此动词会在向扩展模块发送 bind 调用时追加到 urlPrefix 后面。 如果扩展模块实现了此方法,扩展模块要负责将 Pod 绑定到 API 服务器。 只有一个扩展模块可以实现此函数。
enableHTTPS [必需]
bool
此字段设置是否需要使用 HTTPS 来与扩展模块通信。
tlsConfig [必需]
ExtenderTLSConfig
此字段设置传输层安全性(TLS)配置。
httpTimeout [必需]
meta/v1.Duration
此字段给出扩展模块功能调用的超时值。filter 操作超时会导致 Pod 无法被调度。 prioritize 操作超时会被忽略,Kubernetes 或者其他扩展模块所给出的优先级值 会被用来选择节点。
nodeCacheCapable [必需]
bool
此字段指示扩展模块可以缓存节点信息,从而调度器应该发送关于可选节点的最少信息, 假定扩展模块已经缓存了集群中所有节点的全部详细信息。
managedResources
[]ExtenderManagedResource

managedResources 是一个由此扩展模块所管理的扩展资源的列表。

  • 如果某 Pod 请求了此列表中的至少一个扩展资源,则 Pod 会在 filter、 prioritize 和 bind (如果扩展模块可以执行绑定操作)阶段被发送到该扩展模块。
  • 如果某资源上设置了 ignoredByScheduler 为 true,则 kube-scheduler 会在断言阶段略过对该资源的检查。
ignorable [必需]
bool
此字段用来设置扩展模块是否是可忽略的。换言之,当扩展模块返回错误或者 完全不可达时,调度操作不应失败。

ExtenderManagedResource

出现在:

ExtenderManagedResource 描述某扩展模块所管理的扩展资源的参数。

字段描述
name [必需]
string
扩展资源的名称。
ignoredByScheduler [必需]
bool
此字段标明 kube-scheduler 是否应在应用断言时忽略此资源。

ExtenderTLSConfig

出现在:

ExtenderTLSConfig 包含启用与扩展模块间 TLS 传输所需的配置参数。

字段描述
insecure [必需]
bool
访问服务器时不需要检查 TLS 证书。此配置仅针对测试用途。
serverName [必需]
string
serverName 会被发送到服务器端,作为 SNI 标志;客户端会使用 此设置来检查服务器证书。如果 serverName 为空,则会使用联系 服务器时所用的主机名。
certFile [必需]
string
服务器端所要求的 TLS 客户端证书认证。
keyFile [必需]
string
服务器端所要求的 TLS 客户端秘钥认证。
caFile [必需]
string
服务器端被信任的根证书。
certData [必需]
[]byte
certData 包含 PEM 编码的字节流(通常从某客户端证书文件读入)。 此字段优先级高于 certFile 字段。
keyData [必需]
[]byte
keyData 包含 PEM 编码的字节流(通常从某客户端证书秘钥文件读入)。 此字段优先级高于 keyFile 字段。
caData [必需]
[]byte
caData 包含 PEM 编码的字节流(通常从某根证书包文件读入)。 此字段优先级高于 caFile 字段。

KubeSchedulerProfile

出现在:

KubeSchedulerProfile 是一个调度方案。

字段描述
schedulerName [必需]
string
schedulerName 是与此调度方案相关联的调度器的名称。 如果 schedulerName 与 Pod 的 spec.schedulerName 匹配,则该 Pod 会使用此方案来调度。
plugins [必需]
Plugins

plugins 设置一组应该被启用或禁止的插件。 被启用的插件是指除了默认插件之外需要被启用的插件。被禁止的插件 是指需要被禁用的默认插件。

如果针对某个扩展点没有设置被启用或被禁止的插件,则使用该扩展点 的默认插件(如果有的话)。如果设置了 QueueSort 插件,则同一个 QueueSort 插件和 pluginConfig 要被设置到所有调度方案之上。

pluginConfig [必需]
[]PluginConfig
pluginConfig 是为每个插件提供的一组可选的定制插件参数。 如果忽略了插件的配置参数,则意味着使用该插件的默认配置。

Plugin

出现在:

Plugin 指定插件的名称及其权重(如果适用的话)。权重仅用于评分(Score)插件。

字段描述
name [必需]
string
插件的名称。
weight [必需]
int32
插件的权重;仅适用于评分(Score)插件。

PluginConfig

出现在:

PluginConfig 给出初始化阶段要传递给插件的参数。 在多个扩展点被调用的插件仅会被初始化一次。 参数可以是任意结构。插件负责处理这里所传的参数。

字段描述
name [必需]
string
name 是所配置的插件的名称。
args [必需]
k8s.io/apimachinery/pkg/runtime.RawExtension
args 定义在初始化阶段要传递给插件的参数。参数可以为任意结构。

PluginSet

出现在:

PluginSet 为某扩展点设置要启用或禁用的插件。 如果数组为空,或者取值为 null,则使用该扩展点的默认插件集合。

字段描述
enabled [必需]
[]Plugin
enabled 设置在默认插件之外要启用的插件。如果在调度器的配置 文件中也配置了默认插件,则对应插件的权重会被覆盖。 此处所设置的插件会在默认插件之后被调用,调用顺序与数组中元素顺序相同。
disabled [必需]
[]Plugin
disabled 设置要被禁用的默认插件。 如果需要禁用所有的默认插件,应该提供仅包含一个元素 "∗" 的数组。

Plugins

出现在:

Plugins 结构中包含多个扩展点。当此结构被设置时,针对特定扩展点所启用 的所有插件都在这一列表中。 如果配置中不包含某个扩展点,则使用该扩展点的默认插件集合。 被启用的插件的调用顺序与这里指定的顺序相同,都在默认插件之后调用。 如果它们需要在默认插件之前调用,则需要先行禁止默认插件,之后在这里 按期望的顺序重新启用。

字段描述
queueSort [必需]
PluginSet
queueSort 是一个在对调度队列中 Pod 排序时要调用的插件列表。
preFilter [必需]
PluginSet
preFilter 是一个在调度框架中“PreFilter(预过滤)”扩展点上要 调用的插件列表。
filter [必需]
PluginSet
filter 是一个在需要过滤掉无法运行 Pod 的节点时被调用的插件列表。
postFilter [必需]
PluginSet
postFilter 是一个在过滤阶段结束后会被调用的插件列表; 这里的插件只有在找不到合适的节点来运行 Pod 时才会被调用。
preScore [必需]
PluginSet
preScore 是一个在打分之前要调用的插件列表。
score [必需]
PluginSet
score 是一个在对已经通过过滤阶段的节点进行排序时调用的插件的列表。
reserve [必需]
PluginSet
reserve 是一组在运行 Pod 的节点已被选定后,需要预留或者释放资源时调用的插件的列表。
permit [必需]
PluginSet
permit 是一个用来控制 Pod 绑定关系的插件列表。这些插件可以 禁止或者延迟 Pod 的绑定。
preBind [必需]
PluginSet
preBind 是一个在 Pod 被绑定到某节点之前要被调用的插件的列表。
bind [必需]
PluginSet
bind 是一个在调度框架中“Bind(绑定)”扩展点上要调用的 插件的列表。调度器按顺序调用这些插件。只要其中某个插件返回成功,则调度器 就略过余下的插件。
postBind [必需]
PluginSet
postBind 是一个在 Pod 已经被成功绑定之后要调用的插件的列表。
multiPoint [必需]
PluginSet

multiPoint 是一个简化的配置段落,用来为所有合法的扩展点启用插件。 通过 multiPoint 启用的插件会自动注册到插件所实现的每个独立的扩展点上。 通过 multiPoint 禁用的插件会禁用对应的操作行为。 通过 multiPoint 所禁止的 "∗" 也是如此,意味着所有默认 插件都不会被自动注册。 插件也可以通过各个独立的扩展点来禁用。

就优先序而言,插件配置遵从以下基本层次:

  1. 特定的扩展点;
  2. 显式配置的 multiPoint 插件;
  3. 默认插件的集合,以及 multiPoint 插件。

这意味着优先序较高的插件会先被运行,并且覆盖 multiPoint 中的任何配置。

用户显式配置的插件也会比默认插件优先序高。

在这样的层次结构设计之下,enabled 的优先序高于 disabled。 例如,某插件同时出现在 multiPoint.enabledmultiPoint.disalbed 时, 该插件会被启用。类似的,同时设置 multiPoint.disabled = '∗'multiPoint.enabled = pluginA 时,插件 pluginA 仍然会被注册。 这一设计与所有其他扩展点的配置行为是相符的。

PodTopologySpreadConstraintsDefaulting

string 类型的别名)

出现在:

PodTopologySpreadConstraintsDefaulting 定义如何为 PodTopologySpread 插件 设置默认的约束。

RequestedToCapacityRatioParam

出现在:

RequestedToCapacityRatioParam 结构定义 RequestedToCapacityRatio 的参数。

字段描述
shape [必需]
[]UtilizationShapePoint
shape 是一个定义评分函数曲线的计分点的列表。

ResourceSpec

出现在:

ResourceSpec 用来代表某个资源。

字段描述
name [必需]
string
资源名称。
weight [必需]
int64
资源权重。

ScoringStrategy

出现在:

ScoringStrategy 为节点资源插件定义 ScoringStrategyType。

字段描述
type [必需]
ScoringStrategyType
type 用来选择要运行的策略。
resources [必需]
[]ResourceSpec

resources 设置在评分时要考虑的资源。

默认的资源集合包含 "cpu" 和 "memory",且二者权重相同。

权重的取值范围为 1 到 100。

当权重未设置或者显式设置为 0 时,意味着使用默认值 1。

requestedToCapacityRatio [必需]
RequestedToCapacityRatioParam
特定于 RequestedToCapacityRatio 策略的参数。

ScoringStrategyType

string 数据类型的别名)

出现在:

ScoringStrategyType 是 NodeResourcesFit 插件所使用的的评分策略类型。

UtilizationShapePoint

出现在:

UtilizationShapePoint 代表的是优先级函数曲线中的一个评分点。

字段描述
utilization [必需]
int32
利用率(x 轴)。合法值为 0 到 100。完全被利用的节点映射到 100。
score [必需]
int32
分配给指定利用率的分值(y 轴)。合法值为 0 到 10。

ClientConnectionConfiguration

出现在:

ClientConnectionConfiguration 中包含用来构造一个客户端所需的细节。

字段描述
kubeconfig [必需]
string
此字段为指向某 KubeConfig 文件的路径。
acceptContentTypes [必需]
string
acceptContentTypes 定义的是客户端与服务器建立连接时要发送的 Accept 头部;这里的设置值会覆盖默认值 "application/json"。 此字段会影响某特定客户端与服务器的所有连接。
contentType [必需]
string
contentType 包含的是此客户端向服务器发送数据时使用的 内容类型(Content Type)。
qps [必需]
float32
qps 控制的是此连接上每秒可以发送的查询个数。
burst [必需]
int32
burst 允许在客户端超出其速率限制时可以累积的额外查询个数。

DebuggingConfiguration

出现在:

DebuggingConfiguration 保存与调试功能相关的配置。

字段描述
enableProfiling [必需]
bool
此字段允许通过 Web 接口 host:port/debug/pprof/ 执行性能分析。
enableContentionProfiling [必需]
bool
此字段在 enableProfiling 为 true 时允许执行锁竞争分析。

FormatOptions

FormatOptions 中包含不同日志格式的配置选项。

字段描述
json [必需]
JSONOptions
[实验特性] json 字段包含为 "json" 日志格式提供的配置选项。

JSONOptions

出现在:

JSONOptions 包含为 "json" 日志格式所设置的配置选项。

字段描述
splitStream [必需]
bool
[实验特性] 此字段将错误信息重定向到标准错误输出(stderr),将提示消息 重定向到标准输出(stdout),并且支持缓存。默认配置为将二者都输出到 标准输出(stdout),且不提供缓存。
infoBufferSize [必需]
k8s.io/apimachinery/pkg/api/resource.QuantityValue
[实验特性] infoBufferSize 用来在分离数据流场景是设置提示 信息数据流的大小。默认值为 0,意味着禁止缓存。

LeaderElectionConfiguration

出现在:

LeaderElectionConfiguration 为能够支持领导者选举的组件定义其领导者选举 客户端的配置。

字段描述
leaderElect [必需]
bool
leaderElect 启用领导者选举客户端,从而在进入主循环执行之前 先要获得领导者角色。当运行多副本组件时启用此功能有助于提高可用性。
leaseDuration [必需]
meta/v1.Duration
leaseDuration 是非领导角色候选者在观察到需要领导席位更新时 要等待的时间;只有经过所设置时长才可以尝试去获得一个仍处于领导状态但需要 被刷新的席位。这里的设置值本质上意味着某个领导者在被另一个候选者替换掉 之前可以停止运行的最长时长。只有当启用了领导者选举时此字段有意义。
renewDeadline [必需]
meta/v1.Duration
renewDeadline 设置的是当前领导者在停止扮演领导角色之前 需要刷新领导状态的时间间隔。此值必须小于或等于租约期限的长度。 只有到启用了领导者选举时此字段才有意义。
retryPeriod [必需]
meta/v1.Duration
retryPeriod 是客户端在连续两次尝试获得或者刷新领导状态 之间需要等待的时长。只有当启用了领导者选举时此字段才有意义。
resourceLock [必需]
string
此字段给出在领导者选举期间要作为锁来使用的资源对象类型。
resourceName [必需]
string
此字段给出在领导者选举期间要作为锁来使用的资源对象名称。
resourceNamespace [必需]
string
此字段给出在领导者选举期间要作为锁来使用的资源对象所在名字空间。

VModuleConfiguration

[]k8s.io/component-base/config/v1alpha1.VModuleItem 的别名)

VModuleConfiguration 是一组文件名(通配符)及其对应的日志详尽程度阈值。

8 - kubeadm 配置 (v1beta2)

概述

包 v1beta2 定义 kubeadm 配置文件格式的 v1beta2 版本。 此版本改进了 v1beta1 的格式,修复了一些小问题并添加了一些新的字段。

从 v1beta1 版本以来的变更列表:

  • "certificateKey" 字段被添加到 InitConfiguration 和 JoinConfiguration 中。
  • "ignorePreflightErrors" 字段被添加到 NodeRegistrationOptions 中。
  • JSON 标签 "omitempty" 在合适的情况下被用到更多的位置。
  • "taints" 字段(在 NodeRegistrationOptions)的 JSON 标签 "omitempty" 被去除。

参阅 Kubernetes 1.15 的变更记录以了解详细信息。

从老的 kubeadm 配置版本迁移:

请使用 kubeadm v1.15.x 的 "kubeadm config migrate" 命令将 v1beta1 版本的配置文件转换为 v1beta2。 (从更老版本的 kubeadm 配置文件迁移需要使用更老版本的 kubeadm。例如:

  • kubeadm v1.11 版本可以用来从 v1alpha1 迁移到 v1alpha2 版本;kubeadm v1.12 可用来将 v1alpha2 翻译为 v1alpha3。
  • kubeadm v1.13 或 v1.14 可以用来将 v1alpha3 迁移到 v1beta1。

尽管如此,kubeadm v1.15.x 会支持读取 v1beta1 版本的 kubeadm 配置文件格式。

基础知识

配置 kubeadm 的推荐方式是使用 --config 选项向其传递一个 YAML 配置文件。 kubeadm 配置文件中定义的某些配置选项也可以作为命令行标志来使用, 不过这种方法所支持的都是一些最常见的、最简单的使用场景。

一个 kubeadm 配置文件中可以包含多个配置类型,使用三根横线(---)作为分隔符。

kubeadm 支持以下配置类型:

apiVersion: kubeadm.k8s.io/v1beta2
kind: InitConfiguration

apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration

apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration

apiVersion: kubeadm.k8s.io/v1beta2
kind: JoinConfiguration

要输出 "init" 和 "join" 动作的默认值,可以使用下面的命令:

kubeadm config print init-defaults
kubeadm config print join-defaults

配置文件中必须包含的配置类型列表取决于你在执行的动作(initjoin), 也取决于你要使用的配置选项(默认值或者高级定制)。

如果某些配置类型没有提供,或者仅部分提供,kubeadm 将使用默认值; kubeadm 所提供的默认值在必要时也会保证其在多个组件之间是一致的 (例如控制器管理器上的 --cluster-cidr 参数和 kube-proxy 上的 clusterCIDR)。

用户总是可以重载默认配置值,唯一的例外是一小部分与安全性相关联的配置 (例如在 API 服务器上强制实施 Node 和 RBAC 鉴权模式)。

如果用户所提供的配置类型并非你所执行的操作需要的, kubeadm 会忽略这些配置类型并打印警告信息。

kubeadm init 配置类型

当带有 --config 选项来执行 kubeadm init 命令时,可以使用下面的配置类型: InitConfigurationClusterConfigurationKubeProxyConfigurationKubeletConfiguration,但 InitConfigurationClusterConfiguration 之间只有一个是必须提供的。

apiVersion: kubeadm.k8s.io/v1beta2
kind: InitConfiguration
bootstrapTokens:
  ...
nodeRegistration:
  ...

类型 InitConfiguration 用来配置运行时设置,就 kubeadm init 命令而言, 包括启动引导令牌以及所有与 kubeadm 所在节点相关的设置,包括:

  • nodeRegistration:其中包含与向集群注册新节点相关的字段; 使用这个类型来定制节点名称、要使用的 CRI 套接字或者其他仅对当前节点起作用的设置 (例如节点 IP 地址)。
  • apiServer:代表的是要部署到此节点上的 API 服务器示例的端点; 使用这个类型可以完成定制 API 服务器公告地址这类操作。
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
networking:
    ...
etcd:
    ...
apiServer:
  extraArgs:
    ...
  extraVolumes:
    ...
...

类型 ClusterConfiguration 用来定制集群范围的设置,具体包括以下设置:

  • networking:其中包含集群的网络拓扑配置。使用这一部分可以定制 Pod 的子网或者 Service 的子网。
  • etcd:etcd 数据库的配置。例如使用这个部分可以定制本地 etcd 或者配置 API 服务器使用一个外部的 etcd 集群。
  • kube-apiserverkube-schedulerkube-controller-manager 配置:这些部分可以通过添加定制的设置或者重载 kubeadm 的默认设置来定制控制面组件。
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
  ...

KubeProxyConfiguration 类型用来更改传递给在集群中部署的 kube-proxy 实例的配置。 如果此对象没有提供,或者仅部分提供,kubeadm 使用默认值。

关于 kube-proxy 的官方文档,可参阅 https://kubernetes.io/zh/docs/reference/command-line-tools-reference/kube-proxy/ 或者 https://godoc.org/k8s.io/kube-proxy/config/v1alpha1#KubeProxyConfiguration。

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
  ...

KubeletConfiguration 类型用来更改传递给在集群中部署的 kubelet 实例的配置。 如果此对象没有提供,或者仅部分提供,kubeadm 使用默认值。

关于 kubelet 的官方文档,可参阅 https://kubernetes.io/zh/docs/reference/command-line-tools-reference/kubelet/ 或者 https://godoc.org/k8s.io/kubelet/config/v1beta1#KubeletConfiguration。

下面是一个为执行 kubeadm init 而提供的、包含多个配置类型的单一 YAML 文件, 其中填充了很多部分。

apiVersion: kubeadm.k8s.io/v1beta2
kind: InitConfiguration
bootstrapTokens:
  - token: "9a08jv.c0izixklcxtmnze7"
    description: "kubeadm bootstrap token"
    ttl: "24h"
  - token: "783bde.3f89s0fje9f38fhf"
    description: "another bootstrap token"
    usages:
      - authentication
      - signing
    groups:
      - system:bootstrappers:kubeadm:default-node-token
nodeRegistration:
  name: "ec2-10-100-0-1"
  criSocket: "/var/run/dockershim.sock"
  taints:
    - key: "kubeadmNode"
      value: "master"
      effect: "NoSchedule"
  kubeletExtraArgs:
    v: 4
  ignorePreflightErrors:
    - IsPrivilegedUser
localAPIEndpoint:
  advertiseAddress: "10.100.0.1"
  bindPort: 6443
certificateKey: "e6a2eb8581237ab72a4f494f30285ec12a9694d750b9785706a83bfcbbbd2204"
---
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
etcd:
  # one of local or external
  local:
    imageRepository: "k8s.gcr.io"
    imageTag: "3.2.24"
    dataDir: "/var/lib/etcd"
    extraArgs:
      listen-client-urls: "http://10.100.0.1:2379"
    serverCertSANs:
      -  "ec2-10-100-0-1.compute-1.amazonaws.com"
    peerCertSANs:
      - "10.100.0.1"
  # external:
  #   endpoints:
  #     - "10.100.0.1:2379"
  #     - "10.100.0.2:2379"
  #   caFile: "/etcd/kubernetes/pki/etcd/etcd-ca.crt"
  #   certFile: "/etcd/kubernetes/pki/etcd/etcd.crt"
  #   keyFile: "/etcd/kubernetes/pki/etcd/etcd.key"
networking:
  serviceSubnet: "10.96.0.0/16"
  podSubnet: "10.244.0.0/24"
  dnsDomain: "cluster.local"
kubernetesVersion: "v1.12.0"
controlPlaneEndpoint: "10.100.0.1:6443"
apiServer:
  extraArgs:
    authorization-mode: "Node,RBAC"
  extraVolumes:
    - name: "some-volume"
      hostPath: "/etc/some-path"
      mountPath: "/etc/some-pod-path"
      readOnly: false
      pathType: File
  certSANs:
    - "10.100.1.1"
    - "ec2-10-100-0-1.compute-1.amazonaws.com"
  timeoutForControlPlane: 4m0s
controllerManager:
  extraArgs:
    "node-cidr-mask-size": "20"
  extraVolumes:
    - name: "some-volume"
      hostPath: "/etc/some-path"
      mountPath: "/etc/some-pod-path"
      readOnly: false
      pathType: File
scheduler:
  extraArgs:
    address: "10.100.0.1"
  extraVolumes:
    - name: "some-volume"
      hostPath: "/etc/some-path"
      mountPath: "/etc/some-pod-path"
      readOnly: false
      pathType: File
certificatesDir: "/etc/kubernetes/pki"
imageRepository: "k8s.gcr.io"
useHyperKubeImage: false
clusterName: "example-cluster"
---
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
# kubelet specific options here
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
# kube-proxy specific options here

kubeadm join 配置类型

当带有 --config 选项来执行 kubeadm join 操作时, 需要提供 JoinConfiguration 类型。

apiVersion: kubeadm.k8s.io/v1beta2
kind: JoinConfiguration
  ...

JoinConfiguration 类型用来配置运行时设置,就 kubeadm join 而言包括用来访问集群信息的发现方法,以及所有特定于 kubeadm 执行所在节点的设置, 包括:

  • nodeRegistration:其中包含向集群注册新节点相关的配置字段; 使用这个类型可以定制节点名称、用使用的 CRI 套接字和所有其他仅适用于当前节点的设置 (例如节点 IP 地址)。
  • apiEndpoint:用来代表最终要部署到此节点上的 API 服务器实例的端点。

资源类型

ClusterConfiguration

ClusterConfiguration 包含一个 kubadm 集群的集群范围配置信息。

字段描述
apiVersion
string
kubeadm.k8s.io/v1beta2
kind
string
ClusterConfiguration
etcd [必需]
Etcd

etcd 中包含 etcd 服务的配置。

networking [必需]
Networking
networking 字段包含集群的网络拓扑配置。
kubernetesVersion [必需]
string

kubernetesVersion 设置控制面的目标版本。

controlPlaneEndpoint [必需]
string

controlPlaneEndpoint 为控制面设置一个稳定的 IP 地址或 DNS 名称。 取值可以是一个合法的 IP 地址或者 RFC-1123 形式的 DNS 子域名,二者均可以带一个可选的 TCP 端口号。 如果 controlPlaneEndpoint 未设置,则使用 advertiseAddress + bindPort。 如果设置了 controlPlaneEndpoint,但未指定 TCP 端口号,则使用 bindPort

可能的用法有:

  • 在一个包含不止一个控制面实例的集群中, 该字段应该设置为放置在控制面实例之前的外部负载均衡器的地址。
  • 在带有强制性节点回收的环境中,controlPlaneEndpoint 可以用来为控制面设置一个稳定的 DNS。
apiServer [必需]
APIServer

apiServer 包含 API 服务器的一些额外配置。

controllerManager [必需]
ControlPlaneComponent

controllerManager 中包含控制器管理器的额外配置。

scheduler [必需]
ControlPlaneComponent

scheduler 包含调度器的额外配置。

dns [必需]
DNS

dns 定义在集群中安装的 DNS 插件的选项。

certificatesDir [必需]
string

certificatesDir 设置在何处存放或者查找所需证书。

imageRepository [必需]
string

imageRepository 设置用来拉取镜像的容器仓库。 如果此字段为空,默认使用 k8s.gcr.io; 当 Kubernetes 用来执行 CI 构造时(Kubernetes 版本以 ci/ 开头), 将默认使用 gcr.io/k8s-staging-ci-images 来拉取控制面组件镜像, 而使用 k8s.gcr.io 来拉取所有其他镜像。

useHyperKubeImage [必需]
bool

useHyperKubeImage 控制是否使用 hyperkube 来作为Kubernetes 组件,而不是一个个独立的镜像。 已启用:由于 hyperkube 自身已被弃用,此字段也被启用。 将被从将来的 kubeadm 配置版本中移除,kubeadm 在此字段设置为 true 时会打印多个警告信息,并且在一些其他位置忽略此字段设置。

featureGates [必需]
map[string]bool

featureGates 包含用户所启用的特性门控。

clusterName [必需]
string

集群名称。

ClusterStatus

ClusterStatus 包含集群信息。ClusterStatus 会被保存在集群中 kubeadm-config ConfigMap 中,之后在新的控制面实例添加到集群或者现有控制面实例离开集群时被更新。

字段描述
apiVersion
string
kubeadm.k8s.io/v1beta2
kind
string
ClusterStatus
apiEndpoints [必需]
map[string]APIEndpoint

apiEndpoints 为当前集群中可用的 API 端点,每个控制面实例 (API 服务器)对应一个表项。 映射的键名为主机默认接口的 IP 地址。

InitConfiguration

InitConfiguration 包含一组特定于 "kubeadm init" 的运行时元素。

字段描述
apiVersion
string
kubeadm.k8s.io/v1beta2
kind
string
InitConfiguration
bootstrapTokens [必需]
[]BootstrapToken

bootstrapTokenskubeadm init 执行时会被用到, 其中描述了一组要创建的启动引导令牌(Bootstrap Tokens)。 这里的信息不会被上传到 kubeadm 在集群中保存的 ConfigMap 中,部分原因是由于信息本身比较敏感。

nodeRegistration [必需]
NodeRegistrationOptions

nodeRegistration 中包含与向集群中注册新的控制面节点相关的字段。

localAPIEndpoint [必需]
APIEndpoint

localAPIEndpoint 所代表的的是在此控制面节点上要部署的 API 服务器的端点。 在高可用(HA)配置中,此字段与 ClusterConfiguration.controlPlaneEndpoint 的取值不同:后者代表的是整个集群的全局端点,该端点上的请求会被负载均衡到每个 API 服务器。 此配置对象允许你定制本地 API 服务器所公布的、可访问的 IP/DNS 名称和端口。 默认情况下,kubeadm 会尝试自动检测默认接口上的 IP 并使用该地址。 不过,如果这种检测失败,你可以在此字段中直接设置所期望的值。

certificateKey [必需]
string

certificateKey 用来设置一个秘钥,该秘钥将对 uploadcerts init 阶段上传到集群中某 Secret 内的秘钥和证书加密。

JoinConfiguration

JoinConfiguration 包含描述特定节点的元素。

字段描述
apiVersion
string
kubeadm.k8s.io/v1beta2
kind
string
JoinConfiguration
nodeRegistration [必需]
NodeRegistrationOptions
nodeRegistration 包含与向集群注册控制面节点相关的字段。
caCertPath [必需]
string

caCertPath 是指向 SSL 证书机构的路径, 该证书包用来加密节点与控制面之间的通信。默认值为 "/etc/kubernetes/pki/ca.crt"。

discovery [必需]
Discovery

discovery 设置 TLS 引导过程中 kubelet 要使用的选项。

controlPlane [必需]
JoinControlPlane

controlPlane 定义要在正被加入到集群中的节点上部署的额外控制面实例。 此字段为 null 时,不会再上面部署额外的控制面实例。

APIEndpoint

出现在:

APIEndpoint 结构包含某节点上部署的 API 服务器的配置元素。

字段描述
advertiseAddress [必需]
string

advertiseAddress 设置 API 服务器要公布的 IP 地址。

bindPort [必需]
int32
bindPort 设置 API 服务器要绑定到的安全端口。默认值为 6443。

APIServer

出现在:

APIServer 包含集群中 API 服务器部署所必需的设置。

字段描述
ControlPlaneComponent [必需]
ControlPlaneComponent
ControlPlaneComponent 结构的字段被嵌入到此类型中) 无描述
certSANs [必需]
[]string
certSANs 设置 API 服务器签署证书所用的额外主题替代名(Subject Alternative Name,SAN)。
timeoutForControlPlane [必需]
meta/v1.Duration

timeoutForControlPlane 用来控制我们等待 API 服务器开始运行的超时时间。

BootstrapToken

出现在:

BootstrapToken 描述的是一个启动引导令牌,以 Secret 形式存储在集群中。

字段描述
token [必需]
BootstrapTokenString

token 用来在节点与控制面之间建立双向的信任关系。 在向集群中添加节点时使用。

description [必需]
string

description 设置一个对人友好的消息, 说明为什么此令牌会存在以及其目标用途,这样其他管理员能够知道其目的。

ttl [必需]
meta/v1.Duration

ttl 定义此令牌的声明周期。默认为 24hexpiresttl 是互斥的。

expires [必需]
meta/v1.Time

expires 设置此令牌过期的时间戳。 默认为在运行时基于ttl来决定。 expiresttl是互斥的。

usages [必需]
[]string

usages 描述此令牌的可能使用方式。默认情况下, 令牌可用于建立双向的信任关系;不过这里可以改变默认用途。

groups [必需]
[]string

groups 设定此令牌被用于身份认证时对应的附加用户组。

BootstrapTokenDiscovery

出现在:

BootstrapTokenDiscovery 用来设置基于引导令牌的服务发现选项。

字段描述
token [必需]
string

token 用来验证从控制面获得的集群信息。

apiServerEndpoint [必需]
string

apiServerEndpoint

为 API 服务器的 IP 地址或者域名,从该端点可以获得集群信息。

caCertHashes [必需]
[]string

caCertHashes 设置一组在基于令牌来发现服务时要验证的公钥指纹。 发现过程中获得的根 CA 必须与这里的数值之一匹配。 设置为空集合意味着禁用根 CA 指纹,因而可能是不安全的。 每个哈希值的形式为 "<type>:<value>",当前唯一支持的 type 为 "sha256"。 哈希值为主体公钥信息(Subject Public Key Info,SPKI)对象的 SHA-256 哈希值(十六进制编码),形式为 DER 编码的 ASN.1。 例如,这些哈希值可以使用 OpenSSL 来计算。

unsafeSkipCAVerification [必需]
bool
unsafeSkipCAVerification 允许在使用基于令牌的服务发现时不使用 caCertHashes 来执行 CA 验证。这会弱化 kubeadm 的安全性, 因为其他节点可以伪装成控制面。

BootstrapTokenString

出现在:

BootstrapTokenString 形式为 abcdef.abcdef0123456789 的一个令牌, 用来从加入集群的节点角度验证 API 服务器的身份,或者 "kubeadm join" 在节点启动引导是作为一种身份认证方法。 此令牌的生命期是短暂的,并且应该如此。

字段描述
id [必需]
string
无描述
secret [必需]
string
无描述

ControlPlaneComponent

出现在:

ControlPlaneComponent 中包含对集群中所有控制面组件都适用的设置。

字段描述
extraArgs [必需]
map[string]string

extraArgs 是要传递给控制面组件的一组额外的参数标志。 此映射中的每个键对应命令行上使用的标志名称,只是没有其引导连字符。

extraVolumes [必需]
[]HostPathMount

extraVolumes 是一组额外的主机卷,需要挂载到控制面组件中。

DNS

出现在:

DNS 结构定义要在集群中使用的 DNS 插件。

字段描述
type [必需]
DNSAddOnType

type 定义要使用的 DNS 插件类型。

ImageMeta [必需]
ImageMeta
ImageMeta 的成员被内嵌到此类型中)。

imageMeta 允许对 DNS 组件所使用的的镜像作定制。

DNSAddOnType

string 数据类型的别名)

出现在:

DNSAddOnType 定义的是用来辨识 DNS 插件类型的字符串。

Discovery

出现在:

Discovery 设置 TLS 启动引导过程中 kubelet 要使用的配置选项。

字段描述
bootstrapToken [必需]
BootstrapTokenDiscovery

bootstrapToken 设置基于启动引导令牌的服务发现选项。 bootstrapTokenfile 是互斥的。

file [必需]
FileDiscovery
用来设置一个文件或者 URL 路径,指向一个 kubeconfig 文件; 该配置文件中包含集群信息。 bootstrapTokenfile 是互斥的。
tlsBootstrapToken [必需]
string

tlsBootstrapToken 是 TLS 启动引导过程中使用的令牌。 如果设置了 bootstrapToken,则此字段默认值为 .bootstrapToken.token, 不过可以被重载。 如果设置了 file,此字段必须被设置,以防 kubeconfig 文件中不包含其他身份认证信息。

timeout [必需]
meta/v1.Duration

timeout 用来修改发现过程的超时时长。

Etcd

出现在:

Etcd 包含用来描述 etcd 配置的元素。

字段描述
local [必需]
LocalEtcd

local 提供配置本地 etcd 实例的选项。localexternal 是互斥的。

external [必需]
ExternalEtcd

external描述如何连接到外部的 etcd 集群。 localexternal是互斥的。

ExternalEtcd

出现在:

ExternalEtcd 描述外部 etcd 集群。 kubeadm 不清楚证书文件的存放位置,因此必须单独提供证书信息。

字段描述
endpoints [必需]
[]string

endpoints 包含一组 etcd 成员的列表。

caFile [必需]
string

caFile 是一个 SSL 证书机构(CA)文件,用来加密 etcd 通信。 如果使用 TLS 连接,此字段为必需字段。

certFile [必需]
string

certFile 是一个 SSL 证书文件,用来加密 etcd 通信。 如果使用 TLS 连接,此字段为必需字段。

keyFile [必需]
string

keyFile 是一个用来加密 etcd 通信的 SSL 秘钥文件。 此字段在使用 TLS 连接时为必填字段。

FileDiscovery

出现在:

FileDiscovery 用来指定一个文件或者 URL 路径,指向一个 kubeconfig 文件; 该配置文件可用来加载集群信息。

字段描述
kubeConfigPath [必需]
string

kubeConfigPath 用来指定一个文件或者 URL 路径,指向一个 kubeconfig 文件; 该配置文件可用来加载集群信息。

HostPathMount

出现在:

HostPathMount 包含从宿主节点挂载的卷的信息。

字段描述
name [必需]
string

name 为卷在 Pod 模板中的名称。

hostPath [必需]
string

hostPath 是要在 Pod 中挂载的卷在宿主系统上的路径。

mountPath [必需]
string

mountPathhostPath 在 Pod 内挂载的路径。

readOnly [必需]
bool

readOnly 控制卷的读写访问模式。

pathType [必需]
core/v1.HostPathType

pathTypehostPath 的类型。

ImageMeta

出现在:

ImageMeta 用来配置来源不是 Kubernetes/kubernetes 发布过程的组件所使用的镜像。

字段描述
imageRepository [必需]
string

imageRepository 设置镜像拉取所用的容器仓库。 若未设置,则使用 ClusterConfiguration 中的 imageRepository

imageTag [必需]
string

imageTag 允许用户设置镜像的标签。 如果设置了此字段,则 kubeadm 不再在集群升级时自动更改组件的版本。

JoinControlPlane

出现在:

JoinControlPlane 包含在正在加入集群的节点上要部署的额外的控制面组件的设置。

字段描述
localAPIEndpoint [必需]
APIEndpoint

localAPIEndpoint 代表的是将在此节点上部署的 API 服务器实例的端点。

certificateKey [必需]
string

certificateKey 是在添加新的控制面节点时用来解密所下载的 Secret 中的证书的秘钥。对应的加密秘钥在 InitConfiguration 结构中。

LocalEtcd

出现在:

LocalEtcd 描述的是 kubeadm 要使用的本地 etcd 集群。

字段描述
ImageMeta [必需]
ImageMeta
ImageMeta 结构的字段被嵌入到此类型中。)

ImageMeta 允许用户为 etcd 定制要使用的容器。

dataDir [必需]
string

dataDir 是 etcd 用来存放数据的目录。 默认值为 "/var/lib/etcd"。

extraArgs [必需]
map[string]string

extraArgs 是为 etcd 可执行文件提供的额外参数,用于在静态 Pod 中运行 etcd。映射中的每一个键对应命令行上的一个标志参数,只是去掉了前置的连字符。

serverCertSANs [必需]
[]string

serverCertSANs 为 etcd 服务器的签名证书设置额外的主体替代名 (Subject Alternative Names,SAN)。

peerCertSANs [必需]
[]string

peerCertSANs 为 etcd 的对等端签名证书设置额外的主体替代名 (Subject Alternative Names,SAN)。

Networking

出现在:

Networking 中包含描述集群网络配置的元素。

字段描述
serviceSubnet [必需]
string

serviceSubnet 是 Kubernetes 服务所使用的的子网。 默认值为 "10.96.0.0/12"。

podSubnet [必需]
string

podSubnet 为 Pod 所使用的子网。

dnsDomain [必需]
string

dnsDomain 是 Kubernetes 服务所使用的的 DNS 域名。 默认值为 "cluster.local"。

NodeRegistrationOptions

出现在:

NodeRegistrationOptions 包含向集群中注册新的控制面或节点所需要的信息; 节点注册可能通过 "kubeadm init" 或 "kubeadm join" 完成。

字段描述
name [必需]
string

name 是 Node API 对象的 .metadata.name 字段值; 该 API 对象会在此 kubeadm initkubeadm join 操作期间创建。 在提交给 API 服务器的 kubelet 客户端证书中,此字段也用作其 CommonName。 如果未指定则默认为节点的主机名。

criSocket [必需]
string

criSocket 用来读取容器运行时的信息。 此信息会被以注解的方式添加到 Node API 对象至上,用于后续用途。

taints [必需]
[]core/v1.Taint

tains 设定 Node API 对象被注册时要附带的污点。 若未设置此字段(即字段值为 null), 在 kubeadm init 期间,节点与控制面之间的通信。 默认值为污点默认设置为 taints: ["node-role.kubernetes.io/master:""]。 如果你不希望为控制面节点设置污点,可以在 YAML 中将此字段设置为空的列表,即 taints: []。 此字段仅用在 Node 注册期间。

kubeletExtraArgs [必需]
map[string]string

kubeletExtraArgs 用来向 kubelet 传递额外参数。 这里的参数会通过 kubeadm 在运行时写入的、由 kubelet 来读取的环境文件来传递给 kubelet 命令行。 这里的设置会覆盖掉 'kubelet-config-1.X' ConfigMap 中包含的一般性的配置。 命令行标志在解析时优先级更高。 这里的设置值仅作用于 kubeadm 运行所在的节点。 映射中的每个键对应命令行中的一个标志参数,只是去掉了前置的连字符。

ignorePreflightErrors [必需]
[]string

ignorePreflightErrors 提供一组在当前节点被注册时可以忽略掉的预检错误。

9 - kubeadm 配置 (v1beta3)

概述

包 v1beta3 定义 kubeadm 配置文件格式的 v1beta3 版本。 此版本改进了 v1beta2 的格式,修复了一些小问题并添加了一些新的字段。

从 v1beta2 版本以来的变更列表:

  • 已弃用的字段 "ClusterConfiguration.useHyperKubeImage" 现在被移除。 kubeadm 不再支持 hyperkube 镜像。
  • 字段 "ClusterConfiguration.dns.type" 已经被移除,因为 CoreDNS 是 kubeadm 所支持 的唯一 DNS 服务器类型。
  • 保存私密信息的字段现在包含了 "datapolicy" 标记(tag)。 这一标记会导致 API 结构通过 klog 打印输出时,会忽略这些字段的值。
  • 添加了 "InitConfiguration.skipPhases", "JoinConfiguration.skipPhases", 以允许在执行 kubeadm init/join 命令时略过某些阶段。
  • 添加了 "InitConfiguration.nodeRegistration.imagePullPolicy" 和 "JoinConfiguration.nodeRegistration.imagePullPolicy" 以允许在 kubeadm init 和 kubeadm join 期间指定镜像拉取策略。 这两个字段的值必须是 "Always"、"Never" 或 "IfNotPresent" 之一。 默认值是 "IfNotPresent",也是添加此字段之前的默认行为。
  • 添加了 "InitConfiguration.patches.directory", "JoinConfiguration.patches.directory" 以允许用户配置一个目录, kubeadm 将从该目录中提取组件的补丁包。
  • BootstrapToken∗ API 和相关的工具被从 "kubeadm" API 组中移出, 放到一个新的 "bootstraptoken" 组中。kubeadm API 版本 v1beta3 不再包含 BootstrapToken∗ 结构。

从老的 kubeadm 配置版本迁移:

  • kubeadm v1.15.x 及更新的版本可以用来从 v1beta1 迁移到 v1beta2 版本;
  • kubeadm v1.22.x 及更新的版本不再支持 v1beta1 和更老的 API,但可以用来 从 v1beta2 迁移到 v1beta3。

基础知识

配置 kubeadm 的推荐方式是使用 --config 选项向其传递一个 YAML 配置文件。 kubeadm 配置文件中定义的某些配置选项也可以作为命令行标志来使用,不过这种 方法所支持的都是一些最常见的、最简单的使用场景。

一个 kubeadm 配置文件中可以包含多个配置类型,使用三根横线(---)作为分隔符。

kubeadm 支持以下配置类型:

apiVersion: kubeadm.k8s.io/v1beta3
kind: InitConfiguration

apiVersion: kubeadm.k8s.io/v1beta3
kind: ClusterConfiguration

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration

apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration

apiVersion: kubeadm.k8s.io/v1beta3
kind: JoinConfiguration

要输出 "init" 和 "join" 动作的默认值,可以使用下面的命令:

kubeadm config print init-defaults
kubeadm config print join-defaults

配置文件中必须包含的配置类型列表取决于你在执行的动作(initjoin), 也取决于你要使用的配置选项(默认值或者高级定制)。

如果某些配置类型没有提供,或者仅部分提供,kubeadm 将使用默认值; kubeadm 所提供的默认值在必要时也会保证其在多个组件之间是一致的 (例如控制器管理器上的 --cluster-cidr 参数和 kube-proxy 上的 clusterCIDR)。

用户总是可以重载默认配置值,唯一的例外是一小部分与安全性相关联的配置 (例如在 API 服务器上强制实施 Node 和 RBAC 鉴权模式)。

如果用户所提供的配置类型并非你所执行的操作需要的,kubeadm 会忽略这些配置类型 并打印警告信息。

kubeadm init 配置类型

当带有 --config 选项来执行 kubeadm init 命令时,可以使用下面的配置类型: `InitConfiguration`、`ClusterConfiguration`、`KubeProxyConfiguration`、`KubeletConfiguration`, 但 `InitConfiguration` 和 `ClusterConfiguration` 之间只有一个是必须提供的。

apiVersion: kubeadm.k8s.io/v1beta3
kind: InitConfiguration
bootstrapTokens:
  ...
nodeRegistration:
  ...

类型 InitConfiguration 用来配置运行时设置,就 kubeadm init 命令而言,包括 启动引导令牌以及所有与 kubeadm 所在节点相关的设置,包括:

  • nodeRegistration:其中包含与向集群注册新节点相关的字段;使用这个类型来 定制节点名称、要使用的 CRI 套接字或者其他仅对当前节点起作用的设置 (例如节点 IP 地址)。
  • localAPIEndpoint:代表的是要部署到此节点上的 API 服务器示例的端点; 使用这个类型可以完成定制 API 服务器公告地址这类操作。
apiVersion: kubeadm.k8s.io/v1beta3
kind: ClusterConfiguration
networking:
  ...
etcd:
  ...
apiServer:
  extraArgs:
    ...
  extraVolumes:
    ...
...

类型 `ClusterConfiguration` 用来定制集群范围的设置,具体包括以下设置:

  • networking:其中包含集群的网络拓扑配置。使用这一部分可以定制 Pod 的 子网或者 Service 的子网。

  • etcd:etcd 数据库的配置。例如使用这个部分可以定制本地 etcd 或者配置 API 服务器 使用一个外部的 etcd 集群。

  • kube-apiserverkube-schedulerkube-controller-manager 配置:这些部分可以通过添加定制的设置或者重载 kubeadm 的默认设置来定制控制面组件。

apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
  ...

KubeProxyConfiguration 类型用来更改传递给在集群中部署的 kube-proxy 实例 的配置。如果此对象没有提供,或者仅部分提供,kubeadm 使用默认值。

关于 kube-proxy 的官方文档,可参阅 https://kubernetes.io/zh/docs/reference/command-line-tools-reference/kube-proxy/ 或者 https://godoc.org/k8s.io/kube-proxy/config/v1alpha1#KubeProxyConfiguration。

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
  ...

KubeletConfiguration 类型用来更改传递给在集群中部署的 kubelet 实例的配置。 如果此对象没有提供,或者仅部分提供,kubeadm 使用默认值。

关于 kubelet 的官方文档,可参阅 https://kubernetes.io/zh/docs/reference/command-line-tools-reference/kubelet/ 或者 https://godoc.org/k8s.io/kubelet/config/v1beta1#KubeletConfiguration。

下面是一个为执行 kubeadm init 而提供的、包含多个配置类型的单一 YAML 文件, 其中填充了很多部分。

apiVersion: kubeadm.k8s.io/v1beta3
kind: InitConfiguration
bootstrapTokens:
- token: "9a08jv.c0izixklcxtmnze7"
  description: "kubeadm bootstrap token"
  ttl: "24h"
- token: "783bde.3f89s0fje9f38fhf"
  description: "another bootstrap token"
  usages:
  - authentication
  - signing
  groups:
  - system:bootstrappers:kubeadm:default-node-token
nodeRegistration:
  name: "ec2-10-100-0-1"
  criSocket: "/var/run/dockershim.sock"
  taints:
  - key: "kubeadmNode"
    value: "master"
    effect: "NoSchedule"
  kubeletExtraArgs:
    v: 4
ignorePreflightErrors:
- IsPrivilegedUser
   imagePullPolicy: "IfNotPresent"
localAPIEndpoint:
  advertiseAddress: "10.100.0.1"
  bindPort: 6443
certificateKey: "e6a2eb8581237ab72a4f494f30285ec12a9694d750b9785706a83bfcbbbd2204"
 skipPhases:
 - addon/kube-proxy
---
apiVersion: kubeadm.k8s.io/v1beta3
kind: ClusterConfiguration
etcd:
  # one of local or external
  local:
    imageRepository: "k8s.gcr.io"
    imageTag: "3.2.24"
    dataDir: "/var/lib/etcd"
    extraArgs:
      listen-client-urls: "http://10.100.0.1:2379"
    serverCertSANs:
    -  "ec2-10-100-0-1.compute-1.amazonaws.com"
    peerCertSANs:
    - "10.100.0.1"
  # external:
    # endpoints:
    # - "10.100.0.1:2379"
    # - "10.100.0.2:2379"
    # caFile: "/etcd/kubernetes/pki/etcd/etcd-ca.crt"
    # certFile: "/etcd/kubernetes/pki/etcd/etcd.crt"
    # keyFile: "/etcd/kubernetes/pki/etcd/etcd.key"
networking:
  serviceSubnet: "10.96.0.0/16"
  podSubnet: "10.244.0.0/24"
  dnsDomain: "cluster.local"
kubernetesVersion: "v1.21.0"
controlPlaneEndpoint: "10.100.0.1:6443"
apiServer:
  extraArgs:
    authorization-mode: "Node,RBAC"
  extraVolumes:
  - name: "some-volume"
    hostPath: "/etc/some-path"
    mountPath: "/etc/some-pod-path"
    readOnly: false
    pathType: File
  certSANs:
  - "10.100.1.1"
  - "ec2-10-100-0-1.compute-1.amazonaws.com"
  timeoutForControlPlane: 4m0s
controllerManager:
  extraArgs:
    "node-cidr-mask-size": "20"
  extraVolumes:
  - name: "some-volume"
    hostPath: "/etc/some-path"
    mountPath: "/etc/some-pod-path"
    readOnly: false
    pathType: File
scheduler:
  extraArgs:
    address: "10.100.0.1"
  extraVolumes:
  - name: "some-volume"
    hostPath: "/etc/some-path"
    mountPath: "/etc/some-pod-path"
    readOnly: false
    pathType: File
certificatesDir: "/etc/kubernetes/pki"
imageRepository: "k8s.gcr.io"
clusterName: "example-cluster"
---
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
# kubelet specific options here
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
# kube-proxy specific options here

kubeadm join 配置类型

当带有 --config 选项来执行 kubeadm join 操作时, 需要提供 JoinConfiguration 类型。

apiVersion: kubeadm.k8s.io/v1beta3
kind: JoinConfiguration
  ...

JoinConfiguration 类型用来配置运行时设置,就 kubeadm join 而言包括 用来访问集群信息的发现方法,以及所有特定于 kubeadm 执行所在节点的设置,包括:

  • nodeRegistration:其中包含向集群注册新节点相关的配置字段; 使用这个类型可以定制节点名称、用使用的 CRI 套接字和所有其他仅适用于当前节点的设置 (例如节点 IP 地址)。
  • apiEndpoint:用来代表最终要部署到此节点上的 API 服务器实例的端点。

资源类型

ClusterConfiguration

ClusterConfiguration 包含一个 kubadm 集群的集群范围配置信息。

字段描述
apiVersion
string
kubeadm.k8s.io/v1beta3
kind
string
ClusterConfiguration
etcd
Etcd

etcd 中包含 etcd 服务的配置。

networking
Networking

networking 字段包含集群的网络拓扑配置。

kubernetesVersion
string

kubernetesVersion 设置控制面的目标版本。

controlPlaneEndpoint
string

controlPlaneEndpoint 为控制面设置一个稳定的 IP 地址或 DNS 名称。 取值可以是一个合法的 IP 地址或者 RFC-1123 形式的 DNS 子域名,二者均可以带一个 可选的 TCP 端口号。 如果 controlPlaneEndpoint 未设置,则使用 advertiseAddress + bindPort。 如果设置了 controlPlaneEndpoint,但未指定 TCP 端口号,则使用 bindPort

可能的用法有:

  • 在一个包含不止一个控制面实例的集群中,该字段应该设置为放置在控制面 实例之前的外部负载均衡器的地址。
  • 在带有强制性节点回收的环境中,controlPlaneEndpoint 可以用来 为控制面设置一个稳定的 DNS。
apiServer
APIServer

apiServer 包含 API 服务器的一些额外配置。

controllerManager
ControlPlaneComponent

controllerManager 中包含控制器管理器的额外配置。

scheduler
ControlPlaneComponent

scheduler 包含调度器的额外配置。

dns
DNS

dns 定义在集群中安装的 DNS 插件的选项。

certificatesDir
string

certificatesDir 设置在何处存放或者查找所需证书。

imageRepository
string

imageRepository 设置用来拉取镜像的容器仓库。 如果此字段为空,默认使用 k8s.gcr.io。 当 Kubernetes 用来执行 CI 构造时(Kubernetes 版本以 ci/ 开头), 将默认使用 gcr.io/k8s-staging-ci-images 来拉取控制面组件镜像, 而使用 k8s.gcr.io 来拉取所有其他镜像。

featureGates
map[string]bool

featureGates 包含用户所启用的特性门控。

clusterName
string

集群名称。

InitConfiguration

InitConfiguration 包含一组特定于 "kubeadm init" 的运行时元素。 这里的字段仅用于第一次运行 kubeadm init 命令。 之后,此结构中的字段信息不会再被上传到 kubeadm upgrade 所要使用的 kubeadm-config ConfigMap 中。 这些字段必须设置 "omitempty"

字段描述
apiVersion
string
kubeadm.k8s.io/v1beta3
kind
string
InitConfiguration
bootstrapTokens
[]BootstrapToken

bootstrapTokenskubeadm init 执行时会被用到, 其中描述了一组要创建的启动引导令牌(Bootstrap Tokens)。 这里的信息不会被上传到 kubeadm 在集群中保存的 ConfigMap 中,部分原因是由于信息 本身比较敏感。

nodeRegistration
NodeRegistrationOptions

nodeRegistration 中包含与向集群中注册新的控制面节点相关的字段。

localAPIEndpoint
APIEndpoint

localAPIEndpoint 所代表的的是在此控制面节点上要部署的 API 服务器 的端点。在高可用(HA)配置中,此字段与 ClusterConfiguration.controlPlaneEndpoint 的取值不同:后者代表的是整个集群的全局端点,该端点上的请求会被负载均衡到每个 API 服务器。 此配置对象允许你定制本地 API 服务器所公布的、可访问的 IP/DNS 名称和端口。 默认情况下,kubeadm 会尝试自动检测默认接口上的 IP 并使用该地址。 不过,如果这种检测失败,你可以在此字段中直接设置所期望的值。

certificateKey
string

certificateKey 用来设置一个秘钥,该秘钥将对 uploadcerts init 阶段上传到集群中某 Secret 内的秘钥和证书加密。

skipPhases
[]string

skipPhases 是命令执行过程中药略过的阶段(Phases)。 通过执行命令 kubeadm init --help 可以获得阶段的列表。 参数标志 "--skip-phases" 优先于此字段的设置。

patches
Patches

patches 包含与 kubeadm init 阶段 kubeadm 所部署 的组件上要应用的补丁相关的信息。

JoinConfiguration

JoinConfiguration 包含描述特定节点的元素。

字段描述
apiVersion
string
kubeadm.k8s.io/v1beta3
kind
string
JoinConfiguration
nodeRegistration
NodeRegistrationOptions

nodeRegistration 包含与向集群注册控制面节点相关的字段。

caCertPath
string

caCertPath 是指向 SSL 证书机构的路径,该证书包用来加密 节点与控制面之间的通信。默认值为 "/etc/kubernetes/pki/ca.crt"。

discovery [必需]
Discovery

discovery 设置 TLS 引导过程中 kubelet 要使用的选项。

controlPlane
JoinControlPlane

controlPlane 定义要在正被加入到集群中的节点上部署的额外 控制面实例。此字段为 null 时,不会再上面部署额外的控制面实例。

skipPhases
[]string

此字段包含在命令执行过程中要略过的阶段。通过 kubeadm join --help 命令可以查看阶段的列表。参数 --skip-phases 优先于此字段。

patches
Patches

此字段包含 kubeadm join 阶段向 kubeadm 所部署的组件打补丁 的选项。

APIEndpoint

出现在:

APIEndpoint 结构包含某节点上部署的 API 服务器的配置元素。

字段描述
advertiseAddress
string

advertiseAddress 设置 API 服务器要公布的 IP 地址。

bindPort
int32

bindPort 设置 API 服务器要绑定到的安全端口。默认值为 6443。

APIServer

出现在:

APIServer 包含集群中 API 服务器部署所必需的设置。

字段描述
ControlPlaneComponent [必需]-->[必需]
ControlPlaneComponent
ControlPlaneComponent 结构的字段被嵌入到此类型中) 无描述.
certSANs
[]string

certSANs 设置 API 服务器签署证书所用的额外主题替代名(Subject Alternative Name,SAN)。

timeoutForControlPlane
meta/v1.Duration

timeoutForControlPlane 用来控制我们等待 API 服务器开始运行的超时时间。

BootstrapTokenDiscovery

出现在:

BootstrapTokenDiscovery 用来设置基于引导令牌的服务发现选项。

字段描述
token [必需]-->[必需]
string

token 用来验证从控制面获得的集群信息。

apiServerEndpoint
string

apiServerEndpoint

为 API 服务器的 IP 地址或者域名,从该端点可以获得集群信息。

caCertHashes
[]string

caCertHashes 设置一组在基于令牌来发现服务时要验证的公钥指纹。 发现过程中获得的根 CA 必须与这里的数值之一匹配。 设置为空集合意味着禁用根 CA 指纹,因而可能是不安全的。 每个哈希值的形式为 "<type>:<value>",当前唯一支持的 type 为 "sha256"。 哈希值为主体公钥信息(Subject Public Key Info,SPKI)对象的 SHA-256 哈希值(十六进制编码),形式为 DER 编码的 ASN.1。 例如,这些哈希值可以使用 OpenSSL 来计算。

unsafeSkipCAVerification
bool

unsafeSkipCAVerification 允许在使用基于令牌的服务发现时 不使用 caCertHashes 来执行 CA 验证。这会弱化 kubeadm 的安全性, 因为其他节点可以伪装成控制面。

ControlPlaneComponent

出现在:

ControlPlaneComponent 中包含对集群中所有控制面组件都适用的设置。

字段描述
extraArgs
map[string]string

extraArgs 是要传递给控制面组件的一组额外的参数标志。 此映射中的每个键对应命令行上使用的标志名称,只是没有其引导连字符。

extraVolumes
[]HostPathMount

extraVolumes 是一组额外的主机卷,需要挂载到控制面组件中。

DNS

出现在:

DNS 结构定义要在集群中使用的 DNS 插件。

字段描述
ImageMeta [必需]
ImageMeta
ImageMeta 的成员被内嵌到此类型中)。

imageMeta 允许对 DNS 组件所使用的的镜像作定制。

Discovery

出现在:

Discovery 设置 TLS 启动引导过程中 kubelet 要使用的配置选项。

字段描述
bootstrapToken
BootstrapTokenDiscovery

bootstrapToken 设置基于启动引导令牌的服务发现选项。 bootstrapTokenfile 是互斥的。

file
FileDiscovery

用来设置一个文件或者 URL 路径,指向一个 kubeconfig 文件;该配置文件 中包含集群信息。 bootstrapTokenfile 是互斥的。

tlsBootstrapToken
string

tlsBootstrapToken 是 TLS 启动引导过程中使用的令牌。 如果设置了 bootstrapToken,则此字段默认值为 .bootstrapToken.token,不过可以被重载。 如果设置了 file,此字段必须被设置,以防 kubeconfig 文件 中不包含其他身份认证信息。

timeout
meta/v1.Duration

timeout 用来修改发现过程的超时时长。

Etcd

出现在:

Etcd 包含用来描述 etcd 配置的元素。

字段描述
local
LocalEtcd

local 提供配置本地 etcd 实例的选项。localexternal 是互斥的。

external
ExternalEtcd

external 描述如何连接到外部的 etcd 集群。 external 是互斥的。

ExternalEtcd

出现在:

ExternalEtcd 描述外部 etcd 集群。 kubeadm 不清楚证书文件的存放位置,因此必须单独提供证书信息。

字段描述
endpoints [必需]
[]string

endpoints 包含一组 etcd 成员的列表。

caFile [必需]
string

caFile 是一个 SSL 证书机构(CA)文件,用来加密 etcd 通信。 如果使用 TLS 连接,此字段为必需字段。

certFile [必需]
string

certFile 是一个 SSL 证书文件,用来加密 etcd 通信。 如果使用 TLS 连接,此字段为必需字段。

keyFile [必需]
string

keyFile 是一个用来加密 etcd 通信的 SSL 秘钥文件。 此字段在使用 TLS 连接时为必填字段。

FileDiscovery

出现在:

FileDiscovery 用来指定一个文件或者 URL 路径,指向一个 kubeconfig 文件;该配置文件 可用来加载集群信息。

字段描述
kubeConfigPath [必需]
string

kubeConfigPath 用来指定一个文件或者 URL 路径,指向一个 kubeconfig 文件; 该配置文件可用来加载集群信息。

HostPathMount

出现在:

HostPathMount 包含从宿主节点挂载的卷的信息。

字段描述
name [必需]
string

name 为卷在 Pod 模板中的名称。

hostPath [必需]
string

hostPath 是要在 Pod 中挂载的卷在宿主系统上的路径。

mountPath [必需]
string

mountPathhostPath 在 Pod 内挂载的路径。

readOnly
bool

readOnly 控制卷的读写访问模式。

pathType
core/v1.HostPathType

pathTypehostPath 的类型。

ImageMeta

出现在:

ImageMeta 用来配置来源不是 Kubernetes/kubernetes 发布过程的组件所使用的镜像。

字段描述
imageRepository
string

imageRepository 设置镜像拉取所用的容器仓库。 若未设置,则使用 ClusterConfiguration 中的 imageRepository

imageTag
string

imageTag 允许用户设置镜像的标签。 如果设置了此字段,则 kubeadm 不再在集群升级时自动更改组件的版本。

JoinControlPlane

出现在:

JoinControlPlane 包含在正在加入集群的节点上要部署的额外的控制面组件的 设置。

字段描述
localAPIEndpoint
APIEndpoint

localAPIEndpoint 代表的是将在此节点上部署的 API 服务器实例 的端点。

certificateKey
string

certificateKey 是在添加新的控制面节点时用来解密所下载的 Secret 中的证书的秘钥。对应的加密秘钥在 InitConfiguration 结构中。

LocalEtcd

出现在:

LocalEtcd 描述的是 kubeadm 要使用的本地 etcd 集群。

字段描述
ImageMeta [必需]
ImageMeta
ImageMeta 结构的字段被嵌入到此类型中。)

ImageMeta 允许用户为 etcd 定制要使用的容器。

dataDir [必需]
string

dataDir 是 etcd 用来存放数据的目录。 默认值为 "/var/lib/etcd"。

extraArgs
map[string]string

extraArgs 是为 etcd 可执行文件提供的额外参数,用于在静态 Pod 中运行 etcd。映射中的每一个键对应命令行上的一个标志参数,只是去掉了 前置的连字符。

serverCertSANs
[]string

serverCertSANs 为 etcd 服务器的签名证书设置额外的 主体替代名(Subject Alternative Names,SAN)。

peerCertSANs
[]string

peerCertSANs 为 etcd 的对等端签名证书设置额外的 主体替代名(Subject Alternative Names,SAN)。

Networking

出现在:

Networking 中包含描述集群网络配置的元素。

字段描述
serviceSubnet
string

serviceSubnet 是 Kubernetes 服务所使用的的子网。 默认值为 "10.96.0.0/12"。

podSubnet
string

podSubnet 为 Pod 所使用的子网。

dnsDomain
string

dnsDomain 是 Kubernetes 服务所使用的的 DNS 域名。 默认值为 "cluster.local"。

NodeRegistrationOptions

出现在:

NodeRegistrationOptions 包含向集群中注册新的控制面或节点所需要的信息; 节点注册可能通过 "kubeadm init" 或 "kubeadm join" 完成。

字段描述
name
string

name 是 Node API 对象的 .metadata.name 字段值; 该 API 对象会在此 kubeadm initkubeadm join 操作期间创建。 在提交给 API 服务器的 kubelet 客户端证书中,此字段也用作其 CommonName。 如果未指定则默认为节点的主机名。

criSocket
string

criSocket 用来读取容器运行时的信息。 此信息会被以注解的方式添加到 Node API 对象至上,用于后续用途。

taints [必需]
[]core/v1.Taint

tains 设定 Node API 对象被注册时要附带的污点。 若未设置此字段(即字段值为 null), 在 kubeadm init 期间,节点与控制面之间的通信。默认值为污点默认设置为 taints: ["node-role.kubernetes.io/master:""]。 如果你不希望为控制面节点设置污点,可以在 YAML 中将此字段设置为空的列表,即 taints: []。 此字段仅用在 Node 注册期间。

kubeletExtraArgs
map[string]string

kubeletExtraArgs 用来向 kubelet 传递额外参数。 这里的参数会通过 kubeadm 在运行时写入的、由 kubelet 来读取的环境文件来 传递给 kubelet 命令行。 这里的设置会覆盖掉 'kubelet-config-1.X' ConfigMap 中包含的一般性的配置。 命令行标志在解析时优先级更高。 这里的设置值仅作用于 kubeadm 运行所在的节点。 映射中的每个键对应命令行中的一个标志参数,只是去掉了前置的连字符。

ignorePreflightErrors
[]string

ignorePreflightErrors 提供一组在当前节点被注册时可以 忽略掉的预检错误。

imagePullPolicy
core/v1.PullPolicy

imagePullPolicy 设定 "kubeadm init" 和 "kubeadm join" 操作期间的镜像拉取策略。此字段的取值可以是 "Always"、"IfNotPresent" 或 "Never" 之一。 若此字段未设置,则 kubeadm 使用 "IfNotPresent" 作为其默认值,换言之, 当镜像在主机上不存在时才执行拉取操作。

Patches

出现在:

Patches 包含要向 kubeadm 所部署的组件应用的补丁信息。

字段描述
directory
string

directory 是指向某目录的路径,该目录中包含名为 "target[suffix][+patchtype].extension" 的文件。 例如,"kube-apiserver0+merge.yaml" 或者 "etcd.json"。 "target" 可以是 "kube-apiserver"、"kube-controller-manager"、 "kube-scheduler"、"etcd" 之一。 "patchtype" 可以是 "strategic"、"merge" 或者 "json", 其取值对应 kubectl 所支持的补丁形式。 "patchtype" 的默认值是 "strategic"。 "extension" 必须是 "json" 或者 "yaml"。 "suffix" 是一个可选的字符串,用来确定按字母表顺序来应用时,哪个补丁最先被应用。

BootstrapToken

出现在:

BootstrapToken 描述的是一个启动引导令牌,以 Secret 形式存储在集群中。

字段描述
token [必需]
BootstrapTokenString

token 用来在节点与控制面之间建立双向的信任关系。 在向集群中添加节点时使用。

description
string

description 设置一个对人友好的消息,说明为什么此令牌 会存在以及其目标用途,这样其他管理员能够知道其目的。

ttl
meta/v1.Duration

ttl 定义此令牌的声明周期。默认为 24hexpiresttl 是互斥的。

expires
meta/v1.Time

expires 设置此令牌过期的时间戳。默认为在运行时基于 ttl 来决定。 expiresttl 是互斥的。

usages
[]string

usages 描述此令牌的可能使用方式。默认情况下,令牌可用于 建立双向的信任关系;不过这里可以改变默认用途。

groups
[]string

groups 设定此令牌被用于身份认证时对应的附加用户组。

BootstrapTokenString

出现在:

BootstrapTokenString 形式为 abcdef.abcdef0123456789 的一个令牌, 用来从加入集群的节点角度验证 API 服务器的身份,或者 "kubeadm join" 在节点启动引导是作为一种身份认证方法。 此令牌的生命期是短暂的,并且应该如此。

字段描述
id [必需]
string
无描述
secret [必需]
string
无描述

10 - Kubelet 配置 (v1alpha1)

资源类型

FormatOptions

出现在:

FormatOptions 包含为不同类型日志格式提供的选项。

字段描述
json [必需]
JSONOptions
[试验特性] json 中包含 "json" 日志格式的选项。

JSONOptions

出现在:

JSONOptions 包含用于 "json" 日志格式的选项。

字段描述
splitStream [必需]
bool
[试验特性] splitStream 将错误信息重定向到标准错误输出(stderr), 将提示信息重定向到标准输出(stdout),并为二者提供缓存。默认配置是将两类信息都写出到标准输出, 并且不提供缓存。
infoBufferSize [必需]
k8s.io/apimachinery/pkg/api/resource.QuantityValue
[试验特性] infoBufferSize 设置使用分离数据流时信息数据流的大小。 默认值是 0,意味着禁止缓存。

VModuleConfiguration

[]k8s.io/component-base/config/v1alpha1.VModuleItem 的别名)

出现在:

VModuleConfiguration 是一个集合,其中包含一个个的文件名(或者文件名模式) 及对应的详细程度阈值。

CredentialProviderConfig

CredentialProviderConfig 包含有关每个 exec 凭据提供者的配置信息。 Kubelet 从磁盘上读取这些配置信息,并根据 CredentialProvider 类型启用各个提供者。

字段描述
apiVersion
string
kubelet.config.k8s.io/v1alpha1
kind
string
CredentialProviderConfig
providers [必需]
[]CredentialProvider
providers 是一组凭据提供者插件,这些插件会被 kubelet 启用。 多个提供者可以匹配到同一镜像上,这时,来自所有提供者的凭据信息都会返回给 kubelet。 如果针对同一镜像调用了多个提供者,则结果会被组合起来。如果提供者返回的认证主键有重复, 列表中先出现的提供者所返回的值将被使用。

CredentialProvider

出现在:

CredentialProvider 代表的是要被 kubelet 调用的一个 exec 插件。 这一插件只会在所拉取的镜像与该插件所处理的镜像匹配时才会被调用(参见 matchImages)。

字段描述
name [必需]
string
name 是凭据提供者的名称(必需)。此名称必须与 kubelet 所看到的提供者可执行文件的名称匹配。可执行文件必须位于 kubelet 的 bin 目录(通过 --image-credential-provider-bin-dir 设置)下。
matchImages [必需]
[]string

matchImages 是一个必须设置的字符串列表,用来匹配镜像以便确定是否要调用此提供者。 如果字符串之一与 kubelet 所请求的镜像匹配,则此插件会被调用并给予提供凭证的机会。 镜像应该包含镜像库域名和 URL 路径。

matchImages 中的每个条目都是一个模式字符串,其中可以包含端口号和路径。 域名部分可以包含统配符,但端口或路径部分不可以。通配符可以用作子域名,例如 '∗.k8s.io' 或 'k8s.∗.io',以及顶级域名,如 'k8s.∗'。

对类似 'app∗.k8s.io' 这类部分子域名的匹配也是支持的。 每个通配符只能用来匹配一个子域名段,所以 '∗.io' 不会匹配 '∗.k8s.io'。

镜像与 matchImages 之间存在匹配时,以下条件都要满足:

  • 二者均包含相同个数的域名部分,并且每个域名部分都对应匹配;
  • matchImages 条目中的 URL 路径部分必须是目标镜像的 URL 路径的前缀;
  • 如果 matchImages 条目中包含端口号,则端口号也必须与镜像端口号匹配。

matchImages 的一些示例如下:

  • 123456789.dkr.ecr.us-east-1.amazonaws.com
  • ∗.azurecr.io
  • gcr.io
  • ∗.∗.registry.io
  • registry.io:8080/path
defaultCacheDuration [必需]
meta/v1.Duration
defaultCacheDuration 是插件在内存中缓存凭据的默认时长, 在插件响应中没有给出缓存时长时,使用这里设置的值。此字段是必需的。
apiVersion [必需]
string

要求 exec 插件 CredentialProviderRequest 请求的输入版本。 所返回的 CredentialProviderResponse 必须使用与输入相同的编码版本。当前支持的值有:

  • credentialprovider.kubelet.k8s.io/v1alpha1
args
[]string
在执行插件可执行文件时要传递给命令的参数。
env
[]ExecEnvVar
env 定义要提供给插件进程的额外的环境变量。 这些环境变量会与主机上的其他环境变量以及 client-go 所使用的环境变量组合起来, 一起传递给插件。

ExecEnvVar

出现在:

ExecEnvVar 用来在执行基于 exec 的凭据插件时设置环境变量。

字段描述
name [必需]
string
环境变量名称。
value [必需]
string
环境变量取值。

11 - Kubelet 配置 (v1beta1)

资源类型

KubeletConfiguration

KubeletConfiguration 中包含 Kubelet 的配置。

字段描述
apiVersion
string
kubelet.config.k8s.io/v1beta1
kind
string
KubeletConfiguration
enableServer [必需]
bool

enableServer 会启用 kubelet 的安全服务器。

注意:kubelet 的不安全端口由 readOnlyPort 选项控制。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能会影响到与 kubelet 服务器交互的组件。

默认值:true

staticPodPath
string

staticPodPath 是指向要运行的本地(静态)Pod 的目录, 或者指向某个静态 Pod 文件的路径。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑新路径下所给的静态 Pod 集合可能与 kubelet 启动时所看到的集合不同,而这一差别可能会扰乱节点状态。

默认值:""

syncFrequency
meta/v1.Duration

syncFrequency 是对运行中的容器和配置进行同步的最长周期。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑缩短这一同步周期可能会带来负面的性能影响, 尤其当节点上 Pod 个数增加时。相反,增加此周期长度时可能会导致 ConfigMap、 Secret 这类资源未被及时更新。

默认值:"1m"

fileCheckFrequency
meta/v1.Duration

fileCheckFrequency 是对配置文件中新数据进行检查的时间间隔值。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑缩短此时长会导致 kubelet 更为频繁地重新加载其静态 Pod 配置, 而这会带来负面的性能影响。

默认值:"20s"

httpCheckFrequency
meta/v1.Duration

httpCheckFrequency 是对 HTTP 服务器上新数据进行检查的时间间隔值。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑缩短此时长会导致 kubelet 更为频繁地轮询 staticPodURL,而这会带来负面的性能影响。

默认值:"20s"

staticPodURL
string

staticPodURL 是访问要运行的静态 Pod 的 URL 地址。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,新的 URL 上包含的静态 Pod 集合可能与 kubelet 初始启动时看到的不同,而这种差异可能会扰乱节点状态。

默认值:""

staticPodURLHeader
map[string][]string

staticPodURLHeader是一个由字符串组成的映射表,其中包含的 HTTP 头部信息用于访问podURL

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,要考虑可能导致无法从staticPodURL 读取最新的静态 Pod 集合。

默认值:nil

address
string

address 是 kubelet 提供服务所用的 IP 地址(设置为 0.0.0.0 使用所有网络接口提供服务)。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能干扰与 kubelet 服务器交互的组件。

默认值:"0.0.0.0"

port
int32

port 是 kubelet 用来提供服务所使用的端口号。 这一端口号必须介于 1 到 65535 之间,包含 1 和 65535。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能干扰与 kubelet 服务器交互的组件。

默认值:10250

readOnlyPort
int32

readOnlyPort 是 kubelet 用来提供服务所使用的只读端口号。 此端口上的服务不支持身份认证或鉴权。这一端口号必须介于 1 到 65535 之间, 包含 1 和 65535。将此字段设置为 0 会禁用只读服务。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能干扰与 kubelet 服务器交互的组件。

默认值:0(禁用)

tlsCertFile
string

tlsCertFile是包含 HTTPS 所需要的 x509 证书的文件 (如果有 CA 证书,会串接到服务器证书之后)。如果tlsCertFiletlsPrivateKeyFile都没有设置,则系统会为节点的公开地址生成自签名的证书和私钥, 并将其保存到 kubelet --cert-dir参数所指定的目录下。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能干扰与 kubelet 服务器交互的组件。

默认值:""

tlsPrivateKeyFile
string

tlsPrivateKeyFile是一个包含与tlsCertFile 证书匹配的 X509 私钥的文件。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能干扰与 kubelet 服务器交互的组件。

默认值:""

tlsCipherSuites
[]string

tlsCipherSuites是一个字符串列表,其中包含服务器所接受的加密包名称。 列表中的每个值来自于tls包中定义的常数(https://golang.org/pkg/crypto/tls/#pkg-constants)。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能干扰到与 kubelet 服务器交互的组件。

默认值:nil

tlsMinVersion
string

tlsMinVersion给出所支持的最小 TLS 版本。 字段取值来自于tls包中的常数定义(https://golang.org/pkg/crypto/tls/#pkg-constants)。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能干扰到与 kubelet 服务器交互的组件。

默认值:""

rotateCertificates
bool

rotateCertificates用来启用客户端证书轮换。kubelet 会调用 certificates.k8s.io API 来请求新的证书。需要有一个批复人批准证书签名请求。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑禁用此行为时可能导致 kubelet 无法在当前证书过期时向 API 服务器执行身份认证。

默认值:false

serverTLSBootstrap
bool

serverTLSBootstrap用来启用服务器证书引导。系统不再使用自签名的服务证书, kubelet 会调用certificates.k8s.io API 来请求证书。 需要有一个批复人来批准证书签名请求(CSR)。 设置此字段时,RotateKubeletServerCertificate特性必须被启用。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑禁用此特性会导致 kubelet 的服务器证书无法被续约, 长期上这会干扰到与 kubelet 服务器交互的组件,因为证书会过期。

默认值:false

authentication
KubeletAuthentication

authorization设置发送给 kubelet 服务器的请求是如何进行身份认证的。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能干扰与 kubelet 服务器交互的组件。

默认值:


  anonymous:
    enabled: false
  webhook:
    enabled: true
    cacheTTL: "2m"
  
authorization
KubeletAuthorization

authorization设置发送给 kubelet 服务器的请求是如何进行鉴权的。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能会干扰到与 kubelet 服务器交互的组件。

默认值:


  mode: Webhook
  webhook:
    cacheAuthorizedTTL: "5m"
    cacheUnauthorizedTTL: "30s"
  
registryPullQPS
int32

registryPullQPS是每秒钟可以执行的镜像仓库拉取操作限值。 此值必须不能为负数。将其设置为 0 表示没有限值。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑这类更新可能会因为镜像拉取所产生的流量变化而导致集群可扩缩能力问题。

默认值:5

registryBurst
int32

registryBurst是突发性镜像拉取的上限值,允许镜像拉取临时上升到所指定数量, 不过仍然不超过registryPullQPS所设置的约束。此值必须是非负值。 只有registryPullQPS参数值大于 0 时才会使用此设置。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能因为镜像拉取所造成的流量变化,导致集群可扩缩能力受影响。

默认值:10

eventRecordQPS
int32

eventRecordQPS设置每秒钟可创建的事件个数上限。如果此值为 0, 则表示没有限制。此值不能设置为负数。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能因为生成事件所造成的流量变化,导致集群可扩缩能力受影响。

默认值:5

eventBurst
int32

eventBurst是突发性事件创建的上限值,允许事件创建临时上升到所指定数量, 不过仍然不超过eventRecordQPS所设置的约束。此值必须是非负值, 且只有eventRecordQPS大于 0 时才会使用此设置。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能因为事件创建所造成的流量变化,导致集群可扩缩能力受影响。

默认值:10

enableDebuggingHandlers
bool

enableDebuggingHandlers启用服务器上用来访问日志、 在本地运行容器和命令的端点,包括execattachlogsportforward等功能。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑禁用此能力可能干扰到与 kubelet 服务器交互的组件。

默认值:true

enableContentionProfiling
bool

enableContentionProfiling用于启用锁竞争性能分析, 仅用于enableDebuggingHandlerstrue的场合。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑启用此分析可能隐含着一定的性能影响。

默认值:false

healthzPort
int32

healthzPort是本地主机上提供healthz端点的端口 (设置值为 0 时表示禁止)。合法值介于 1 和 65535 之间。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能干扰到监控 kubelet 健康状况的组件。

默认值:10248

healthzBindAddress
string

healthzBindAddresshealthz服务器用来提供服务的 IP 地址。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能影响到监测 kubelet 健康状况的组件。

默认值:"127.0.0.1"

oomScoreAdj
int32

oomScoreAdj 是为 kubelet 进程设置的oom-score-adj值。 所设置的取值要在 [-1000, 1000] 范围之内。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能影响到内存压力较大时节点的稳定性。

默认值:-999

clusterDomain
string

clusterDomain是集群的 DNS 域名。如果设置了此字段,kubelet 会配置所有容器,使之在搜索主机的搜索域的同时也搜索这里指定的 DNS 域。

DynamicKubeletConfig (已弃用,默认为关闭): 不建议动态更新此字段,因为这一设置值要与整个集群中的其他组件保持一致。

默认值:""

clusterDNS
[]string

clusterDNS是集群 DNS 服务器的 IP 地址的列表。 如果设置了,kubelet 将会配置所有容器使用这里的 IP 地址而不是宿主系统上的 DNS 服务器来完成 DNS 解析。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑变更仅会对更新后创建的 Pod 起作用。建议在更改此字段之前腾空节点。

默认值:nil

streamingConnectionIdleTimeout
meta/v1.Duration

streamingConnectionIdleTimeout设置流式连接在被自动关闭之前可以空闲的最长时间。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能影响到依赖于通过与 kubelet 服务器间流式连接来接受非频繁更新事件的组件。

默认值:"4h"

nodeStatusUpdateFrequency
meta/v1.Duration

nodeStatusUpdateFrequency是 kubelet 计算节点状态的频率。 如果未启用节点租约特性,这一字段设置的也是 kubelet 向控制面投递节点状态的频率。

注意:如果节点租约特性未被启用,更改此参数设置时要非常小心, 所设置的参数值必须与节点控制器的nodeMonitorGracePeriod协同。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑变更可能影响节点的可扩缩性。还要注意节点控制器的 nodeMonitorGracePeriod必须设置为N∗nodeStatusUpdateFrequency, 其中N是节点控制器标记节点不健康之前执行重试的次数。

默认值:"10s"

nodeStatusReportFrequency
meta/v1.Duration

nodeStatusReportFrequency是节点状态未发生变化时,kubelet 向控制面更新节点状态的频率。如果节点状态发生变化,则 kubelet 会忽略这一频率设置, 立即更新节点状态。

此字段仅当启用了节点租约特性时才被使用。nodeStatusReportFrequency 的默认值是"5m"。不过,如果nodeStatusUpdateFrequency 被显式设置了,则nodeStatusReportFrequency的默认值会等于 nodeStatusUpdateFrequency值,这是为了实现向后兼容。

默认值:"5m"

nodeLeaseDurationSeconds
int32

nodeLeaseDurationSeconds是 kubelet 会在其对应的 Lease 对象上设置的时长值。 NodeLease让 kubelet 来在kube-node-lease名字空间中创建 按节点名称命名的租约并定期执行续约操作,并通过这种机制来了解节点健康状况。

如果租约过期,则节点可被视作不健康。根据 KEP-0009 约定,目前的租约每 10 秒钟续约一次。 在将来,租约的续约时间间隔可能会根据租约的时长来设置。

此字段的取值必须大于零。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑缩短租约期限可能降低节点对那些暂时导致 kubelet 无法续约的问题的容忍度(例如,时延很短的网络问题)。

默认值:40

imageMinimumGCAge
meta/v1.Duration

imageMinimumGCAge是对未使用镜像进行垃圾搜集之前允许其存在的时长。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑这种变更可能触发垃圾收集或者延迟垃圾收集, 并且可能影响节点上镜像的额外开销。

默认值:"2m"

imageGCHighThresholdPercent
int32

imageGCHighThresholdPercent所给的是镜像的磁盘用量百分数, 一旦镜像用量超过此阈值,则镜像垃圾收集会一直运行。百分比是用这里的值除以 100 得到的,所以此字段取值必须介于 0 和 100 之间,包括 0 和 100。如果设置了此字段, 则取值必须大于imageGCLowThresholdPercent取值。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑这种变更可能触发垃圾收集或者延迟垃圾收集, 并且可能影响节点上镜像的额外开销。

默认值:85

imageGCLowThresholdPercent
int32

imageGCLowThresholdPercent所给的是镜像的磁盘用量百分数, 镜像用量低于此阈值时不会执行镜像垃圾收集操作。垃圾收集操作也将此作为最低磁盘用量边界。 百分比是用这里的值除以 100 得到的,所以此字段取值必须介于 0 和 100 之间,包括 0 和 100。 如果设置了此字段,则取值必须小于imageGCHighThresholdPercent取值。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑这种变更可能触发垃圾收集或者延迟垃圾收集, 并且可能影响节点上镜像的额外开销。

默认值:80

volumeStatsAggPeriod
meta/v1.Duration

volumeStatsAggPeriod是计算和缓存所有 Pod 磁盘用量的频率。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑缩短此周期长度可能产生性能影响。

默认值:"1m"

kubeletCgroups
string

kubeletCgroups是用来隔离 kubelet 的控制组(CGroup)的绝对名称。

DynamicKubeletConfig (已弃用): 更新此字段时需要对整个节点执行重启。最安全的做法是确保此值与本地配置相同。

默认值:""

systemCgroups
string

systemCgroups是用来放置那些未被容器化的、非内核的进程的控制组 (CGroup)的绝对名称。设置为空字符串表示没有这类容器。回滚此字段设置需要重启节点。 当此字段非空时,必须设置cgroupRoot字段。

DynamicKubeletConfig (已弃用): 更新此字段时需要对整个节点执行重启。最安全的做法是确保此值与本地配置相同。

默认值:""

cgroupRoot
string

cgroupRoot是用来运行 Pod 的控制组 (CGroup)。 容器运行时会尽可能处理此字段的设置值。

DynamicKubeletConfig (已弃用): 更新此字段时需要对整个节点执行重启。最安全的做法是确保此值与本地配置相同。

默认值:""

cgroupsPerQOS
bool

cgroupsPerQOS用来启用基于 QoS 的控制组(CGroup)层次结构: 顶层的控制组用于不同 QoS 类,所有BurstableBestEffort Pod 都会被放置到对应的顶级 QoS 控制组下。

DynamicKubeletConfig (已弃用): 更新此字段时需要对整个节点执行重启。最安全的做法是确保此值与本地配置相同。

默认值:true

cgroupDriver
string

cgroupDriver是 kubelet 用来操控宿主系统上控制组 (CGroup) 的驱动程序(cgroupfs 或 systemd)。

DynamicKubeletConfig (已弃用): 更新此字段时需要对整个节点执行重启。最安全的做法是确保此值与本地配置相同。

默认值:"cgroupfs"

cpuManagerPolicy
string

cpuManagerPolicy是要使用的策略名称。需要启用CPUManager 特性门控。

DynamicKubeletConfig (已弃用): 更新此字段时需要对整个节点执行重启。最安全的做法是确保此值与本地配置相同。

默认值:"None"

cpuManagerPolicyOptions
map[string]string

cpuManagerPolicyOptions是一组key=value键值映射, 容许通过额外的选项来精细调整 CPU 管理器策略的行为。需要CPUManagerCPUManagerPolicyOptions两个特性门控都被启用。

DynamicKubeletConfig (已弃用): 更新此字段时需要对整个节点执行重启。最安全的做法是确保此值与本地配置相同。

默认值:nil

cpuManagerReconcilePeriod
meta/v1.Duration

cpuManagerReconcilePeriod是 CPU 管理器的协调周期时长。 需要启用CPUManager特性门控。

DynamicKubeletConfig (已弃用):

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑缩短周期时长可能带来的性能影响。

默认值:"10s"

memoryManagerPolicy
string

memoryManagerPolicy是内存管理器要使用的策略的名称。 要求启用MemoryManager特性门控。

DynamicKubeletConfig (已弃用): 更新此字段时需要对整个节点执行重启。最安全的做法是确保此值与本地配置相同。

默认值:"none"

topologyManagerPolicy
string

topologyManagerPolicy是要使用的拓扑管理器策略名称。合法值包括:

  • restricted:kubelet 仅接受在所请求资源上实现最佳 NUMA 对齐的 Pod。
  • best-effort:kubelet 会优选在 CPU 和设备资源上实现 NUMA 对齐的 Pod。
  • none:kubelet 不了解 Pod CPU 和设备资源 NUMA 对齐需求。
  • single-numa-node:kubelet 仅允许在 CPU 和设备资源上对齐到同一 NUMA 节点的 Pod。

如果策略不是 "none",则要求启用TopologyManager特性门控。

DynamicKubeletConfig (已弃用): 更新此字段时需要对整个节点执行重启。最安全的做法是确保此值与本地配置相同。

默认值:"none"

topologyManagerScope
string

topologyManagerScope代表的是拓扑提示生成的范围, 拓扑提示信息由提示提供者生成,提供给拓扑管理器。合法值包括:

  • container:拓扑策略是按每个容器来实施的。
  • pod:拓扑策略是按每个 Pod 来实施的。

"pod" 范围要求启用TopologyManager特性门控。

默认值:"container"

qosReserved
map[string]string

qosReserved是一组从资源名称到百分比值的映射,用来为Guaranteed QoS 类型的负载预留供其独占使用的资源百分比。目前支持的资源为:"memory"。 需要启用QOSReserved特性门控。

DynamicKubeletConfig (已弃用): 更新此字段时需要对整个节点执行重启。最安全的做法是确保此值与本地配置相同。

默认值:nil

runtimeRequestTimeout
meta/v1.Duration

runtimeRequestTimeout用来设置除长期运行的请求(pulllogsexecattach)之外所有运行时请求的超时时长。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能干扰与 kubelet 服务器交互的组件。

默认值:"2m"

hairpinMode
string

hairpinMode设置 kubelet 如何为发夹模式数据包配置容器网桥。 设置此字段可以让 Service 中的端点在尝试访问自身 Service 时将服务请求路由的自身。 可选值有:

  • "promiscuous-bridge":将容器网桥设置为混杂模式。
  • "hairpin-veth":在容器的 veth 接口上设置发夹模式标记。
  • "none":什么也不做。

一般而言,用户必须设置--hairpin-mode=hairpin-veth才能实现发夹模式的网络地址转译 (NAT),因为混杂模式的网桥要求存在一个名为cbr0的容器网桥。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑取决于网络插件,可能需要重启节点。

默认值:"promiscuous-bridge"

maxPods
int32

maxPods是此 kubelet 上课运行的 Pod 个数上限。此值必须为非负整数。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑变更可能导致 kubelet 重启时 Pod 无法被准入, 而且可能改变Node.status.capacity[v1.ResourcePods]中报告的数值, 从而影响将来的调度决策。增大此个数值也可能会降低性能,因为会有更多的 Pod 塞到同一节点运行。

默认值:110

podCIDR
string

podCIDR是用来设置 Pod IP 地址的 CIDR 值,仅用于独立部署模式。 运行于集群模式时,这一数值会从控制面获得。

DynamicKubeletConfig (已弃用): 此字段应该总是设置为默认的空字符串值。并且仅用来设置独立运行的 kubelet, 因为这种 kubelet 模式下无法利用动态 kubelet 配置能力。

默认值:""

podPidsLimit
int64

podPidsLimit是每个 Pod 中可使用的 PID 个数上限。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑减小此值可能会导致变更后无法创建容器进程。

默认值:-1

resolvConf
string

resolvConf是一个域名解析配置文件,用作容器 DNS 解析配置的基础。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑变更仅会对更新完成后所创建的 Pod 起作用。 建议在变更此字段之前先腾空节点。如果此值设置为空字符串,则会覆盖 DNS 解析的默认配置, 本质上相当于禁用了 DNS 查询。

默认值:"/etc/resolv.conf"

runOnce
bool

runOnce字段被设置时,kubelet 会咨询 API 服务器一次并获得 Pod 列表, 运行在静态 Pod 文件中指定的 Pod 及这里所获得的的 Pod,然后退出。

默认值:false

cpuCFSQuota
bool

cpuCFSQuota允许为设置了 CPU 限制的容器实施 CPU CFS 配额约束。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑禁止此功能可能会降低节点稳定性。

默认值:true

cpuCFSQuotaPeriod
meta/v1.Duration

cpuCFSQuotaPeriod设置 CPU CFS 配额周期值,cpu.cfs_period_us。 此值需要介于 1 微秒和 1 秒之间,包含 1 微秒和 1 秒。 此功能要求启用CustomCPUCFSQuotaPeriod特性门控被启用。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑为容器所设置的限制值可能导致cpu.cfs_period_us 设置发生变化。这一变化会在节点被重新配置时触发容器重启。

默认值:"100ms"

nodeStatusMaxImages
int32

nodeStatusMaxImages限制Node.status.images中报告的镜像数量。 此值必须大于 -2。

注意:如果设置为 -1,则不会对镜像数量做限制;如果设置为 0,则不会返回任何镜像。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑节点状态中可能报告不同的数值。

默认值:50

maxOpenFiles
int64

maxOpenFiles是 kubelet 进程可以打开的文件个数。此值必须不能为负数。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能影响到 kubelet 与节点文件系统间交互的能力。

默认值:1000000

contentType
string

contentType是向 API 服务器发送请求时使用的内容类型。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑这样做可能影响 kubelet 与 API 服务器通信的能力。 如果 kubelet 因为此字段的变更而失去与 API 服务器间的连接, 则之前所作的变更无法通过动态 kubelet 配置来实现回退。

默认值:"application/vnd.kubernetes.protobuf"

kubeAPIQPS
int32

kubeAPIQPS设置与 Kubernetes API 服务器通信时要使用的 QPS(每秒查询数)。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑这可能因为 kubelet 与 API 服务器之间流量的变化而影响集群扩缩能力。

默认值:5

kubeAPIBurst
int32

kubeAPIBurst设置与 Kubernetes API 服务器通信时突发的流量级别。 此字段取值不可以是负数。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑这可能因为 kubelet 与 API 服务器之间流量的变化而影响集群扩缩能力。

默认值:10

serializeImagePulls
bool

serializeImagePulls被启用时会通知 kubelet 每次仅拉取一个镜像。 我们建议不要在所运行的 docker 守护进程版本低于 1.9、使用 aufs 存储后端的节点上更改默认值。详细信息可参见 Issue #10959。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑这可能会影响镜像拉取的性能。

默认值:true

evictionHard
map[string]string

evictionHard是一个映射,是从信号名称到定义硬性驱逐阈值的映射。 例如:{"memory.available": "300Mi"}。 如果希望显式地禁用,可以在任意资源上将其阈值设置为 0% 或 100%。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑这可能会触发或延迟 Pod 驱逐操作。

默认值:

  memory.available:  "100Mi"
  nodefs.available:  "10%"
  nodefs.inodesFree: "5%"
  imagefs.available: "15%"
  
evictionSoft
map[string]string

evictionSoft是一个映射,是从信号名称到定义软性驱逐阈值的映射。 例如:{"memory.available": "300Mi"}

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑这可能会触发或延迟 Pod 驱逐操作, 并且可能造成节点所报告的可分配资源数量发生变化。

默认值:nil

evictionSoftGracePeriod
map[string]string

evictionSoftGracePeriod是一个映射,是从信号名称到每个软性驱逐信号的宽限期限。 例如:{"memory.available": "30s"}

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑这可能会触发或延迟 Pod 驱逐操作。

默认值:nil

evictionPressureTransitionPeriod
meta/v1.Duration

evictionPressureTransitionPeriod设置 kubelet 离开驱逐压力状况之前必须要等待的时长。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑减少此字段值可能会在节点过量分配时降低节点稳定性。

默认值:"5m"

evictionMaxPodGracePeriod
int32

evictionMaxPodGracePeriod是指达到软性逐出阈值而引起 Pod 终止时, 可以赋予的宽限期限最大值(按秒计)。这个值本质上限制了软性逐出事件发生时, Pod 可以获得的terminationGracePeriodSeconds

注意:由于 Issue #64530 的原因,系统中存在一个缺陷,即此处所设置的值会在软性逐出时覆盖 Pod 的宽限期设置,从而有可能增加 Pod 上原本设置的宽限期限时长。 这个缺陷会在未来版本中修复。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑缩短此宽限期限值会导致软性逐出期间 Pod 在被杀死之前用来体面地完成清理工作可用的时间。

默认值:0

evictionMinimumReclaim
map[string]string

evictionMinimumReclaim是一个映射,定义信号名称与最小回收量数值之间的关系。 最小回收量指的是资源压力较大而执行 Pod 驱逐操作时,kubelet 对给定资源的最小回收量。 例如:{"imagefs.available": "2Gi"}

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑这可能会改变驱逐操作应对资源压力的效果。

默认值:nil

podsPerCore
int32

podsPerCore设置的是每个核上 Pod 个数上限。此值不能超过maxPods。 所设值必须是非负整数。如果设置为 0,则意味着对 Pod 个数没有限制。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑变更可能导致 kubelet 重启时 Pod 无法被准入, 还可能导致Node.status.capacity.pods所报告的数值发生变化, 进而影响到将来的调度决策。增大此值也会降低性能,因为在同一个处理器核上需要运行更多的 Pod。

默认值:0

enableControllerAttachDetach
bool

enableControllerAttachDetach用来允许 Attach/Detach 控制器管理调度到本节点的卷的挂接(attachment)和解除挂接(detachement), 并且禁止 kubelet 执行任何 attach/detach 操作。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑在运行中的节点上更改由哪个组件来负责卷管理时, 这一变更可能导致节点在被更新前尚未腾空时卷无法被解除挂接。 如果 kubelet 尚未更新volumes.kubernetes.io/controller-managed-attach-detach 注解时 Pod 已经被调度到了该节点,节点上的卷也会无法解除挂接。 一般而言,最安全的做法是将此字段设置为与本地配置相同的值。

默认值:true

protectKernelDefaults
bool

protectKernelDefaults设置为true时,会令 kubelet 在发现内核参数与预期不符时出错退出。若此字段设置为false,则 kubelet 会尝试更改内核参数以满足其预期。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑启用此设置会在内核参数与 kubelet 预期不匹配时导致 kubelet 进入崩溃循环(Crash-Loop)状态。

默认值:false

makeIPTablesUtilChains
bool

makeIPTablesUtilChains设置为true时,相当于允许 kubelet 确保一组 iptables 规则存在于宿主机上。这些规则会为不同的组件(例如 kube-proxy) 提供工具性质的规则。它们是基于iptablesMasqueradeBitiptablesDropBit 来创建的。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑禁用此行为会导致 kubelet 无法在本地 iptables 规则出错时实现自愈。

默认值:true

iptablesMasqueradeBit
int32

iptablesMasqueradeBit是 iptables fwmark 空间中用来为 SNAT 作标记的位。此值必须介于[0, 31]区间,必须与其他标记位不同。

警告:请确保此值设置与 kube-proxy 中对应的参数设置取值相同。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑此处的变更要与其他组件(如 kube-proxy)相应的变更协调一致。 只有当makeIPTablesUtilChains能力被启用时,这里的更新才会起作用。

默认值:14

iptablesDropBit
int32

iptablesDropBit是 iptables fwmark 空间中用来标记丢弃包的数据位。 此值必须介于[0, 31]区间,必须与其他标记位不同。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑此处的变更要与其他组件(如 kube-proxy)相应的变更协调一致。 只有当makeIPTablesUtilChains能力被启用时,这里的更新才会起作用。

默认值:15

featureGates
map[string]bool

featureGates是一个从功能特性名称到布尔值的映射,用来启用或禁用实验性的功能。 此字段可逐条更改文件 "k8s.io/kubernetes/pkg/features/kube_features.go" 中所给的内置默认值。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑你所启用或禁止的功能特性的文档。 尽管我们鼓励功能特性的开发人员使动态启用或禁用功能特性成为可能, 某些变更可能要求重新启动节点,某些特性可能要求在从启用到禁用切换时作出精细的协调。

默认值:nil

failSwapOn
bool

failSwapOn通知 kubelet 在节点上启用交换分区时拒绝启动。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑缩短此周期长度可能产生性能影响。

默认值:true

memorySwap
MemorySwapConfiguration

memorySwap配置容器负载可用的交换内存。

containerLogMaxSize
string

containerLogMaxSize是定义容器日志文件被轮转之前可以到达的最大尺寸。 例如:"5Mi" 或 "256Ki"。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能会触发日志轮转。

默认值:"10Mi"

containerLogMaxFiles
int32

containerLogMaxFiles设置每个容器可以存在的日志文件个数上限。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑降低此值可能导致日志文件被删除。

默认值:"5"

configMapAndSecretChangeDetectionStrategy
ResourceChangeDetectionStrategy

configMapAndSecretChangeDetectionStrategy是 ConfigMap 和 Secret 管理器的运行模式。合法值包括:

  • Get:kubelet 从 API 服务器直接取回必要的对象;
  • Cache:kubelet 使用 TTL 缓存来管理来自 API 服务器的对象;
  • Watch:kubelet 使用 watch 操作来观察所关心的对象的变更。

默认值:"Watch"

systemReserved
map[string]string

systemReserved是一组资源名称=资源数量对, 用来描述为非 Kubernetes 组件预留的资源(例如:'cpu=200m,memory=150G')。

目前仅支持 CPU 和内存。更多细节可参见 http://kubernetes.io/zh/docs/user-guide/compute-resources。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑增加预留资源也许是不可能的,因为需要改变控制组大小。 在更改了此字段之后,应该总是关注NodeAllocatableEnforced事件, 以确保更新是成功的。

默认值:Nil

kubeReserved
map[string]string

kubeReserved是一组资源名称=资源数量对, 用来描述为 Kubernetes 系统组件预留的资源(例如:'cpu=200m,memory=150G')。 目前支持 CPU、内存和根文件系统的本地存储。 更多细节可参见 https://kubernetes.io/zh/docs/concepts/configuration/manage-resources-containers/。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑增加预留资源也许是不可能的,因为需要改变控制组大小。 在更改了此字段之后,应该总是关注NodeAllocatableEnforced事件, 以确保更新是成功的。

默认值:Nil

reservedSystemCPUs [必需]
string

reservedSystemCPUs选项设置为宿主级系统线程和 Kubernetes 相关线程所预留的 CPU 列表。此字段提供的是一种“静态”的 CPU 列表,而不是像 systemReservedkubeReserved所提供的“动态”列表。 此选项不支持systemReservedCgroupkubeReservedCgroup

showHiddenMetricsForVersion
string

showHiddenMetricsForVersion是你希望显示隐藏度量值的上一版本。 只有上一个次版本是有意义的,其他值都是不允许的。 字段值的格式为<major>.<minor>,例如:1.16。 此格式的目的是为了确保在下一个版本中有新的度量值被隐藏时,你有机会注意到这类变化, 而不是当这些度量值在其后的版本中彻底去除时来不及应对。

默认值:""

systemReservedCgroup
string

systemReservedCgroup帮助 kubelet 识别用来为 OS 系统级守护进程实施 systemReserved计算资源预留时使用的顶级控制组(CGroup)。 参考[Node Allocatable](https://git.k8s.io/community/contributors/design-proposals/node/node-allocatable.md) 以了解详细信息。

DynamicKubeletConfig(已弃用): 此字段更新时需要整个节点重启。最安全的做法是保持此值与本地配置相同。

默认值:""

kubeReservedCgroup
string

kubeReservedCgroup 帮助 kubelet 识别用来为 Kubernetes 节点系统级守护进程实施 kubeReserved计算资源预留时使用的顶级控制组(CGroup)。 参阅Node Allocatable 了解进一步的信息。

DynamicKubeletConfig(已弃用): 此字段更新时需要整个节点重启。最安全的做法是保持此值与本地配置相同。

默认值:""

enforceNodeAllocatable
[]string

此标志设置 kubelet 需要执行的各类节点可分配资源策略。此字段接受一组选项列表。 可接受的选项有nonepodssystem-reservedkube-reserved

如果设置了none,则字段值中不可以包含其他选项。

如果列表中包含system-reserved,则必须设置systemReservedCgroup

如果列表中包含kube-reserved,则必须设置kubeReservedCgroup

这个字段只有在cgroupsPerQOS被设置为true才被支持。

参阅Node Allocatable 了解进一步的信息。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑去掉此机制可能会降低节点稳定性。 反之,添加此机制可能会降低原来使用资源超出预留量的组件的稳定性。 例如,实施 kube-reserved 在 kubelet 使用资源超出预留量时可能导致 kubelet 发生 OOM, 而实施 system-reserved 机制可能导致使用资源超出预留量的系统守护进程发生 OOM。

默认值:["pods"]

allowedUnsafeSysctls
[]string

用逗号分隔的白名单列表,其中包含不安全的 sysctl 或 sysctl 模式(以结尾)。

不安全的 sysctl 组有 kernel.shm∗kernel.msg∗kernel.semfs.mqueue.∗net.∗

例如:"kernel.msg∗,net.ipv4.route.min\_pmtu"

默认值:[]

volumePluginDir
string

volumePluginDir是用来搜索其他第三方卷插件的目录的路径。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑更改volumePluginDir可能干扰使用第三方卷插件的负载。

默认值:"/usr/libexec/kubernetes/kubelet-plugins/volume/exec/"

providerID
string

providerID字段被设置时,指定的是一个外部提供者(即云驱动)实例的唯一 ID, 该提供者可用来唯一性地标识特定节点。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑可能影响到 kubelet 与云驱动之间进行交互的能力。

默认值:""

kernelMemcgNotification
bool

kernelMemcgNotification字段如果被设置了,会告知 kubelet 集成内核的 memcg 通知机制来确定是否超出内存逐出阈值,而不是使用轮询机制来判定。

DynamicKubeletConfig (已弃用,默认为关闭)被启用时, 如果动态更新了此字段,请考虑这样做可能影响到 kubelet 与内核的交互方式。

默认值:false

logging [必需]
LoggingConfiguration

logging设置日志机制选项。更多的详细信息科参阅 日志选项

默认值:

Format: text
enableSystemLogHandler
bool

enableSystemLogHandler用来启用通过 Web 接口 host:port/logs/ 访问系统日志的能力。

默认值:true

shutdownGracePeriod
meta/v1.Duration

shutdownGracePeriod设置节点关闭期间,节点自身需要延迟以及为 Pod 提供的宽限期限的总时长。

默认值:"0s"

shutdownGracePeriodCriticalPods
meta/v1.Duration

shutdownGracePeriodCriticalPods设置节点关闭期间用来终止关键性 Pod 的时长。此时长要短于shutdownGracePeriod。 例如,如果shutdownGracePeriod=30sshutdownGracePeriodCriticalPods=10s, 在节点关闭期间,前 20 秒钟被预留用来体面终止普通 Pod,后 10 秒钟用来终止关键 Pod。

默认值:"0s"

shutdownGracePeriodByPodPriority
[]ShutdownGracePeriodByPodPriority

shutdownGracePeriodByPodPriority设置基于 Pod 相关的优先级类值而确定的体面关闭时间。当 kubelet 收到关闭请求的时候,kubelet 会针对节点上运行的所有 Pod 发起关闭操作,这些关闭操作会根据 Pod 的优先级确定其宽限期限, 之后 kubelet 等待所有 Pod 退出。

数组中的每个表项代表的是节点关闭时 Pod 的体面终止时间;这里的 Pod 的优先级类介于列表中当前优先级类值和下一个表项的优先级类值之间。

例如,要赋予关键 Pod 10 秒钟时间来关闭,赋予优先级>=10000 Pod 20 秒钟时间来关闭, 赋予其余的 Pod 30 秒钟来关闭。

shutdownGracePeriodByPodPriority:

  • priority: 2000000000 shutdownGracePeriodSeconds: 10
  • priority: 10000 shutdownGracePeriodSeconds: 20
  • priority: 0 shutdownGracePeriodSeconds: 30

在退出之前,kubelet 要等待的时间上限为节点上所有优先级类的 shutdownGracePeriodSeconds的最大值。 当所有 Pod 都退出或者到达其宽限期限时,kubelet 会释放关闭防护锁。 此功能要求GracefulNodeShutdown特性门控被启用。

shutdownGracePeriodshutdownGracePeriodCriticalPods 被设置时,此配置字段必须为空。

默认值:nil

reservedMemory
[]MemoryReservation

reservedMemory给出一个逗号分隔的列表,为 NUMA 节点预留内存。

此参数仅在内存管理器功能特性语境下有意义。内存管理器不会为容器负载分配预留内存。 例如,如果你的 NUMA0 节点内存为 10Gi,reservedMemory设置为在 NUMA0 上预留 1Gi 内存,内存管理器会认为其上只有 9Gi 内存可供分配。

你可以设置不同数量的 NUMA 节点和内存类型。你也可以完全忽略这个字段,不过你要清楚, 所有 NUMA 节点上预留内存的总量要等于通过 node allocatable 设置的内存量。

如果至少有一个节点可分配参数设置值非零,则你需要设置至少一个 NUMA 节点。

此外,避免如下设置:

  1. 在配置值中存在重复项,NUMA 节点和内存类型相同,但配置值不同,这是不允许的。
  2. 为任何内存类型设置限制值为零。
  3. NUMA 节点 ID 在宿主系统上不存在。/li>
  4. memoryhugepages-<size>之外的内存类型。

默认值:nil

enableProfilingHandler
bool

enableProfilingHandler启用通过 host:port/debug/pprof/ 接口来执行性能分析。

默认值:true

enableDebugFlagsHandler
bool

enableDebugFlagsHandler启用通过 host:port/debug/flags/v Web 接口上的标志设置。

默认值:true

seccompDefault
bool

seccompDefault字段允许针对所有负载将RuntimeDefault 设置为默认的 seccomp 配置。这一设置要求对应的SeccompDefault特性门控被启用。

默认值:false

memoryThrottlingFactor
float64

当设置 cgroupv2 memory.high以实施MemoryQoS特性时, memoryThrottlingFactor用来作为内存限制或节点可分配内存的系数。

减小此系数会为容器控制组设置较低的 high 限制值,从而增大回收压力;反之, 增大此系数会降低回收压力。更多细节参见 http://kep.k8s.io/2570。

默认值:0.8

registerWithTaints
[]core/v1.Taint

registerWithTaints是一个由污点组成的数组,包含 kubelet 注册自身时要向节点对象添加的污点。只有registerNodetrue 时才会起作用,并且仅在节点的最初注册时起作用。

默认值:nil

registerNode
bool

registerNode启用向 API 服务器的自动注册。

默认值:true

SerializedNodeConfigSource

SerializedNodeConfigSource 允许对 v1.NodeConfigSource 执行序列化操作。 这一类型供 kubelet 内部使用,以便跟踪动态配置的检查点。 此资源存在于 kubeletconfig API 组是因为它被当做是对 kubelet 的一种版本化输入。

字段描述
apiVersion
string
kubelet.config.k8s.io/v1beta1
kind
string
SerializedNodeConfigSource
source
core/v1.NodeConfigSource

source是我们执行序列化的数据源。

KubeletAnonymousAuthentication

出现在:

字段描述
enabled
bool

enabled允许匿名用户向 kubelet 服务器发送请求。 未被其他身份认证方法拒绝的请求都会被当做匿名请求。 匿名请求对应的用户名为system:anonymous,对应的用户组名为 system:unauthenticated

KubeletAuthentication

出现在:

字段描述
x509
KubeletX509Authentication

x509包含与 x509 客户端证书认证相关的配置。

webhook
KubeletWebhookAuthentication

webhook包含与 Webhook 持有者令牌认证相关的配置。

anonymous
KubeletAnonymousAuthentication

anonymous包含与匿名身份认证相关的配置信息。

KubeletAuthorization

出现在:

字段描述
mode
KubeletAuthorizationMode

mode>是应用到 kubelet 服务器所接收到的请求上的鉴权模式。合法值包括 AlwaysAllowWebhook。 Webhook 模式使用 SubjectAccessReview API 来确定鉴权。

webhook
KubeletWebhookAuthorization

webhook包含与 Webhook 鉴权相关的配置信息。

KubeletAuthorizationMode

string 类型的别名)

出现在:

KubeletWebhookAuthentication

出现在:

字段描述
enabled
bool

enabled允许使用tokenreviews.authentication.k8s.io API 来提供持有者令牌身份认证。

cacheTTL
meta/v1.Duration

cacheTTL启用对身份认证结果的缓存。

KubeletWebhookAuthorization

出现在:

字段描述
cacheAuthorizedTTL
meta/v1.Duration

cacheAuthorizedTTL设置来自 Webhook 鉴权组件的 'authorized' 响应的缓存时长。

cacheUnauthorizedTTL
meta/v1.Duration

cacheUnauthorizedTTL设置来自 Webhook 鉴权组件的 'unauthorized' 响应的缓存时长。

KubeletX509Authentication

出现在:

字段描述
clientCAFile
string

clientCAFile是一个指向 PEM 编发的证书包的路径。 如果设置了此字段,则能够提供由此证书包中机构之一所签名的客户端证书的请求会被成功认证, 并且其用户名对应于客户端证书的CommonName、组名对应于客户端证书的 Organization

MemoryReservation

出现在:

MemoryReservation 为每个 NUMA 节点设置不同类型的内存预留。

字段描述
numaNode [必需]
int32

NUMA 节点

limits [必需]
core/v1.ResourceList

资源列表

MemorySwapConfiguration

出现在:

字段描述
swapBehavior
string

swapBehavior配置容器负载可以使用的交换内存。可以是

  • ""、"LimitedSwap":工作负载的内存和交换分区总用量不能超过 Pod 的内存限制;
  • "UnlimitedSwap":工作负载可以无限制地使用交换分区,上限是可分配的约束。

ResourceChangeDetectionStrategy

string 类型的别名)

出现在:

ResourceChangeDetectionStrategy 给出的是内部管理器(ConfigMap、Secret) 用来发现对象变化的模式。

ShutdownGracePeriodByPodPriority

出现在:

ShutdownGracePeriodByPodPriority 基于 Pod 关联的优先级类数值来为其设置关闭宽限时间。

字段描述
priority [必需]
int32

priority是与关闭宽限期限相关联的优先级值。

shutdownGracePeriodSeconds [必需]
int64

shutdownGracePeriodSeconds是按秒数给出的关闭宽限期限。

FormatOptions

出现在:

FormatOptions 包含为不同日志格式提供的选项。

字段描述
json [必需]
JSONOptions

[试验功能] json 包含为 "json" 日志格式提供的选项。

JSONOptions

出现在:

JSONOptions 包含为 "json" 日志格式提供的选项。

字段描述
splitStream [必需]
bool

[试验功能] splitStream 将错误信息重定向到标准错误输出(stderr), 而将提示信息重定向到标准输出(stdout),并为二者提供缓存。 默认设置是将二者都写出到标准输出,并且不提供缓存。

infoBufferSize [必需]
k8s.io/apimachinery/pkg/api/resource.QuantityValue

[试验功能] infoBufferSize 在分离数据流时用来设置提示数据流的大小。 默认值为 0,相当于禁止缓存。

LoggingConfiguration

出现在:

LoggingConfiguration 包含日志选项。 参考 Logs Options 以了解更多信息。

字段描述
format [必需]
string

format 设置日志消息的结构。默认的格式取值为 text

flushFrequency [必需]
time.Duration

对日志进行清洗的最大间隔秒数。如果所选的日志后端在写入日志消息时不提供缓存, 则此配置会被忽略。

verbosity [必需]
uint32

verbosity 用来确定日志消息记录的详细程度阈值。默认值为 0, 意味着仅记录最重要的消息。数值越大,额外的消息越多。出错消息总是会被记录下来。

vmodule [必需]
VModuleConfiguration

vmodule 会在单个文件层面重载 verbosity 阈值的设置。 这一选项仅支持 "text" 日志格式。

sanitization [必需]
bool

[试验功能] 当启用此选项时,被标记为敏感的字段(密码、秘钥、令牌)不会被日志记录。 运行时日志过滤功能可能会引入非常大的计算开销,因此在生产环境中不应启用。

options [必需]
FormatOptions

[试验功能] options 中包含特定于不同日志格式的配置参数。 只有针对所选格式的选项会被使用,但是合法性检查时会查看所有选项配置。

VModuleConfiguration

[]k8s.io/component-base/config/v1alpha1.VModuleItem 类型的别名)

出现在:

VModuleConfiguration 是一个集合,其中包含一个个文件名(或文件名模式) 及其对应的详细程度阈值。

12 - WebhookAdmission 配置 (v1)

此 API 的版本是 v1。

资源类型

WebhookAdmission

WebhookAdmission 为 Webhook 准入控制器提供配置信息。

字段描述
apiVersion
string
apiserver.config.k8s.io/v1
kind
string
WebhookAdmission
kubeConfigFile [必需]
string

字段 kubeConfigFile 包含指向 kubeconfig 文件的路径。

13 - 客户端身份认证(Client Authentication) (v1)

资源类型

ExecCredential

ExecCredential 由基于 exec 的插件使用,与 HTTP 传输组件沟通凭据信息。

字段描述
apiVersion
string
client.authentication.k8s.io/v1
kind
string
ExecCredential
spec [必需]
ExecCredentialSpec
字段 spec 包含由 HTTP 传输组件传递给插件的信息。
status
ExecCredentialStatus
字段 status 由插件填充,包含传输组件与 API 服务器连接时需要提供的凭据。

Cluster

出现在:

Cluster 中包含允许 exec 插件与 Kubernetes 集群进行通信身份认证时所需 的信息。

为了确保该结构体包含需要与 Kubernetes 集群进行通信的所有内容(就像通过 Kubeconfig 一样), 除了证书授权之外,该字段应该映射到 "k8s.io/client-go/tools/clientcmd/api/v1".cluster, 由于 CA 数据将始终以字节形式传递给插件。

字段描述
server [必需]
string
字段 server 是 Kubernetes 集群的地址(https://hostname:port)。
tls-server-name
string
tls-server-name 是用来提供给服务器用作 SNI 解析的,客户端以此检查服务器的证书。 如此字段为空,则使用链接服务器时使用的主机名。
insecure-skip-tls-verify
bool
设置此字段之后,会令客户端跳过对服务器端证书的合法性检查。 这会使得你的 HTTPS 链接不再安全。
certificate-authority-data
[]byte
此字段包含 PEM 编码的证书机构(CA)证书。 如果为空,则使用系统的根证书。
proxy-url
string
此字段用来设置向集群发送所有请求时要使用的代理服务器。
config
k8s.io/apimachinery/pkg/runtime.RawExtension

在某些环境中,用户配置可能对很多集群而言都完全一样(即调用同一个 exec 插件), 只是针对不同集群会有一些细节上的差异,例如 audience。 此字段使得特定于集群的配置可以直接使用集群信息来设置。 不建议使用此字段来保存 Secret 数据,因为 exec 插件的主要优势之一是不需要在 kubeconfig 中保存 Secret 数据。

ExecCredentialSpec

出现在:

ExecCredentialSpec 保存传输组件所提供的特定于请求和运行时的信息。

字段描述
cluster
Cluster
此字段中包含的信息使得 exec 插件能够与要访问的 Kubernetes 集群通信。 注意,cluster 字段只有在 exec 驱动的配置中 provideClusterInfo (即:ExecConfig.ProvideClusterInfo)被设置为 true 时才不能为空。
interactive [必需]
bool
此字段用来标明标准输出信息是否已传递给 exec 插件。

ExecCredentialStatus

出现在:

ExecCredentialStatus 中包含传输组件要使用的凭据。

字段 token 和 clientKeyData 都是敏感字段。此数据只能在 客户端与 exec 插件进程之间使用内存来传递。exec 插件本身至少 应通过文件访问许可来实施保护。

字段描述
expirationTimestamp
meta/v1.Time
给出所提供的凭据到期的时间。
token [必需]
string
客户端用做请求身份认证的持有者令牌。
clientCertificateData [必需]
string
PEM 编码的客户端 TLS 证书(如果有临时证书,也会包含)。
clientKeyData [必需]
string
与上述证书对应的、PEM 编码的私钥。

14 - 客户端身份认证(Client Authentication)(v1beta1)

资源类型

ExecCredential

ExecCredential 由基于 exec 的插件使用,与 HTTP 传输组件沟通凭据信息。

字段描述
apiVersion
string
client.authentication.k8s.io/v1beta1
kind
string
ExecCredential
spec [必需]
ExecCredentialSpec
字段 spec 包含由 HTTP 传输组件传递给插件的信息。
status
ExecCredentialStatus
字段 status 由插件填充,包含传输组件与 API 服务器连接时需要提供的凭据。

Cluster

出现在:

Cluster 中包含允许 exec 插件与 Kubernetes 集群进行通信身份认证时所需 的信息。

为了确保该结构体包含需要与 Kubernetes 集群进行通信的所有内容(就像通过 Kubeconfig 一样), 该字段应该映射到 "k8s.io/client-go/tools/clientcmd/api/v1".cluster, 除了证书授权之外,由于 CA 数据将始终以字节形式传递给插件。

字段描述
server [必需]
string
字段 server 是 Kubernetes 集群的地址(https://hostname:port)。
tls-server-name
string
tls-server-name 是用来提供给服务器用作 SNI 解析的,客户端以此检查服务器的证书。 如此字段为空,则使用链接服务器时使用的主机名。
insecure-skip-tls-verify
bool
设置此字段之后,会令客户端跳过对服务器端证书的合法性检查。 这会使得你的 HTTPS 链接不再安全。
certificate-authority-data
[]byte
此字段包含 PEM 编码的证书机构(CA)证书。 如果为空,则使用系统的根证书。
proxy-url
string
此字段用来设置向集群发送所有请求时要使用的代理服务器。
config
k8s.io/apimachinery/pkg/runtime.RawExtension

在某些环境中,用户配置可能对很多集群而言都完全一样(即调用同一个 exec 插件), 只是针对不同集群会有一些细节上的差异,例如 audience。 此字段使得特定于集群的配置可以直接使用集群信息来设置。 不建议使用此字段来保存 Secret 数据,因为 exec 插件的主要优势之一是不需要在 kubeconfig 中保存 Secret 数据。

ExecCredentialSpec

出现在:

ExecCredentialSpec 保存传输组件所提供的特定于请求和运行时的信息。

字段描述
cluster
Cluster
此字段中包含的信息使得 exec 插件能够与要访问的 Kubernetes 集群通信。 注意,cluster 字段只有在 exec 驱动的配置中 provideClusterInfo (即:ExecConfig.ProvideClusterInfo)被设置为 true 时才不能为空。

ExecCredentialStatus

出现在:

ExecCredentialStatus 中包含传输组件要使用的凭据。

字段 token 和 clientKeyData 都是敏感字段。 此数据只能在客户端与 exec 插件进程之间使用内存来传递。 exec 插件本身至少应通过文件访问许可来实施保护。

字段描述
expirationTimestamp
meta/v1.Time
给出所提供的凭据到期的时间。
token [必需]
string
客户端用做请求身份认证的持有者令牌。
clientCertificateData [必需]
string
PEM 编码的客户端 TLS 证书(如果有临时证书,也会包含)。
clientKeyData [必需]
string
与上述证书对应的、PEM 编码的私钥。