# 知识点


## 容器底层知识

- 到底什么是容器: 简单说就是受限制的进程,底层相关的两个技术是linux的namespace和cgrop
    - namespace的分类和sandbox容器的关系,哪些ns是共享的,涉及到容器的隔离不彻底问题
    - cgroup v1和v2的区别,cpu/mem限制的原理,cpu绑核如何操作


- 容器镜像:镜像不是docker的专利
    - OCI(Open Container Initiative)规范是事实上的容器标准,已经被大部分容器实现以及容器编排系统所采用。
    - 任何实现了OCI规范的工具都可以打镜像
    - 规范要求镜像内容包括以下几个部分:
        - 3个必须的
            - [Image Manifest](https://github.com/opencontainers/image-spec/blob/main/manifest.md): 提供了镜像的配置和文件系统层定位信息,可以看作是镜像的目录,文件格式为json。
            - [Image Layer Filesystem Changeset](https://github.com/opencontainers/image-spec/blob/main/layer.md): 序列化之后的文件系统和文件系统变更,它们可按顺序一层层应用为一个容器的rootfs,因此通常也被称为一个layer(与下文提到的镜像层同义),文件格式可以是tar,gzip等存档或压缩格式。
            - [Image Configuration](https://github.com/opencontainers/image-spec/blob/main/config.md): 包含了镜像在运行时所使用的执行参数以及有序的rootfs变更信息,文件类型为json。

        - 1个可选的
            - [image-index](https://github.com/opencontainers/image-spec/blob/main/image-index.md):图像索引是一种更高级别的清单,它指向特定的图像清单,非常适合一个或多个平台

-  容器联合文件系统：overlayfs 的理解:
-  

## k8s 计算


## k8s 存储


## k8s 网络




# Kubernetes 1.29

- 采用 nftables




Kubernetes


```bash
# 下载执行脚本
wget --no-check-certificate -O shadowsocks-all.sh https://raw.githubusercontent.com/teddysun/shadowsocks_install/master/shadowsocks-all.sh


# 运行
# 执行成功之后会有二维码生成，下载下来，打开二维码直接扫描就行。
bash shadowsocks-all.sh 2>&1 | tee shadowsocks-all.log


# 开起防火墙



# 检查ip地址
curl ipinfo.io
```

shadowsocks vpn 搭建

# 1

## 报错


```bash
[root@SBackup ~]# lvremove /dev/vg_storage1/lei
  Logical volume vg_storage1/lei in use.
```

## 查看是否被占用


```bash
[root@SBackup ~]# lvdisplay /dev/vg_storage1/lei |grep open
  # open                 1   --被打开了
  
[root@SBackup ~]# fuser -kuc /dev/vg_storage1/lei
/dev/vg_storage1/lei:  1726(root)  --也可以看到进程号1726的root用户正在使用
```

## 杀掉该进程

```bash
ps -ef | grep 1726 

kill 1726
```

## 再次删除

```bash
[root@SBackup ~]# lvremove /dev/vg_storage1/lei
Do you really want to remove active logical volume lei? [y/n]: y
  Logical volume "lei" successfully removed
```


# 2

## 问题描述

k8s环境中需要重新创建 lvm:/dev/mapper/test-vg-test-storage ,该lvm挂载在 /data/prometheus 下面,在删除出现 "Logical volume contains a filesystem in use" 的错误,表明该 lvm 被某个进程占用,但直接使用该lvm的容器已经被清理,使用 lvchange -an /dev/mapper/test-vg-test-storage 去激活该 lvm 时也会出现上述错误。

## 解决方法

```bash
# 使用如下脚本找出所有与该lvm有关的进程
for i in /proc/[0-9]* ; do echo $i >> /tmp/mountinfo ; grep -q "/dev/mapper/test-vg-test-storage" $i/mountinfo ; echo $? >> /tmp/mountinfo ;done

# 结果如下
grep -B 1 '^0$' /tmp/mountinfo
/proc/922
0
```

## 分析

因为 prometheus 的 node-exporter 使用了该lv，导致该lv被进程使用卸载不掉。

lvm 删除逻辑卷正在使用

## 概述
咱们这里搭建的是哨兵的标准模式 -> 1 主 + 2 从 + 3 哨兵


## 安装 Redis

```bash
# 安装
brew install redis

# 启动
brew services restart redis

# 验证
ps -ef|grep redis
```

Mac m1 芯片，使用 brew 命令安装软件的默认配置文件位置如下


![image.png](https://markdown-upload-picture.oss-cn-beijing.aliyuncs.com/.wp-haitian-link/95fd50c35eeab88023c7ad618296c101.image.webp)

## 创建目录并启动主从节点

首先规划下目录结构
```bash
cd /Users/liulei/app
## 创建 redis master 节点配置文件目录
mkdir -p redis/redisSentinel/master
## 创建 redis slave 节点配置文件目录
mkdir -p redis/redisSentinel/slave
## 创建 redis sentinel 节点配置文件目录
mkdir -p redis/redisSentinel/sentinel
## 创建 redis 启动相关脚本目录
mkdir -p redis/redisSentinel/script
## 创建 redis 日志目录
mkdir -p redis/redisSentinel/logs
```

### 主节点


```bash
# 拷贝配置文件
cp /opt/homebrew/etc/redis.conf /Users/liulei/app/redis/redisSentinel/master/redis.conf

# 修改配置文件内容
port 6379
daemonize yes


# 创建主节点启停脚本（为后续方便，咱们自己写个启动脚本），如下
## 启动脚本
cat > /Users/liulei/app/redis/redisSentinel/script/start_master_6379.sh << EOF
#!/bin/bash
redis-server /Users/xiaolige/app/redis/redisSentinel/master/redis.conf
EOF


## 停止脚本
cat > /Users/liulei/app/redis/redisSentinel/script/stop_master_6379.sh << EOF
#!/bin/bash
ps -ef | grep 6379 | grep -v grep | awk '{print\$2}' | xargs kill
EOF


# 启动主节点
sh /Users/liulei/app/redis/redisSentinel/script/start_master_6379.sh

# 检查主节点启动情况
redis-cli -p 6379 ping

# 出现 PONG，则证明主节点启动成功

```

## 从节点


```bash
# 拷贝配置文件
cp /Users/liulei/app/redis/redisSentinel/master/redis.conf /Users/liulei/app/redis/redisSentinel/slave/redis-slave-8001.conf
cp /Users/liulei/app/redis/redisSentinel/master/redis.conf /Users/liulei/app/redis/redisSentinel/slave/redis-slave-8002.conf
cd /Users/liulei/app/redis/redisSentinel/slave/

# 将两个从节点的端口定为 8001 和 8002
# 修改对应端口
cat > redis-slave-8001.conf <<EOF
port 8001
daemonize yes
slaveof 127.0.0.1 6379
EOF

cat > redis-slave-8002.conf <<EOF
port 8002
daemonize yes
slaveof 127.0.0.1 6379
EOF


# 创建从节点启停脚本
## 启动脚本
cat > /Users/xiaolige/app/redis/redisSentinel/script/start_slave_8001.sh <<EOF
#!/bin/bash
redis-server /Users/liulei/app/redis/redisSentinel/slave/redis-slave-8001.conf
EOF

cat > /Users/xiaolige/app/redis/redisSentinel/script/start_slave_8002.sh <<EOF
#!/bin/bash
redis-server /Users/liulei/app/redis/redisSentinel/slave/redis-slave-8002.conf
EOF

## 停止脚本
cat > /Users/xiaolige/app/redis/redisSentinel/script/stop_slave_8001.sh <<EOF
#!/bin/sh
ps -ef | grep 8001 | grep -v grep | awk '{print$2}' | xargs kill
EOF

cat > /Users/xiaolige/app/redis/redisSentinel/script/stop_slave_8002.sh <<EOF
#!/bin/sh
ps -ef | grep 8002 | grep -v grep | awk '{print$2}' | xargs kill
EOF


# 启动从节点
sh start_slave_8001.sh
sh start_slave_8002.sh

# 检查从节点启动情况
redis-cli -p 8001 ping
redis-cli -p 8002 ping


# 检查主从节点情况
redis-cli -p 6379 info replication

```

## 部署哨兵节点


```bash
# 拷贝配置文件
cp /opt/homebrew/etc/redis.conf /Users/liulei/app/redis/redisSentinel/sentinel/redis-sentinel-26379.conf
cp /opt/homebrew/etc/redis.conf /Users/liulei/app/redis/redisSentinel/sentinel/redis-sentinel-26380.conf
cp /opt/homebrew/etc/redis.conf /Users/liulei/app/redis/redisSentinel/sentinel/redis-sentinel-26381.conf


# 修改哨兵配置文件
cd /Users/liulei/app/redis/redisSentinel/sentinel/

cat >> redis-sentinel-26379.conf <<EOF
port 26379
daemonize yes
sentinel monitor mymaster 127.0.0.1 6379 2
sentinel down-after-milliseconds mymaster 10000
sentinel failover-timeout mymaster 60000
EOF

cat >> redis-sentinel-26380.conf <<EOF
port 26380
daemonize yes
sentinel monitor mymaster 127.0.0.1 6379 2
sentinel down-after-milliseconds mymaster 10000
sentinel failover-timeout mymaster 60000
EOF

cat >> redis-sentinel-26381.conf <<EOF
port 26381
daemonize yes
sentinel monitor mymaster 127.0.0.1 6379 2
sentinel down-after-milliseconds mymaster 10000
sentinel failover-timeout mymaster 60000
EOF

```

这里比较关键的是：

- sentinel monitor mymaster 127.0.0.1 8000 2，这个配置表示该哨兵节点需要监控 8000 这个主节点， 2 代表着判断主节点失败至少需要 2 个 Sentinel 节点同意。
- sentinel down-after-milliseconds mymaster 10000，down-after-milliseconds 选项指定了 Sentinel 判断实例进入主观下线所需的时间长度：如果一个实例在 down-after-milliseconds毫秒内，连续向 Sentinel 返回无效回复，那么 Sentinel 会修改这个实例所对应的实例结构，在结构的flags 属性中打开 SRI_S_DOWN 标识，以此来表示这个实例已经进入主观下线状态。
- sentinel failover-timeout mymaster 60000，failover 过期时间，当 failover 开始后，在此时间内仍然没有触发任何 failover 操作，当前 Sentinel 将会认为此次 failoer 失败。



```bash
# 创建 Sentinel 节点启停脚本
cd /Users/liulei/app/redis/redisSentinel/script
## 启动脚本
cat > start_sentinel_26379_26380_26381.sh <<EOF
#!/bin/bash
redis-sentinel /Users/liulei/app/redis/redisSentinel/sentinel/redis-sentinel-26379.conf
redis-sentinel /Users/liulei/app/redis/redisSentinel/sentinel/redis-sentinel-26380.conf
redis-sentinel /Users/liulei/app/redis/redisSentinel/sentinel/redis-sentinel-26381.conf
EOF


## 停止脚本
cat > stop_sentinel_26379_26380_26381.sh <<EOF
#!/bin/sh
echo "将要停止的redis sentinel 进程 Id 如下..."
ps -ef | grep sentinel | grep -v grep | grep -v stop_sentinel_26379_26380_26381 | awk '{print\$2}' 
echo "将要停止redis sentinel......"
#date;sleep 60;date
ps -ef | grep sentinel | grep -v grep | awk '{print "kill "\$2}' | sh
EOF


# 启动 Sentinel 节点
sh start_sentinel_26379_26380_26381.sh

# 查看哨兵状态
redis-cli -p 26379 info sentinel


```

Mac m1 搭建 Redis Sentinel 集群

## 概述

Sealos 是一个基于 Kubeadm 的 K8s 一键安装工具，它可以帮助我们快速搭建一个 K8s 集群，而且还可以帮我们自动安装一些常用的插件，甚至要搭建一个高可用的集群也是非常方便的。

## Sealos 简介

[Sealos](https://sealos.run/) 是一款以 Kubernetes 为内核的云操作系统发行版。它以云原生的方式，抛弃了传统的云计算架构，转向以 Kubernetes 为云内核的新架构，使企业能够像使用个人电脑一样简单地使用云。

## 环境

这里我们将提供 1 个节点， Ubuntu 22.04 系统，内核版本：5.15.0-69-generic，在每个节点上添加 hosts 信息：

```bash
[root@master ~]# cat /etc/hosts
10.211.55.10 master
```

> 节点的 hostname 必须使用标准的 DNS 命名，另外千万别用默认 localhost 的 hostname，会导致各种错误出现的。在 Kubernetes 项目里，机器的名字以及一切存储在 Etcd 中的 API 对象，都必须使用标准的 DNS 命名（RFC 1123）。可以使用命令 hostnamectl set-hostname xxx 来修改 hostname。


### 安装要求

- 每个集群节点应该有不同的主机名。主机名不要带下划线。
- 所有节点的时间需要同步。
- 需要在 K8s 集群的第一个 master 节点上运行 sealos run 命令，目前集群外的节点不支持集群安装。
- 建议使用干净的操作系统来创建集群。不要自己装 Docker！
- 支持大多数 Linux 发行版，例如：Ubuntu、CentOS、Rocky linux。
- 支持 Docker Hub 中的所有 Kubernetes 版本。
- 支持使用 Containerd 作为容器运行时。
- 在公有云上安装请使用私有 IP。

## 安装

在 master 节点下载 Sealos 命令行工具，通过运行命令来获取版本列表


```bash
curl --silent "https://api.github.com/repos/labring/sealos/releases" | jq -r '.[].tag_name'
```

设置 VERSION 环境变量为 latest 版本号，或者将 VERSION 替换为您要安装的 Sealos 版本。


```bash
VERSION=`curl -s https://api.github.com/repos/labring/sealos/releases/latest | grep -oE '"tag_name": "[^"]+"' | head -n1 | cut -d'"' -f4`

echo $VERSION
```

然后使用下面的命令自动下子二进制文件：

```bash
curl -sfL https://mirror.ghproxy.com/https://raw.githubusercontent.com/labring/sealos/main/scripts/install.sh | PROXY_PREFIX=https://mirror.ghproxy.com sh -s ${VERSION} labring/sealos
```

使用 `Sealos` 安装 `Kubernetes` 集群非常简单，只需要在 `master` 节点上运行 `sealos run` 命令，然后指定一些参数即可。比如我们这里安装一个 `v1.27.10` 版本的集群（v1.28.x 版本暂时有问题），并使用 `Cilium` 网络插件，然后指定 `master` 和 `node` 节点的 `IP` 地址，最后指定 `ssh` 的密码即可。

我们用到的集群镜像都可以在 [cluster-image-docs](https://github.com/labring-actions/cluster-image-docs) 仓库里找到。

calico

```bash
sealos run registry.cn-shanghai.aliyuncs.com/labring/kubernetes:v1.27.10 registry.cn-shanghai.aliyuncs.com/labring/helm:v3.9.4 registry.cn-shanghai.aliyuncs.com/labring/calico:v3.26.1 \
     --masters 10.211.55.4 \
     --nodes 192.168.0.116,192.168.0.118 -p [your-ssh-passwd]
```


cilium

```bash
sealos run registry.cn-shanghai.aliyuncs.com/labring/kubernetes:v1.27.10 registry.cn-shanghai.aliyuncs.com/labring/helm:v3.9.4 registry.cn-shanghai.aliyuncs.com/labring/cilium:v1.13.4 \
     --masters 10.211.55.4 -p [password]
```

安装完成后，使用 kubectl get nodes 命令来查看集群的节点信息：


```bash
root@master:~# kubectl get nodes
NAME     STATUS   ROLES           AGE   VERSION
master   Ready    control-plane   98s   v1.27.10
root@master:~# kubectl get pods -A
NAMESPACE          NAME                                      READY   STATUS    RESTARTS   AGE
calico-apiserver   calico-apiserver-575fc8c7df-4qjbv         1/1     Running   0          55s
calico-apiserver   calico-apiserver-575fc8c7df-8z5w6         1/1     Running   0          55s
calico-system      calico-kube-controllers-5479d6dfd-7fsdj   1/1     Running   0          79s
calico-system      calico-node-fqwfv                         1/1     Running   0          80s
calico-system      calico-typha-96c74df95-h86bg              1/1     Running   0          80s
calico-system      csi-node-driver-vjrc2                     2/2     Running   0          79s
kube-system        coredns-5d78c9869d-gkb9r                  1/1     Running   0          83s
kube-system        coredns-5d78c9869d-mcc5m                  1/1     Running   0          84s
kube-system        etcd-master                               1/1     Running   0          99s
kube-system        kube-apiserver-master                     1/1     Running   0          101s
kube-system        kube-controller-manager-master            1/1     Running   0          101s
kube-system        kube-proxy-pnjdv                          1/1     Running   0          84s
kube-system        kube-scheduler-master                     1/1     Running   0          99s
tigera-operator    tigera-operator-5f4668786-lg4pl           1/1     Running   0          83s
```

### 增加 master 节点

如果想要增加一个 master 节点，则可以使用如下所示的 sealos add 命令

```bash
sealos add --masters 192.168.0.21,192.168.0.19
```

### 增加 node 节点

如果要增加 node 节点，则使用 --nodes 参数即可：


```bash
sealos add --nodes 192.168.64.21,192.168.64.19
```

### 删除节点

删除节点也是非常简单的，使用 sealos delete 命令即可

### 重制集群

如果在安装过程中出现了任何问题也可以使用 sealos reset 命令来重置集群

```bash
root@master:~# sealos reset
2024-04-17T08:59:31 info are you sure to delete these nodes?
Yes [y/yes], No [n/no]: y
2024-04-17T08:59:33 info start to delete Cluster: master [10.211.55.4], node []
2024-04-17T08:59:33 info start to reset nodes: []
2024-04-17T08:59:33 info start to reset masters: [10.211.55.4:22]
2024-04-17T08:59:33 info start to reset node: 10.211.55.4:22
/usr/bin/kubeadm
.....
2024-04-17T08:59:41 info succeeded in deleting current cluster
2024-04-17T08:59:41 info
      ___           ___           ___           ___       ___           ___
     /\  \         /\  \         /\  \         /\__\     /\  \         /\  \
    /::\  \       /::\  \       /::\  \       /:/  /    /::\  \       /::\  \
   /:/\ \  \     /:/\:\  \     /:/\:\  \     /:/  /    /:/\:\  \     /:/\ \  \
  _\:\~\ \  \   /::\~\:\  \   /::\~\:\  \   /:/  /    /:/  \:\  \   _\:\~\ \  \
 /\ \:\ \ \__\ /:/\:\ \:\__\ /:/\:\ \:\__\ /:/__/    /:/__/ \:\__\ /\ \:\ \ \__\
 \:\ \:\ \/__/ \:\~\:\ \/__/ \/__\:\/:/  / \:\  \    \:\  \ /:/  / \:\ \:\ \/__/
  \:\ \:\__\    \:\ \:\__\        \::/  /   \:\  \    \:\  /:/  /   \:\ \:\__\
   \:\/:/  /     \:\ \/__/        /:/  /     \:\  \    \:\/:/  /     \:\/:/  /
    \::/  /       \:\__\         /:/  /       \:\__\    \::/  /       \::/  /
     \/__/         \/__/         \/__/         \/__/     \/__/         \/__/

                  Website: https://www.sealos.io/
                  Address: github.com/labring/sealos
                  Version: 4.3.7-f39b2339
```

### 安装 openebs

我们还可以安装各种分布式应用，比如使用下面的命令即可轻松在 K8s 集群上安装 openebs：


```bash
sealos run registry.cn-shanghai.aliyuncs.com/labring/openebs:v3.9.0
```

### 自定义安装配置

可以通过使用 sealos gen 命令生成一个 Clusterfile 文件，然后修改其中的配置，最后使用 sealos apply -f Clusterfile 命令来启动集群，例如：

```bash
sealos gen labring/kubernetes:v1.25.0 labring/helm:v3.8.2 labring/calico:v3.24.1 \
   --masters 192.168.0.2,192.168.0.3,192.168.0.4 \
   --nodes 192.168.0.5,192.168.0.6,192.168.0.7 --passwd 'xxx' > Clusterfile
```

> 注意：labring/helm 应当在 labring/calico 之前。

然后可以参考官方文档或运行 kubeadm config print init-defaults 命令来打印 kubeadm 配置文件的默认值，然后修改 Clusterfile 文件中的配置，最后使用 sealos apply -f Clusterfile 命令来启动集群。

### 集成 sealos cloud 服务

如果你还想在集群中集成 sealos cloud 的服务， 那么这 master 节点直接知行下面的命令即可：

```bash
curl -sfL https://mirror.ghproxy.com/https://raw.githubusercontent.com/labring/sealos/main/scripts/cloud/install.sh -o /tmp/install.sh && bash /tmp/install.sh \
  --image-registry=registry.cn-shanghai.aliyuncs.com --zh \
  --proxy-prefix=https://mirror.ghproxy.com
```

默认情况下 sealos cloud 需要一个域名用于访问 Sealos 及相关服务，如果您没有域名，可以使用 nip.io 提供的免费域名服务。同样 sealos cloud 还需要使用证书来保证通信安全，默认在不提供证书的情况下会使用 cert-manager 来自动签发证书。如果可以提供证书，证书需要解析下列域名 (假设提供的域名为：cloud.example.io)：

-  `*.cloud.example.io`
-  `cloud.example.io`

我们这里没有公网域名，也不需要自定义域名，所以选择直接使用 nip.io 提供的免费域名服务。nip.io 是一个免费的通配符 DNS 服务，它可以将动态分配的 IP 地址映射到一个固定的子域名上，特别适合用于本地开发环境。具体的工作原理为：

可以使用任何 IP 地址作为 nip.io 子域名的一部分，而 nip.io 会将它解析回相应的 IP 地址。例如，如果你有一个内网 IP 地址 192.168.1.10，你可以使用 192.168.1.10.nip.io 作为域名，所有向这个域名发送的请求都会被解析到 192.168.1.10 这个 IP 地址上。这样就无需修改本地 hosts 文件，也不需要搭建内网 DNS 服务，直接通过这个域名就能访问内网服务了。

当执行上面命令需要输入 Sealos Cloud 域名时，你需要输入这种格式的域名：[ip].nip.io，其中 [ip] 是你的 Master 节点 IP。

安装完成后，终端会输出 Sealos 访问域名以及用户名和密码，例如：


```bash
Sealos cloud login info:
Cloud Version: latest
URL: https://10.214.210.102.nip.io
admin Username: admin
admin Password: sealos2023
```


## 链接

- [启动集群](https://sealos.io/zh-Hans/docs/self-hosting/lifecycle-management/reference/sealos/commands/apply)
- [使用 Sealos 部署集群](https://www.yuque.com/cnych/dgk003/ib91dygmg1gi99cv#fa405f59)


