单台机器安装体验蓝鲸7.1

本文来自腾讯蓝鲸智云社区用户:donkey

使用一台服务器,既是k8s master节点又是node节点。

基础环境信息

系统:CentOS 7.9
CPU/内存: 64C/128G

机器信息

k8s环境准备

安装docker ,docker版本要求:19.03 及更高

yum -y install wget 
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum install epel-release -y
yum install container-selinux -y
wget -O /etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum -y install docker-ce-20.10.20-3.el7

安装k8s
这里使用github上开源的一个ansible脚本来安装k8s

# 安装 git 命令行
yum install git -y
# 克隆本项目代码
git clone https://github.com/choerodon/kubeadm-ha.git
# 进入项目目录
cd kubeadm-ha
# 安装 ansible 环境
sudo ./ansible/install.sh
配置好 ansible inventory 文件,然后执行
ansible-playbook -i inventory.ini 90-init-cluster.yml
注:
1、更详细的说明,可以查看https://github.com/choerodon/kubeadm-ha.git
2、这个脚本的使用最主要的是配置inventory文件,以下我的inventory文件的内容
[all]
10.16.34.37 ansible_port=22 ansible_user="root" ansible_ssh_pass="机器密码"
[lb]
[etcd]
10.16.34.37
[kube-master]
10.16.34.37
[kube-worker]
10.16.34.37
[new-master]
[new-worker]
[new-etcd]
[del-worker]
[del-master]
[del-etcd]
[del-node]
[all:vars]
skip_verify_node=false
kube_version="1.20.0"
container_manager="docker"
lb_mode="nginx"
lb_kube_apiserver_port="8443"
kube_pod_subnet="10.244.0.0/18"
kube_service_subnet="10.244.64.0/18"
kube_network_node_prefix="24"
kube_max_pods="400"
network_plugin="calico"
kubelet_root_dir="/data/kubelet"
docker_storage_dir="/data/docker"
containerd_storage_dir="/data/containerd"
etcd_data_dir="/data/etcd"

部署NFS,并配置相应的存储类

mkdir /data/nfs
yum install -y nfs-utils
echo '/data/nfs 10.16.34.0/24(rw,sync,insecure,no_subtree_check,no_root_squash)' > /etc/exports
sudo systemctl enable nfs-server
sudo systemctl start nfs-server
helm repo add c7n https://openchart.choerodon.com.cn/choerodon/c7n/
helm repo update
helm upgrade --install nfs-client-provisioner c7n/nfs-client-provisioner \
 --set rbac.create=true \
 --set persistence.enabled=true \
 --set storageClass.name=nfs-provisioner \
 --set persistence.nfsServer=10.16.34.37 \
 --set persistence.nfsPath=/data/nfs \
 --version 0.1.1 \
 --namespace kube-system
把存储类配置成默认存储类
kubectl patch storageclass nfs-provisioner -p '{"metadata": {"annotations":{"storageclass.beta.kubernetes.io/is-default-class":"true"}}}'

安装其它依赖包

yum install -y jq unzip uuid

安装蓝鲸7.1

整个过程都是根据社区文档 https://bk.tencent.com/docs/document/7.0/253/69744
这里主要记录我在这个过程中碰到的问题,详细的安装过程以社区文档为准

安装基础套餐

#下载蓝鲸helmfile包及公共证书
curl -sSf https://bkopen-1252002024.file.myqcloud.com/ce7/7.1-beta/bkdl-7.1-beta.sh | bash -s -- -ur latest base cert
#会把文件下载到 /root/bkce7.1-install/blueking/ 目录下
#执行一键安装脚本,安装基础后台
BK_DOMAIN=bkce7.jinrui.org
cd ~/bkce7.1-install/blueking/ 
patt_domain='[a-z0-9]([-a-z0-9]*[a-z0-9])(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*'
if grep -P "$patt_domain" <<< "$BK_DOMAIN"; then
 scripts/setup_bkce7.sh -i base --domain "$BK_DOMAIN"
else
 echo "BK_DOMAIN($BK_DOMAIN) does not match pattern($patt_domain)."
fi

安装到bk-paas、bk-repo,碰到如下的报错,无法解决

多次折腾,还是报一样的错,但是pod无明显的错误日志,并且pod一直在重启。
经过各种重试,发现这个是pod资源不足导致的,调整pod的资源限额,启动正常,调整bk-repo的资源配额的过程如下
vi /root/bkce7.1-install/blueking/environments/default/bkrepo-values.yaml.gotmpl
下面的我使用的文件的完整内容,其中 “# 新加 开始 ======= # 新加 结束 =======”就是我自行增加的,"# 修改 开始 ======= # 修改 结束 =======" 就是我自行修改过的。

global:
 imageRegistry: {{ .Values.imageRegistry }}
## bkDomainScheme配置
bkDomainScheme: {{ .Values.bkDomainScheme }}
# metrics采集配置
serviceMonitor:
 enabled: {{ .Values.serviceMonitor.enabled }}
## 日志采集配置
bkLogConfig:
 enabled: {{ .Values.bkLogConfig.enabled }}
 service:
 dataId: 1110007
 gatewayAccess:
 dataId: 1110008
 gatewayError:
 dataId: 1110009
persistence:
 size: {{ .Values.bkrepo.size }}
mongodb:
 enabled: false
externalMongodb:
 uri: mongodb://{{ .Values.bkrepo.externalMongodb.username }}:{{ .Values.bkrepo.externalMongodb.password }}@{{ .Values.mongodb.host_port }}/{{ .Values.bkrepo.externalMongodb.database }}?replicaSet={{ .Values.mongodb.rsName }}
nginx-ingress-controller:
 enabled: false
common:
 username: {{ .Values.bkrepo.common.username }}
 password: {{ .Values.bkrepo.common.password }}
docker:
 enabled: true
## 初始化配置
init:
 # 初始化bk-ci(蓝盾)导航
 entrance:
 enabled: false
 bkCiProjectInnerUrl:
 ## BCS(容器管理平台) repo配置
 bcs:
 enabled: true
 publicImageUrl: https://hub.bktencent.com/blueking
 publicChartUrl: https://hub.bktencent.com/chartrepo/blueking
## 网关配置
gateway:
 ## bkrepo 地址
 host: bkrepo.{{ .Values.domain.bkDomain }}
 ## bkrepo docker仓库地址
 dockerHost: docker.{{ .Values.domain.bkDomain }}
 ## bkrepo helm仓库地址
 helmHost: helm.{{ .Values.domain.bkDomain }}
 ## dns服务器地址,用于配置nginx resolver。local=on为openrestry语法,取本机/etc/resolv.conf配置
 dnsServer: local=on
 ## 网关访问微服务认证信息
 authorization: "Platform MThiNjFjOWMtOTAxYi00ZWEzLTg5YzMtMWY3NGJlOTQ0YjY2OlVzOFpHRFhQcWs4NmN3TXVrWUFCUXFDWkxBa00zSw=="
 ## 部署模式,standalone: 独立模式,ci: 与ci搭配模式, saas模式:部署在蓝鲸paas上
 deployMode: saas
 ## 登陆校验模式,ticket or token or ci
 authMode: token
 ## ci模式必填,蓝鲸paas域名
 bkPaasUrl: {{ .Values.bkDomainScheme }}://{{ .Values.domain.bkMainSiteDomain }}
 ## ci模式必填,登录地址
 bkLoginUrl: {{ .Values.bkDomainScheme }}://{{ .Values.domain.bkMainSiteDomain }}/login
 ## ci模式必填,ssm ip
 ssmIP0: bkssm-web.{{ .Values.namespace }}.svc.cluster.local
 ## ci模式必填,ssm host
 ssmHost: bkssm-web.{{ .Values.namespace }}.svc.cluster.local
 ## ci模式必填,ssm port
 ssmPort: 80
 ## ci模式必填,ssm token url
 ssmTokenUrl: /api/v1/auth/access-tokens
 ## ci模式必填,ssm env
 ssmEnv: prod
 ## ci模式必填,app code
 appCode: bk_repo
 ## ci模式必填,app token
 appToken: {{ .Values.appSecret.bk_repo }}
 ## bkrepo gateway service配置
 service:
 type: NodePort
 nodePort: 30025
 resources:
 requests:
 cpu: 100m
 memory: 256Mi
 limits:
# 修改 开始 ======= 
 cpu: 1000m
 memory: 3000Mi
# 修改 结束 =======
auth:
 ## bcs account配置
 bcs:
 accessKey: "bk_bcs_app"
 secretKey: "{{ .Values.appSecret.bk_bcs_app }}"
 config:
 ## 指定realm类型,支持local/devops
 realm: local
 ## realm 指定为devops配置
 devops:
 # bkci accountId in bkrepo
 appId: bkdevops
 # bkci appId set
 appIdSet: bkdevops,bkrepo,codecc,bcs
 # bcs appId
 bcsAppId: bcs
 # bkrepo appId
 bkrepoAppId: bkrepo
 # bkci auth server url
 ciAuthServer: {{ .Values.bkDomainScheme }}://devops.{{ .Values.domain.bkDomain }}
 # bkci auth token
 ciAuthToken: {{ .Values.appSecret.bk_ci }}
helm:
 enabled: true
 resources:
 requests:
 cpu: 100m
 memory: 256Mi
 limits:
# 修改 开始 =======
 cpu: 1000m
 memory: 3000Mi
# 修改 结束 =======
npm:
 enabled: true
 resources:
 requests:
 cpu: 100m
 memory: 256Mi
 limits:
# 修改 开始 =======
 cpu: 1000m
 memory: 3000Mi
# 修改 结束 =======
pypi:
 enabled: true
 resources:
 requests:
 cpu: 100m
 memory: 256Mi
 limits:
# 修改 开始 =======
 cpu: 1000m
 memory: 3000Mi
#修改 结束 =======
# 新加 开始 =======
docker:
 enabled: true
 resources:
 requests:
 cpu: 200m
 memory: 512Mi
 limits:
 cpu: 1000m
 memory: 3000Mi
generic:
 enabled: true
 resources:
 requests:
 cpu: 200m
 memory: 512Mi
 limits:
 cpu: 1000m
 memory: 3000M
fs-server:
 enabled: true
 resources:
 requests:
 cpu: 200m
 memory: 512Mi
 limits:
 cpu: 1000m
 memory: 3000M
job:
 enabled: true
 resources:
 requests:
 cpu: 200m
 memory: 512Mi
 limits:
 cpu: 1000m
 memory: 3000M
opdata:
 enabled: true
 resources:
 requests:
 cpu: 200m
 memory: 512Mi
 limits:
 cpu: 1000m
 memory: 3000M
replication:
 enabled: true
 resources:
 requests:
 cpu: 200m
 memory: 512Mi
 limits:
 cpu: 1000m
 memory: 3000M
# 新加 结束 =======
repository:
 config:
 # 软删除后,清理并释放磁盘空间的间隔时间
 deletedNodeReserveDays: 0
# 新加 开始 =======
 resources:
 requests:
 cpu: 200m
 memory: 512Mi
 limits:
 cpu: 1500m
 memory: 3000M
# 新加 结束 =======

最后安装成功

安装成功后,电脑配置hosts(10.16.34.37 bkce7.jinrui.org),浏览器访问,可以看到如下的效果

安装saas

curl -sSf https://bkopen-1252002024.file.myqcloud.com/ce7/7.1-beta/bkdl-7.1-beta.sh | bash -s -- -ur latest saas
部署节点管理:
scripts/setup_bkce7.sh -i nodeman
部署流程服务:
scripts/setup_bkce7.sh -i itsm
部署标准运维:
scripts/setup_bkce7.sh -i sops

我在这个过程中,按社区文档的操作可正常完成安装,没有碰到问题。

安装容器平台

https://bk.tencent.com/docs/document/7.0/253/69746

cd ~/bkce7.1-install/blueking
helmfile -f 03-bcs.yaml.gotmpl sync
# 在admin桌面添加应用,也可以登录后自行添加。
scripts/add_user_desktop_app.sh -u "admin" -a "bk_bcs"
# 设为默认应用。
scripts/set_desktop_default_app.sh -a "bk_bcs"

在这个过程中,碰到的问题是bcs-services-stack-app这个pod无法正常进入Running状态,经排查是因为内存限额过小导致,直接修改bcs-services-stack-app这个deployment中的内存限额,注意:该deployment中的pod有多个容器,我这里是每个容器都进行了修改。

kubectl edit deployment bcs-services-stack-app -n bcs-system
我这里是对这个deployment的中的所有容器的resources.limits都修改成如下的:
 resources:
 limits:
 cpu: "4"
 memory: 6Gi
 requests:

安装监控日志

https://bk.tencent.com/docs/document/7.0/253/69742
我在这个过程中,按社区文档的操作可正常完成安装,没有碰到问题。

总体感受

相比之前安装7.1之前的版本,安装7.1版本的过程顺畅很多,社区应该是花了很大的人力物力去完善了脚本

作者:腾讯蓝鲸智云原文地址:https://segmentfault.com/a/1190000044138498

%s 个评论

要回复文章请先登录注册