快速部署rancher-server

2020-03-21

简介
- Rancher是什么
- 为什么需要Rancher
部署
- 环境准备
- 安装helm
使用

简介

Rancher是什么

Rancher是一个开源的企业级容器管理平台。通过Rancher，企业再也不必自己使用一系列的开源软件去从头搭建容器服务平台。Rancher提供了在生产环境中使用的管理Docker和Kubernetes的全栈化容器部署与管理平台。

为什么需要Rancher

在以前, 如果我们需要做一个分布式集群我们需要学习一全套的框架并编码实现如服务发现, 负载均衡等逻辑, 给开发者造成很大的负担, 不过好在现在有Docker以及他周边的一些技术能在上层解决这些问题, 而应用该怎么开发就怎么开发。

当你选择使用Docker技术栈的时候, 会发现在生产环境中不光光是 docker run就能解决的. 还需要考虑比如docker之间的组网, 缩扩容等问题, 于是你去学习部署和使用Kubernetes, 发现太复杂了,光部署就已经很困难了，还要学习一系列的yaml语法来使用，有没有更简单一些的工具呢？Rancher 提供了一系列简单的工具用于部署和管理Kubernetes集群，通过webUI鼠标点点就可以轻松部署各种应用到Kubernetes集群上，技术小白也能轻松上手。

部署

Rancher Server可以单独部署在一台机器上，也支持部署到Kubernetes集群当中，当然，为了管理方便，我们这里选择部署到Kubernetes集群当中。

环境准备

在部署Rancher之前，有一些工作需要提前准备：

一个部署就绪，可以使用的Kubernetes集群
安装helm 工具
http ssl证书 (可选，非必须)

安装helm

helm是什么

Helm是Kubernetes的一个包管理工具，用来简化Kubernetes应用的部署和管理。可以把Helm比作CentOS的yum工具。

获取Helm3

# 下载
curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash

# 放入PATH路径中可以直接使用.
tar xf helm-v3.1.2-linux-amd64.tar.gz
sudo mv linux-amd64/helm /usr/local/bin/

添加官方仓库

稳定版用于生产环境，最新版用于评估测试新功能.

# 稳定版
helm repo add rancher-stable https://releases.rancher.com/server-charts/stable

# 最新版
helm repo add rancher-latest https://releases.rancher.com/server-charts/latest

#  更新仓库
helm repo update

创建新的命名空间

Rancher Server 需要一个专用的命名空间用于部署，cattle-system这个名字是固定的，不能使用别的。

kubectl create namespace cattle-system

配置SSL证书

Rancher Server默认设计为使用SSL证书用于加强安全，因此支持3种方式配置证书, 自签证书、Let’s Encrypt、使用已有的证书。这里我们使用已有证书方式。

创建证书Secrets对象

首先将证书公钥如example.crt 和私钥example.key 重命名为tls.crt , tls.key，放在当前目录下，然后创建成secrets对象。

kubectl -n cattle-system create secret tls tls-rancher-ingress \
  --cert=tls.crt \
  --key=tls.key

使用Helm部署Rancher Server

注意： hostname是定义域名，一定要跟你的证书签发域名要一致，通常自有证书都是泛域名证书。

helm install rancher rancher-stable/rancher \
  --namespace cattle-system \
  --set hostname=rancher-test.iquantex.com \
  --set ingress.tls.source=secret

检查部署情况

kubectl get po -n cattle-system

需要等待一些时间，因为要拉取Rancher Server的镜像,这取决于你的网络速度。

部署成功，启动完成。

使用

部署应用

默认只有2个命名空间: default 和 system, 通常需要建立一个单独的命名空间用于部署应用，system 是集群内部的专用命名空间，尽量不要部署应用到此。

这里演示部署3个nginx实例到default命名空间，设置完成后，点击下面的Launch

等待一会部署完成，容器启动成功。

访问应用

要访问部署在集群中的应用，有3种方式：

LoadBalance (一般部署在公有云上时，由云厂商提供)
Ingress (常用方式，推荐)
nodePorts (调试用，一般不推荐使用)

这里使用ingress进行配置

可以使用集成的xp.io域名功能进行测试应用，真实生产环境应该使用自有的主机域名。

等待创建完毕后，显示如下：

访问生成的url,应该可以访问到部署的nginx了

展开全文 >>

部署K8S集群

2020-03-21

简介

大多数人在生产环境中运行Docker，是把它作为构建和移动部署配置的一种方式。然而，他们的部署模型要么非常整体化，要么有几个大的服务模块组成。使用真实的容器化微服务最大的障碍在于，很多人不太清楚如何管理和协调容器大规模负载。作为google 长期经营的Borg项目的开源的继承者，Kubernetes有将近10年的运行大规模负载的历史了。虽然也存在一些缺点，但Kubernetes是现今最成熟的容器编排系统之一。

Kubernetes是什么

谈论Kubernetes发行版之前，不妨简要介绍一下Kubernetes。Kubernetes是一种用于容器编排的开源平台。Kubernetes使使用容器部署应用程序所需的许多任务实现自动化，包括启动和停止每个容器，以及确定集群中的哪些服务器应托管哪些容器。

Kubernetes只是市面上的几种容器编排工具之一，其他受欢迎的选择包括Docker Swarm和Mesos Marathon。不过Kubernetes击败了众多对手，连Docker公司官方都承认Docker Swarm不如Kubernetes，在容器编排领域已经成为了业界的事实标准。

Kubernetes发行版是什么

作为一个开源项目，Kubernetes将源代码放在GitHub上，供人免费获取。谁都可以使用该源代码，下载和编译Kubernetes，并安装到自己选择的基础架构上。但大多数人绝不会想要下载和编译源代码安装Kubernetes，原因如下：

费时费力：有大量的Kubernetes源代码，从头开始构建需要耗费大量的时间和精力。另外，只要你想更新安装的系统，就必须重新构建一切。
多个组件：Kubernetes不是单个应用程序，而是一套不同的应用程序和工具。如果你从- 源代码安装，就必须在你用于构建Kubernetes集群的所有服务器上分别安装这每一个组件。
复杂的配置：由于Kubernetes没有安装向导或自动配置脚本，因此你还得手动配置Kubernetes的各个组件。
大多数人转向Kubernetes发行版以满足容器编排需求。Kubernetes发行版是一个软件包，提供了Kubernetes的预构建版本。大多数Kubernetes发行版还提供安装工具，以简化安装过程。一些还集成了另外的软件，帮助处理监控和安全之类的任务。

从这个意义上讲，Kubernetes发行版好比Linux发行版。大多数人想要在PC或服务器上安装Linux时，他们使用提供与其他各种软件包集成的预构建Linux内核的发行版。几乎没人从头开始去下载Linux源代码。

主要的Kubernetes发行版有哪些

从技术上讲，任何包含Kubernetes预构建版本的软件包或平台都可以算作Kubernetes发行版。就像任何人可以构建自己的Linux发行版一样，任何人可以创建Kubernetes发行版。

很多云厂商都提供了公有云版本的Kubernetes发行版，直接在线购买就可以使用，但我们需要的是一个可以自主部署管理的Kubernetes集群,因此比较有代表性的就是下面两个：

OpenShift

OpenShift是一个容器化平台，包括Kubernetes以及运行、部署和管理容器所需的其他各种工具。从某种意义上来说，它是一种相对不灵活的Kubernetes发行版，因为它在用于构建完整容器化堆栈的工具和平台方面并没有给你太多的选择。另一方面，OpenShift本身随带你所需要的几乎一切工具。它将相当于提供一应俱全的Kubernetes。 OpenShift由Red Hat开发，可以在本地和云中运行。有付费版本和开源版本，不过在Kubernetes版本选择上会比较保守，通常使用的Kubernetes版本会落后于官方版本。

Rancher

Rancher是一套容器管理平台，它可以帮助组织在生产环境中轻松快捷的部署和管理容器，可以轻松地管理各种环境的Kubernetes，满足IT需求并为DevOps团队提供支持。
Rancher为DevOps工程师提供了一个直观的用户界面来管理他们的服务容器，用户不需要深入了解Kubernetes概念就可以开始使用Rancher。 Rancher包含应用商店，支持一键式部署Helm和Compose模板。Rancher通过各种云、本地生态系统产品认证，其中包括安全工具，监控系统，容器仓库以及存储和网络驱动程序，并且可以免费使用，同时也可以付费获取技术支持。

选择哪个发行版

综合评估下来，我们选择了Rancher，有几个原因：

完全免费使用，无社区版收费版的区别
跟随Kubernetes官方主流新版本发布
操作界面简单，易于使用
配套部署工具方便快捷
活跃的社区支持
支持管理多个集群
自带集群健康、资源使用监控

:::info 提示
Rancher Server还支持导入已有的Kubernetes集群，可以实现一套平台同时管理公有云，私有云上的Kubernetes集群。
:::

部署

部署一个Kubernetes集群是一件令人很头疼的问题，因为Kubernetes是一套很复杂的系统，虽然只有寥寥几个组件，但是要想成功部署起来投入使用，却并非那么容易，很多人想要使用Kubernetes，都是倒在了部署上，仅仅是部署调试就难倒很多初学者了。因此社区涌现出了很多安装部署脚本或者工具，但是还是可能出现各种问题，虽然Kubernetes官方也提供了一个很方便的工具kubeadm,但是由于国内网络的原因，也是需要经过很多曲折的办法才能使用。

Rancher提供了一个方便的工具RKE用于快速创建一个Kubernetes集群，使用这个工具可以在十几分钟内在物理机，虚拟机上快速拉起一套可用于生产级别的集群。

前期准备

硬件

部署一个基本集群至少需要3个节点主机，可以是包含1个master节点，2个worker节点。另外需要一个单独的主机用于操作RKE工具，可以是常用的Linux发行版，也可以是macOS 。

Role	CPU	Memory	Disk	Network
Master	4 Core	4 G	50 G	10.116.18.35/24
Worker	8 Core	8 G	50 G	10.116.18.36/24
Worker	8 Core	8 G	50 G	10.116.18.37/24

软件

CentOS/RHEL 7.5+
Docker 18+

其他设置

关闭防火墙
关闭selinux
配置yum源,EPEL源更新系统

部署操作

创建免密登录

为了快速操作，使用了Ansible工具进行批量操作, 由于RKE工具和Ansible都是通过ssh方式进行操作，所以需要事先创建免密登录。

# 创建ssh-key
ssh-keygen

# 传送key到目标机
ssh-copy-id root@10.116.18.35
ssh-copy-id root@10.116.18.36
ssh-copy-id root@10.116.18.37

# 创建一个目录用于RKE部署，然后创建一个Ansible目录，并创建主机清单
mkdir -p RKE/ansible/{group_vars,roles} && cd RKE/ansible

cat > hosts <<EOF 
[master]
10.116.18.35 ansible_ssh_user=root

[worker1]
10.116.18.36 ansible_ssh_user=root

[worker2]
10.116.18.37 ansible_ssh_user=root
EOF 

# 测试Ansible
ansible -i hosts all -m shell -a "uname -a"

创建playbook任务

生成playbook目录结构

ansible-galaxy init roles/rancher

编辑roles/rancher/tasks/main.yml

---
# tasks file for roles/rancher

- name: Create Rancher User
  user:
    name: rancher
    uid: 1000
    groups: 
      - rancher
      - docker
    append: yes 
    state: present

- name: Disable swap in /etc/fstab
  lineinfile:
    path: /etc/fstab
    regexp: "^UUID=(.*swap.*)"
    line: '#UUID=\1'

- name: Disable all swap
  shell: "swapoff -a"

- name: Disable SELinux
  selinux:
    state: disabled

- name: Disable firewalld
  systemd:
    name: firewalld
    enabled: false
    state: stopped
    masked: true
    scope: system

- name: Ensure docker is enable
  systemd:
    name: docker
    enabled: true
    state: started

- name: Add ip with host mapping in hosts
  lineinfile:
    path: /etc/hosts
    regexp: "^{{ ansible_default_ipv4.address }}"
    line: "{{ ansible_default_ipv4.address }}  {{ ansible_nodename }}"

- name: Copy kernel config
  copy:
    src: k8s.conf
    dest: /etc/sysctl.d/k8s.conf

- name: Apply kernel paramater
  shell: "sysctl -p"

- name: Copy ipvs module config
  copy:
    src: ipvs.conf
    dest: /etc/modules-load.d/ipvs.conf

- name: Load the necessary parameters for use IPVS network model
  modprobe:
    name: "{{ item }}"
    state: present
  loop:
    - ip_vs
    - ip_vs_rr
    - ip_vs_sh
    - ip_vs_wrr
    - nf_conntrack

上面脚本内容中需要的2个配置文件放在roles/rancher/files里面，内容如下：

k8s.conf

net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1

vm.swappiness = 0

kernel.pid_max = 655360

ipvs.conf

modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4

创建执行清单prepare.yml

- hosts: all
  remote_user: root
  roles:
    - rancher

执行playbook

执行playbook，先准备好目标主机的其他配置.

ansible-playbook -i hosts prepare.yml

获取RKE

# 下载, 当前最新版本是1.0.4
wget -c https://github.com/rancher/rke/releases/download/v1.0.4/rke_linux-amd64

# 添加执行权限，重命名并放到系统路径下.
chmod +x rke
mv rke_linux-amd64 /usr/local/bin/rke

创建RKE配置文件

创建配置有两种方式, 一个是交互式，一个是生成空配置.

# 交互式创建配置文件.
rke config

# 生成空配置,手动编辑修改.
rke config --empty

完整的配置文件cluster.yml示例：

# If you intened to deploy Kubernetes in an air-gapped environment,
# please consult the documentation on how to configure custom RKE images.
nodes:
- address: 10.116.18.35
  port: "22"
  internal_address: ""
  role:
  - controlplane
  - etcd
  hostname_override: master
  user: rancher
  docker_socket: /var/run/docker.sock

- address: 10.116.18.36
  port: "22"
  internal_address: ""
  role:
  - worker
  hostname_override: worker1
  user: rancher
  docker_socket: /var/run/docker.sock

- address: 10.116.18.37
  port: "22"
  internal_address: ""
  role:
  - worker
  hostname_override: worker2
  user: rancher
  docker_socket: /var/run/docker.sock

services:
  etcd:
    image: ""
    extra_args: {}
    extra_binds: []
    extra_env: []
    external_urls: []
    ca_cert: ""
    cert: ""
    key: ""
    path: ""
    uid: 0
    gid: 0
    snapshot: null
    retention: ""
    creation: ""
    backup_config: null
  kube-api:
    image: ""
    extra_args: {}
    extra_binds: []
    extra_env: []
    service_cluster_ip_range: 10.43.0.0/16
    service_node_port_range: ""
    pod_security_policy: false
    always_pull_images: false
    secrets_encryption_config: null
    audit_log: null
    admission_configuration: null
    event_rate_limit: null
  kube-controller:
    image: ""
    extra_args: {}
    extra_binds: []
    extra_env: []
    cluster_cidr: 10.42.0.0/16
    service_cluster_ip_range: 10.43.0.0/16
  scheduler:
    image: ""
    extra_args: {}
    extra_binds: []
    extra_env: []
  kubelet:
    image: ""
    extra_args: {}
    extra_binds: []
    extra_env: []
    cluster_domain: cluster.local
    infra_container_image: ""
    cluster_dns_server: 10.43.0.10
    fail_swap_on: false
    generate_serving_certificate: false
  kubeproxy:
    extra_args:
      proxy-mode: ipvs
    #extra_binds:
    #  - "/lib/modules:/lib/modules:ro"


network:
  plugin: canal
  options:
    canal_flannel_backend_type: host-gw

authentication:
  strategy: x509
  sans: []
  webhook: null
addons: ""
addons_include: []


ssh_key_path: ~/.ssh/id_rsa
ssh_cert_path: ""
ssh_agent_auth: false

authorization:
  mode: rbac
  options: {}

ignore_docker_version: true

kubernetes_version: ""

private_registries:
  - url: hub.docker.com
    user: admin
    password: mypassword
    is_default: true

ingress:
  provider: nginx
  options:
    map-hash-bucket-size: "128"
  extra_args:
    enable-ssl-passthrough: ""

cluster_name: mycluster

cloud_provider:
  name: ""

prefix_path: ""
addon_job_timeout: 0

bastion_host:
  address: ""
  port: ""
  user: ""
  ssh_key: ""
  ssh_key_path: ""
  ssh_cert: ""
  ssh_cert_path: ""

monitoring:
  provider: ""
  options: {}
  node_selector: {}

dns:
  provider: coredns
  upstreamnameservers:
    - 10.116.18.50

开始部署

部署只需要一条命令:

rke up

展开全文 >>