備忘録：OpenShift 3.7 を All in One でインストール
いつもAzureを使っているので、AWSも使ってみようと OpenShift の All in One の環境をデプロイした時のメモ。
AWSのインスタンスへの設定
- publicの固定IPを付与するために Elastic IPを設定
- 管理コンソール(8443)、Web App(80, 443)のInbound accessを許可するためにSecurity Groupを設定
OpenShift のインストール
必要なパッケージのインストール
subscription-manager で登録した後は、必要なパッケージのインストール
subscription-manager repos --disable="*"
subscription-manager repos \
--enable="rhel-7-server-rpms" \
--enable="rhel-7-server-extras-rpms" \
--enable="rhel-7-server-ose-3.7-rpms" \
--enable="rhel-7-fast-datapath-rpms"
yum -y install wget git net-tools bind-utils iptables-services bridge-utils bash-completion kexec-tools sos psacct
yum -y update
yum -y install atomic-openshift-utils
yum -y install atomic-openshift-excluder atomic-openshift-docker-excluder
atomic-openshift-excluder unexclude
yum -y install docker
sed -i '/OPTIONS=.*/c\OPTIONS="--selinux-enabled --insecure-registry 172.30.0.0/16"' /etc/sysconfig/docker
systemctl enable docker
systemctl start docker
インベントリファイル
Docker用のストレージを作らなかったり、リソースが少なめだったりするので事前チェックをすり抜けるためのパラメータ openshift_disable_check=memory_availability,disk_availability,docker_storage を設定
！！！本当は、ちゃんとシステム要件を満たすリソースを割りあてないとダメです！！！
[OSEv3:children]
masters
nodes
etcd
# Set variables common for all OSEv3 hosts
[OSEv3:vars]
# SSH user, this user should allow ssh based auth without requiring a password
ansible_ssh_user=ec2-user
# If ansible_ssh_user is not root, ansible_become must be set to true
ansible_become=true
openshift_deployment_type=openshift-enterprise
openshift_disable_check=memory_availability,disk_availability,docker_storage
openshift_master_default_subdomain=000.000.000.000.nip.io
# uncomment the following to enable htpasswd authentication; defaults to DenyAllPasswordIdentityProvider
openshift_master_identity_providers=[{'name': 'htpasswd_auth', 'login': 'true', 'challenge': 'true', 'kind': 'HTPasswdPasswordIdentityProvider', 'filename': '/etc/origin/master/htpasswd'}]
# host group for masters
[masters]
ec2-000-000-000-000.ap-northeast-1.compute.amazonaws.com
# host group for etcd
[etcd]
ec2-000-000-000-000.ap-northeast-1.compute.amazonaws.com
# host group for nodes, includes region info
[nodes]
ec2-000-000-000-000.ap-northeast-1.compute.amazonaws.com openshift_schedulable=true openshift_node_labels="{'region': 'infra', 'zone': 'default'}" openshift_public_hostname=ec2-000-000-000-000.ap-northeast-1.compute.amazonaws.com openshift_hostname=ip-172-31-000-000.ap-northeast-1.compute.internal
PV を NFS で提供
NFS サーバの設定
パッケージのインストール
yum -y install nfs-utils
NFS の設定
mkdir -p /var/export/pvs/pv{1..10}
chown -R nfsnobody:nfsnobody /var/export/pvs
chmod -R 2770 /var/export/pvs
for volume in pv{1..10} ; do
echo Creating export for volume $volume;
echo "/var/export/pvs/${volume} *(rw,sync,root_squash)" >> /etc/exports; done;
systemctl enable rpcbind nfs-server
systemctl start rpcbind nfs-server nfs-lock nfs-idmap
systemctl stop firewalld
systemctl disable firewalld
setsebool -P virt_use_nfs=true;
で、動作確認
ssh [クライアントIPアドレス] mkdir /tmp/test mount -v [NFSサーバ名]:/var/export/pvs/pv1 /tmp/test umount /tmp/test exit
PV の作成
PV の定義作成
export volsize=1Gi
for volume in pv{1..10} ; do cat << EOF > ${volume}.yaml
{
"apiVersion": "v1", "kind": "PersistentVolume", "metadata": {
"name": "${volume}" },
"spec": { "capacity": {
"storage": "${volsize}" },
"accessModes": [ "ReadWriteOnce" ], "nfs": {
"path": "/var/export/pvs/${volume}",
"server": "$NFS_SERVER" },
"persistentVolumeReclaimPolicy": "Recycle" }
}
EOF
echo "Created def file for ${volume}"; done;
PVの作成
for f in *.yaml; do oc create -f $f; done
トラブルシューティング
Service Catalog がデプロイされない問題
Bug 1523625 – service catalog deployment fails
こんな感じで、kube-service-catalog プロジェクトの controller-manager がちゃんとデプロイされていない場合。
$ oc get po --all-namespaces NAMESPACE NAME READY STATUS RESTARTS AGE kube-service-catalog controller-manager-8r8vt 0/1 CrashLoopBackOff 19 1d
まずは、
oc logs controller-manager-8r8vt --previous で、ログを確認して証明書のエラーが発生している場合は、証明書を置き換えてあげる必要があります。
エラーの例
F1206 08:45:28.713230 1 controller_manager.go:198] error running controllers: failed to get supported resources from server: unable to retrieve the complete list of server APIs: servicecatalog.k8s.io/v1beta1: an error on the server ("Error: 'x509: certificate signed by unknown authority (possibly because of \"crypto/rsa: verification error\" while trying to verify candidate authority certificate \"service-catalog-signer\")'\nTrying to reach: 'https://172.30.72.245:443/apis/servicecatalog.k8s.io/v1beta1' ") has prevented the request from succeeding
以下の手順で証明書を書き換えます。
cat /etc/origin/service-catalog/ca.crt | base64 =>結果をコピーして、1行にまとめておく oc edit apiservice/v1beta1.servicecatalog.k8s.io =>ca_bundleフィールドを置き換える
追記
2018-03-23
docker-1.12.x をインストールしているにもかかわらず、docker-1.13 のリポジトリが見えているというエラーが発生する場合は、openshift_disable_checkパラメータにpackage_versionを指定する。
openshift_disable_check=memory_availability,disk_availability,docker_storage,package_version
OpenShiftのトラブルシューティングの第一歩
現象によって調べるポイントは色々ありますが、トラブルシューティングの第一歩としてまずチェックしているログをご紹介します。
OS レベルでのログをチェック
journal の確認
OpenShift のマスタサーバでは、atomic-openshift-master-controllers、atomic-openshift-master-api と atomic-openshift-node というデーモンが動いてます。 ノードサーバでは、atomic-openshift-node が動いています。
v3.6 まではマスターサーバがシングル構成の場合は atomic-openshift-master というデーモンが動いていましたが、v3.7 からはシングルマスター構成の場合でも、HA構成と同様に2つのデーモンに別れました。
これらのデーモンの journal をチェックします。
journalctl -xe -f -u atomic-openshift-master-controllers journalctl -xe -f -u atomic-openshift-master-api journalctl -xe -f -u atomic-openshift-node
ログレベルの変更
ログの出力内容を増やして細かく調査したい場合には、ログレベルを変更します。ログレベルを変更する場合は、/etc/sysconfig ディレクトリにある atomic-openshift-master-controllers, atomic-openshift-master-api, atomic-openshift-node というファイルのログレベルを変更してデーモンを再起動します。例えば、atomic-openshift-master-controllers の再起動は
systemctl restart atomic-openshift-master-controllers
というコマンドを実行します。
設定可能なログレベルは、以下の通りです。
| ログレベル | 表示されるログ |
|---|---|
| 0 | Error と Warningのみ表示 |
| 2 | デフォルトのログレベル。Information レベルのログを表示 |
| 4 | Debug レベルのログを表示 |
| 6 | Request/Response のAPIレベルのデバッグログを表示 |
| 8 | Request/Response のボディレベルのデバッグログを表示 |
詳細は OpenShift のドキュメントのログレベルの設定を参照してください。
その他のデーモンのログレベルの変更
etcd などのログレベルの変更方法は、Red Hat のカスタマーポータルのナレッジを参照してください。
OC コマンドでのログ出力
OpenShift の CLI(Command Line Interface)の実行時に --loglevel=8 のようにログレベルを設定することで、REST のリクエストの内容を出力させることができます。
# oc whoami --loglevel=8
I0129 17:07:04.917363 9103 loader.go:357] Config loaded from file /root/.kube/config
I0129 17:07:04.918401 9103 round_trippers.go:383] GET https://master.example.com:8443/apis/user.openshift.io/v1/users/~
I0129 17:07:04.918434 9103 round_trippers.go:390] Request Headers:
I0129 17:07:04.918456 9103 round_trippers.go:393] Accept: application/json, */*
I0129 17:07:04.918468 9103 round_trippers.go:393] User-Agent: oc/v1.7.6+a08f5eeb62 (linux/amd64) kubernetes/c84beff
I0129 17:07:04.970330 9103 round_trippers.go:408] Response Status: 200 OK in 51 milliseconds
I0129 17:07:04.970359 9103 round_trippers.go:411] Response Headers:
I0129 17:07:04.970370 9103 round_trippers.go:414] Cache-Control: no-store
I0129 17:07:04.970381 9103 round_trippers.go:414] Content-Type: application/json
I0129 17:07:04.970404 9103 round_trippers.go:414] Content-Length: 224
I0129 17:07:04.970415 9103 round_trippers.go:414] Date: Mon, 29 Jan 2018 17:07:04 GMT
I0129 17:07:04.970522 9103 request.go:994] Response Body: {"kind":"User","apiVersion":"user.openshift.io/v1","metadata":{"name":"system:admin","selfLink":"/apis/user.openshift.io/v1/users/system%3Aadmin","creationTimestamp":null},"identities":[],"groups":["system:cluster-admins"]}
system:admin
アプリケーションのログをチェック
実行中のアプリケーションのログの確認
アプリケーションの動作がおかしい場合は、アプリケーションのPodのログをチェックします。 まずは、Pod名を確認します。
oc get pods
ログをチェックしたい Pod 名を指定して、Podのログを確認します。
oc logs app-2-n5jjz
Crash Loopback になってしまうアプリケーションのログの確認
デプロイに失敗して、Crash Loopback になってしまった場合には、oc logs コマンドに --previous オプションを指定して起動しようとした時のログを確認します。
# oc get pods NAME READY STATUS RESTARTS AGE mysql-1-fd6p7 0/1 CrashLoopBackOff 3 2m # oc logs mysql-1-fd6p7 --previous error: database is uninitialized and password option is not specified You need to specify one of MYSQL_ROOT_PASSWORD, MYSQL_ALLOW_EMPTY_PASSWORD and MYSQL_RANDOM_ROOT_PASSWORD
イベントをチェック
Pod のデプロイを開始したけど、ステータスが Pending のままだったり、Container Creating で止まってしまった場合は、コンテナが起動していないのでコンテナのログではなく、コンテナのイベントをチェックします。
oc get events
Azure と AWS上でOpenShiftをワンクリックでデプロイ - Azure 編 -
AWSとAzure 上で、テンプレートを利用して簡単にOpenShiftがデプロイできるようになったので、その方法を2回に分けてご紹介します。
BYOL を利用するメリット
OpenShift DedicatedのようなマネージドなOpenShift環境では、管理せずに利用することができるので、すぐに使いたいというニーズにあっています。一方で、インフラ管理面などは管理者に依存する部分もあるので、インフラを自由に構成することが難しいという点もあります。
インフラ構成や管理は自分たちでできるけど、構築の手間はかけずにすぐに環境が欲しいという場合には非常に有効な方法です。
作業の流れは、AWS、Azureのいずれの場合も 1. クラウドアクセスの登録 2. テンプレートを選択してデプロイ
まず、1回目はAzureへのデプロイ方法をご紹介します。
Azureでのインフラ構成
Azureでは3種類の構成が選択できるようになっています。
Small
シングルマスター構成の小さな環境です。まずは、ちょっと使ってみようという場合に手軽に利用できる環境です。
| 種別 | ノード数 |
|---|---|
| Master | 1 |
| Infranode | 1 |
| Application Node | 2 |
| Bastion Host | 1 |
| 合計 | 5インスタンス, 10core |
Medium
HA構成の小さな環境です。HA構成で使ってみようという場合に手軽に利用できる環境です。
| 種別 | ノード数 |
|---|---|
| Master | 3 |
| Infranode | 2 |
| Application Node | 4 |
| Bastion Host | 1 |
| 合計 | 10インスタンス、38core |
Large
HA構成で中くらいの環境です。HA構成である程度の数のアプリケーションを実行するために利用できる環境です。
| 種別 | ノード数 |
|---|---|
| Master | 3 |
| Infranode | 2 |
| Application Node | 6 |
| Bastion Host | 1 |
| 合計 | 12インスタンス、70core |
OpenShiftの構成
ユーザ認証
認証方式はhtpasswdになっており、ファイルはMasterサーバの/etc/orign/master/htpasswdファイルです。 初期状態では、clusteradminというユーザにウィザードの3ステップ目で指定したOpenShift Admin User Passwordが設定されています。 OpenShiftの管理コンソールへログインするためのユーザ認証は、HTTDPassword方式になってoインストール直後はclusteradminユーザにウィザードで設定したパスワードが設定されています。マスターサーバのホスト名
Masterサーバにはクライアントからアクセスするためのパブリックなホスト名とIPアドレスが付与されています。 命名規則はmasterdns<暗号みたいな文字列>.<データセンターのリージョン名>.cloudapp.azure.comとなっています。アプリケーションのサブドメイン名
<マスターサーバのIPアドレス>.nip.ioPersistent Storage
Persistent Storageは作成されていないので、必要に応じて別途準備する必要があります。
構成などなどがわかったところで、BYOL(Bring Your Own License)のテンプレートを使ってAzureにOpenShiftをデプロイしていきましょう。
デプロイの準備
Red Hat Cloud Access への登録や、BYOLでのデプロイ途中で必要な情報を取得しておきます。
AzureのSubscription
Azure PortalにログインしてSubscriptionsを参照して、自分のSUBSCRIPTION IDをチェックします。
Red HatのSubscription
Subscriptionが割り当てられている Account と PoolID を確認します。
デプロイの作業
BYOLを利用してデプロイするには、2つのリソースグループを利用します。 一つはkeyvaultを登録しておくもの、もう一つはOpenShiftのクラスタを構築するものです。
Red Hat Cloud Accessの登録
Red Hat Cloud Access のサイトから登録します。
| # | パラメータ名 | 値 | 備考 |
|---|---|---|---|
| 1 | Cloud Provider | Microsoft Azure | プルダウンメニューから選択 |
| 2 | Microsoft Subscription Number/s | Azure Portalで確認したSubscriptionIDを入力 | |
| 3 | Product Name | 割り当てらているOpenShiftのサブスクリプションを選択 | |
| 4 | Quantity | 必要な本数を設定。Azureの場合は、2coreモデルのサブスクリプションが適用されるので、必要な Core数の満たす分を登録。smallならばApplicationNodeは2core x 2ノードなので2です。ただし、検証用Subscriptionの場合には、Master/Infranode分が含まれていませんので、Small の場合 10core / 2 = 5本となります。 |
登録が完了すると証明書のような画面が表示されます。
Azureでのデプロイ
Keyvaultの作成
OpenShiftのインストールにはansibleを利用します。bationサーバからMaster/Nodeに鍵認証でアクセスするため、事前にkeyvaultを作成します。
- RSA の鍵作成
% ssh-keygen
- 作成した鍵を使って Secret 登録
% az group create --name examplegroup --location 'South Central US’ % az keyvault create \ --name myvault \ --resource-group examplegroup\ --location 'South Central US' \ --enabled-for-template-deployment true % az keyvault secret set --vault-name myvault --name mysecret --file ./id_rsa
OpenShiftのデプロイ
Market PlaceからBYOLのテンプレートの選択 検索キーワードに"OpenShift"を入力して検索し、「Red Hat OpenShift Container Platform (BYOL)」を選択します。
ウィザード開始 テンプレートの詳細を確認し、画面下部の"Create"ボタンをクリックしてウィザードを開始します。
パラメータ入力
1 Basic Configure basic settings
以下のパラメータを入力します。
| # | パラメータ名 | 値 | 備考 |
|---|---|---|---|
| 1 | VM Admin UserName | clusteradmin | 仮想サーバへSSHでログインするためのユーザを指定 |
| 2 | SSH Public Key for VM Admin User | 仮想サーバへSSHでログインするための公開鍵を指定 | |
| 3 | Subscription | 利用可能なAzureのサブスクリプションをプルダウンメニューから選択 | |
| 4 | Resource group | OpenShiftをデプロイするResource Groupを指定。keyvaultとは異なるResource Groupを指定 | |
| 5 | Location | VMをデプロイするリージョンを指定 |
2 Infrastructure Settings Confgure Infrastructure settings
以下のパラメータを入力します。
| # | パラメータ名 | 値 | 備考 |
|---|---|---|---|
| 1 | OCP Cluster Name Prefix | ocpcluster | |
| 2 | OpenShift Cluster Size | Small | Small, Medium, Large からクラスタサイズを選択 |
| 3 | Key Vault Resource Group Name | Keyvaultを作成したResource Groupを指定 | |
| 4 | Secret Name | Keyvaultに登録したSecret名を指定 |
3 OpenShift Container Platform Configure OpenShift Container Plartform
Azure Disk 利用の設定があるので、追記を読んでください！！！
| # | パラメータ名 | 値 | 備考 |
|---|---|---|---|
| 1 | OpenShift Admin User Password | OpenShiftの管理コンソールへログインするユーザ(system:admin権限を保持）のパスワードを指定する) | |
| 2 | Confirm OpenShift Admin User Password | 上記のパスワードと同じものを入力 | |
| 3 | Red Hat Subscription Manager User Name or Activation Key | Red Hat Customer Portalへのログインに利用するユーザ名またはActivationKey | |
| 4 | Red Hat Subscription Manager User Password or Org ID | Red Hat Customer Portalへのログインに利用するパスワードまたはOrg ID | |
| 5 | Red Hat Subscription Manager Pool ID | Subscriptionに紐づけられたPoolID | |
| 6 | Default Router Subdomain | アプリケーションのRouterに利用するサブドメンをプルダウンから指定 |
4 Summary
内容を確認して"OK"ボタンをクリックしてデプロイを開始します。
デプロイが完了すると、Bastionノード、Masterサーバ、InfranodeサーバとNodeサーバが2台います。
おまけ
basion サーバには、OpenShiftのインストール時に利用するインベントリファイルが保存されています。内容はこんな感じです。 IPアドレスは 00.00.00.00 に書き換えています。
# Create an OSEv3 group that contains the masters and nodes groups
[OSEv3:children]
masters
nodes
master0
new_nodes
# Set variables common for all OSEv3 hosts
[OSEv3:vars]
ansible_ssh_user=clusteradmin
ansible_become=yes
openshift_install_examples=true
deployment_type=openshift-enterprise
openshift_release=v3.6
docker_udev_workaround=True
openshift_use_dnsmasq=True
openshift_master_default_subdomain=00.00.00.00.nip.io
openshift_override_hostname_check=true
#osm_use_cockpit=false
os_sdn_network_plugin_name='redhat/openshift-ovs-multitenant'
console_port=443
openshift_cloudprovider_kind=azure
osm_default_node_selector='type=app'
openshift_disable_check=memory_availability,docker_image_availability
# default selectors for router and registry services
openshift_router_selector='type=infra'
openshift_registry_selector='type=infra'
openshift_master_cluster_hostname=masterdnszwtikzua45vga.koreacentral.cloudapp.azure.com
openshift_master_cluster_public_hostname=masterdnszwtikzua45vga.koreacentral.cloudapp.azure.com
openshift_master_cluster_public_vip=00.00.00.00
# Enable HTPasswdPasswordIdentityProvider
openshift_master_identity_providers=[{'name': 'htpasswd_auth', 'login': 'true', 'challenge': 'true', 'kind': 'HTPasswdPasswordIdentityProvider', 'filename': '/etc/origin/master/htpasswd'}]
# Setup metrics
openshift_hosted_metrics_deploy=false
#openshift_metrics_cassandra_storage_type=dynamic
openshift_metrics_start_cluster=true
openshift_metrics_hawkular_nodeselector={"type":"infra"}
openshift_metrics_cassandra_nodeselector={"type":"infra"}
openshift_metrics_heapster_nodeselector={"type":"infra"}
openshift_hosted_metrics_public_url=https://metrics.00.00.00.00.nip.io/hawkular/metrics
# Setup logging
openshift_hosted_logging_deploy=false
#openshift_hosted_logging_storage_kind=dynamic
openshift_logging_fluentd_nodeselector={"logging":"true"}
openshift_logging_es_nodeselector={"type":"infra"}
openshift_logging_kibana_nodeselector={"type":"infra"}
openshift_logging_curator_nodeselector={"type":"infra"}
openshift_master_logging_public_url=https://kibana.00.00.00.00.nip.io
# host group for masters
[masters]
ocpcluster-master-0
[master0]
ocpcluster-master-0
# host group for nodes
[nodes]
ocpcluster-master-0 openshift_node_labels="{'type': 'master', 'zone': 'default'}" openshift_hostname=ocpcluster-master-0
ocpcluster-infra-0 openshift_node_labels="{'type': 'infra', 'zone': 'default'}" openshift_hostname=ocpcluster-infra-0
ocpcluster-node-0 openshift_node_labels="{'type': 'app', 'zone': 'default'}" openshift_hostname=ocpcluster-node-0
ocpcluster-node-1 openshift_node_labels="{'type': 'app', 'zone': 'default'}" openshift_hostname=ocpcluster-node-1
# host group for adding new nodes
[new_nodes]
追記
2018-02-27
Azure Disk をストレージとして利用するため Cloud Provider の設定が必要となりました。 ウィザードの3番目で、以下のパラメータを設定する必要があります。
| # | パラメータ名 | 値 |
|---|---|---|
| 1 | Confiure Azure Cloud Provider | Yes |
| 2 | Azure AD Service Principal Client ID GUID | Azure AD Service Principal Client ID GUID - also known as AppID |
| 3 | Azure AD Service Principal Client ID Secret | Azure AD Service Principal Client ID Secret |
手順はこちらを参照してください。
- OpenShift in Azure prerequisites | Microsoft Docs
- Create identity for Azure app in portal | Microsoft Docs
私の場合、1番目の方法で azure cli でうまくいかなかったので、2番目の方法で azure portal から設定しました。
1. Azure AD でアプリケーションを登録
Create identity for Azure app in portal | Microsoft Docs
| # | パラメータ名 | 値 |
|---|---|---|
| 1 | Name | openshiftsp |
| 2 | Application Type | Web app/API |
| 3 | Sign-on URL | https://openshiftsp |
2. アプリケーションIDと認証キーの作成
Create identity for Azure app in portal | Microsoft Docs
Azure AD に登録したアプリケーション（ここでは openshiftsp）の Application ID を、ウィザードの"Azure AD Service Principal Client ID GUID"パラメータに設定します。
Key を保存した時にVALUEに表示される値を、ウィザードの"Azure AD Service Principal Client ID Secret"パラメータに設定します。
3. アプリケーションへの権限付与
Create identity for Azure app in portal | Microsoft Docs
Azure AD に登録したアプリケーション（ここでは openshiftsp）に Contributor の権限を付与します。
Masterサーバに /etc/azure/azure.conf というファイルができています。
{"aadClientSecret": "ウィザードで指定した Application Secret",
"aadClientID": "ウィザードで指定した Application ID",
"tenantID": "Azure AD の Directory ID",
"resourceGroup": "ウィザードで指定したリソースグループ名",
"location": "ウィザードで指定したリージョン",
"subscriptionID": "Azure のサブスクリプションID"}
HA構成のOpenShift on Azure で Cockpit を有効にする
Cockpit を利用するとOpenShiftに作成したプロジェクトやコンテナを横断的に管理することができます。
Cockpitのインストール手順は以下を参照してください。
- Cockpit integration with Openshift 3 - Red Hat Customer Portal
- Webベースのグラフィカルモニタリングツールcockpitをセットアップする - nekop's blog
ちょっとした動作確認で、All in One 構成の場合は上記の手順通りで簡単に利用できるのですが、Azure上にHA構成で構築している場合はLBの設定などに変更が必要です。
Azureの設定変更
Inboudセキュリティルールの追加
Masterサーバのネットワークセキュリティグループ(masterSubnetNSG)に Inboundのポートを追加します。
- リソースグループのOverview画面でmasterSubnetNSGを選択
- masterSubnetNSGのSettingsメニューからInbound security rulesを選択
- 画面上部の「+Add」ボタンをクリックしてルールを追加
| 項目名 | 値 |
|---|---|
| Name | cockpit |
| Priority | 変更せず |
| Source | Any |
| Service | Custom |
| Protocol | TCP |
| Port range | 9090 |
| Action | Allow |
LBのルールの追加
Masterサーバ用のロードバランサ(masterLB)に9090ポートへのロードバランスルールを追加します。
- リソースグループのOverview画面でmasterLBを選択
- masterLBのSettingsメニューからLoad balancing rulesを選択
- 画面上部の「+Add」をクリックしてルールを追加
| 項目名 | 値 |
|---|---|
| Name | cockpitRule |
| IP Version | IPv4 |
| Frontend IP address | masterLBFrontEndを選択 |
| Protocol | TCP |
| Port | 9090 |
| BackendPort | 9090 |
| Backend pool | 変更せず |
| TcpProbe(TCP:8443) | 変更せず |
| Session persistence | None |
ユーザ設定
Cockpitのログインユーザが、OpenShiftのクラスタ情報にアクセスできるように設定します。 ここでは myadmin とユーザで設定します。
ユーザ作成
myadmin ユーザが各Nodeに鍵認証でログインできるように設定します。
作業対象：全サーバ
- myadmin ユーザを作成
- myadmin ユーザの鍵を配布
- myadmin ユーザのパスワード設定（ここで設定したパスワードは、Cockpitのログインで使います）
myadminユーザの設定
myadminユーザが system:admin 権限で OpenShift のクラスタ管理ができるようにします。
作業対象：Masterサーバ
- /etc/origin/master/admin.kubeconfig ファイルを ~myadmin/.kube/config ファイルにコピー
cp /etc/origin/master/admin.kubeconfig ~myadmin/.kube/config
あとは、cockpit の管理画面にブラウザでアクセスすれば、OpenShiftのNodeやコンテナの情報が参照可能になります。
OpenShift 3 Online がリリース
OpenShift Online が v3 に対応し、無償で OpenShift の最新版が使えるようになりました。ということで、今回はエントリ方法を紹介します。
OpenShift Onlineとは
OpenShift Onlineは、Red Hat が管理運用している Public な OpenShift Container Platform の環境です。Free Plan も用意されているので、OpenShift を開発者として利用したい場合には非常に便利です。
利用プラン
まずは、Free Planがリリースされました。 Free Plan では、Project(Kubernetes の Namespace を拡張した概念）を一つ作成することができます。Web App, DB, Jenkins を使ったCI/CDを試すには十分でしょう。今後、有償プランもリリースされていく予定です。
使えるアプリケーション
アプリケーションの実行環境を選択するテンプレートがカテゴリ別に用意されています。テンプレートでは、プログラミング言語の単体の実行環境や、Data Store と連携させるテンプレートなどが提供されています。
プログラミング言語
- Java
- OpenJDK1.8、Red Hatがエンタープライズ向けに提供しているTomcat 7/8 であるRed Hat JBoss Web Server、Red Hat JBoss EAP のアップストリーム版である WildFly
- Java Script
- Node.jsの実行環境と、Node.js + MongoDB の実行環境
- .NET
- .NET Core 1.1
- Perl
- Perl5の実行環境と、Dancer サンプルアプリケーション + MySQL の実行環境
- PHP
- PHP7の実行環境と、CakePHPサンプルアプリケーション + MySQLの実行環境、Laravel サンプルアプリケーション + MySQL の実行環境
- Python
- Python3.5の実行環境と、Djangoサンプルアプリケーション + PostgreSQLの実行環境
- Ruby
- Ruby2.3の実行環境と、Railsサンプルアプリケーション+ PostgreSQLの実行環境
テクノロジ
- CI/CD
- Jenkins2.0の実行環境
- Data Store
- MariaDB、MongoDB、MySQL、PostgreSQL、Redisの実行環境
ユーザ認証
ユーザ認証は、Red Hat Customer Portal のアカウントの他に、Github.com、JBoss Developerといった開発者系のWebアカウントのほか Twitter、FacebookなどのSNSでの認証も可能になっています。
使ってみよう
パート1 エントリ
(1)OpenShift OnlineのURLにアクセス
https://www.openshift.com/にアクセスし、画面右上部のSIGN UP FOR FREEをクリックします。
(2)ログイン画面からサインアップ
画面中央のLOGIN WITH RED HATをクリックしサインアップ画面に遷移します。
(3)認証方式を選択します
Red Hatのカスタマーポータルのアカウントでログインする場合
| フィールド名 | 説明 |
|---|---|
| Email address or other Red Hat Login ID | Red Hatのカスタマポータルで利用しているE-Mailアドレス |
| Password | パスワード |
SNSのアカウントなどで認証を行う場合は、画面を下にスクロールし連携させたい外部のサービスを選択します。
ここからプラン選択のウィザードでプランを選択していきます。
(4)プラン選択
FREE プランなので、画面下部のFREEボタンをクリックします。
(5)リージョン選択
ここも選択肢がないので、画面下部のUS East (Virginia)ボタンをクリックします。
(6)プランの確認
選択したプランの内容を確認し、画面下部のConfirm subscriptionボタンをクリックします。
アカウントプロビジョニング中の画面が表示されます。
少し待ってからリロードし、Open Web Consoleボタンをクリックして、OpenShift OnlineのWebコンソール画面に遷移します。
Azure Container RegistryのDocker Imageを指定してデプロイ
せっかくOpenShiftをAzureにデプロイしているので、Azureのサービスを活用した仕組みを作ってみました。
Azure Container Registryからコンテナイメージを取得するようにしておけば、危険かもしれない野良コンテナを持ち込まれないようにすることも可能になります。 また、社内のコンテナリポジトリで標準化されたコンテナイメージを配布する仕組みがあれば、OpenShift上でもローカルで実行する場合でも環境を統一することができます。
Azure Container Registry に Wildfly イメージを登録
docker hub から wildfly のコンテナイメージを取得して、Azure Container Repository に pushします。
docker pull docker.io/jboss/wildfly docker tag docker.io/jboss/wildfly xxxregistry-on.azurecr.io/komizoregistry/wildfly docker login xxxregistry-on.azurecr.io docker push xxxregistry-on.azurecr.io/komizoregistry/wildfly
OpenShift にアプリケーションをデプロイ
今回デプロイする Wildfly のコンテナイメージは、root ユーザーで実行されるようになっているので、特権コンテナとして実行するための設定と、Azure Container Registry へのアクセスに認証が必要になるのでsの設定も必要です。
プロジェクトの作成
oc new-project extrepo
Secret の作成
Azure Container Registory にアクセスするための認証情報を登録します。 docker login すると、ホームディレクトリの配下に認証情報のファイルが作成れます。 Docker version 1.12.5, build 047e51b/1.12.5 では、~/.docker/config.json ファイルです。
この認証情報を利用して、OpenShift から Azure Container Registry にアクセスするためのSecretを作成します。
oc secrets new external-registry .dockerconfigjson=docker-config.json
特権コンテナの実行を許可
OpenShiftのMasterサーバーで、クラスタ管理者(system:admin)でポリシーを設定します。
oadm policy add-scc-to-group anyuid system:serviceaccounts:extrepo
Secret を設定
oc secrets add serviceaccount/default secrets/external-registry --for=pull
コンテナイメージのpullにsecretが設定されたことを確認します。
$ oc describe serviceaccount/default
Name: default
Namespace: extrepo
Labels: <none>
Image pull secrets: default-dockercfg-8tmb3
external-registry
Mountable secrets: default-token-miful
default-dockercfg-8tmb3
Tokens: default-token-c36r2
default-token-miful
コンテナイメージを指定してデプロイ
アプリケーションをデプロイして、URL でアプリケーションを公開できるようにRouteを作成します。
oc new-app --docker-image=xxxregistry-on.azurecr.io/komizoregistry/wildfly:latest oc expose wildfly
