Azure IoT Central でX509のデバイス認証

Azure IoT Central

Azure Iot Centralは、Azure で提供されている IoT を実現するためのSaaS (Software as a Service) プラットフォームです。デバイスさえあれば、テレメトリデータを蓄積、可視化、また、閾値を超えたらメールを送信するなどのアクションを簡単に設定することができます。 しかも、5デバイスまでならば無料で利用できるというプライスモデルで、何ができるかな?と迷っている方もお手軽に始められるところがすごい!

IoT Central は、Azure IoT Hub Device Provisioning Service を利用して、デバイスの認証と管理を行なっています。

f:id:akubicharm:20190508173711p:plain
https://docs.microsoft.com/ja-jp/azure/iot-dps/about-iot-dps

IoT Central にルート証明書、中間証明書を登録し、デバイスにはリーフ証明書とデバイスのプライベートキーとなる証明書を配置することによって、X.509 認証が利用可能になります。

Azure IoT Central のデプロイ

まずは、Azure IoT Central をデプロイします。ボタンを数回クリックするだけで5分くらいで自分専用のIoTの環境が出来上がります。

1. https://apps.azureiotcentral.com/ にアクセスします
2. "新しいアプリケーション" をクリックします

f:id:akubicharm:20190506162516p:plain:w300

3. アプリケーションの作成画面で、アプリケーション作成の情報を入力し"作成"ボタンをクリックします
名称
支払いプランの選択 評価版
アプリケーションテンプレートを選択する サンプルDevkits
Configure your application - アプリケーション名 適当な名称
Configure your appilcation - URL 一意になるFQDN

f:id:akubicharm:20190506163048p:plain:w600

デプロイが終わると、こんなダッシュボードが見えるようになります。既存のテンプレートではシミュレーションデバイスがすでに登録された状態になっています。

f:id:akubicharm:20190506163727p:plain:w600

Azure IoT Central の証明書の作成と登録

証明書の作成スクリプトが提供されているので、そのスクリプトを利用して証明書を作成していきます。

https://github.com/Azure/azure-iot-sdk-c/blob/master/tools/CACertificates/CACertificateOverview.md に記載の手順に沿って、証明書を作成します。

以下は、Bash での作成手順ですので、Power Shell を利用する場合は上記サイトを参照してください。

1. Azure IoT SDKをダウンロードします
方法1: ZIP 形式でダウンロードする場合

(1) https://github.com/Azure/azure-iot-sdk-c にブラウザでアクセスします

(2) 画面右上の"Clone or Download"のプルダウンメニューをクリックし、"Download ZIP" をクリックします

f:id:akubicharm:20190508120713p:plain:w600

(3) ダウンロードしたファイルを展開します

方法2: git clone する場合
git clone https://github.com/Azure/azure-iot-sdk-c
2. 証明証作成の環境を準備します

作業用ディレクトリを作成し、移動します。

mkdir work
cd work

azure-iot-sdk-c/tools/CACertificates/ から *.cnf, *.shファイルをコピーし、シェルスクリプトchmod コマンドで実行可能にします。

cp [ダウンロードしたディレクトリ]/azure-iot-sdk-c/tools/CACertificates/*.cnf .
cp [ダウンロードしたディレクトリ]/azure-iot-sdk-c/tools/CACertificates/*.sh .
chmod 700 certGen.sh
3. ルート証明書を作成します
./certGen.sh create_root_and_intermediate

たくさん新しいディレクトリやファイルが作成されていますが、ここから利用していくのは certs/ ディレクトリと private/ ディレクトリにあるファイルです。

4. IoT Centralへルート証明書を登録します

(1) IoT ポータル画面のメニューで"管理→デバイス接続"をクリックします

(2) 管理画面の資格情報エリアで"証明書(X.509)"タブを選択し、フォルダーアイコンのボタンをクリックします

f:id:akubicharm:20190508121215p:plain:w600

(3) ファイル選択ダイアログでルート証明書のファイル certs/azure-iot-test-only.root.ca.cert.pem を選択します

(4) 証明書の確認のために、歯車のボタンをクリックします

f:id:akubicharm:20190508131314p:plain:w600

(5) 証明書の確認ダイアログでリロード(丸い矢印)ボタンをクリックして、確認コードを生成します

f:id:akubicharm:20190508132612p:plain:w600

(6) コピーボタンをクリックして、確認コードをコピーします

f:id:akubicharm:20190508132730p:plain:w600

(7) 中間証明書を作成します

./certGen.sh create_verification_certificate [コピーした確認コード]

(8) 証明書の確認ダイアログに戻って"確認"ボタンをクリックし、ファイル選択ダイアログでcerts/verification-code.cert.pem を選択します

f:id:akubicharm:20190508132922p:plain:w600

(9) 証明書の確認ダイアログの上部に「確認済み」と表示されたことを確認して "Close" ボタンをクリックします

f:id:akubicharm:20190508132955p:plain:w600

バイス登録の準備

以降では、IoT Central用のサンプルプログラム(Python)を利用しますので、IoT Central 用の Python ライブラリが必要です。

1. デバイス用の証明書を作成します
./certGen.sh create_device_certificate mydevice
cd ./certs && cat new-device.cert.pem azure-iot-test-only.intermediate.cert.pem azure-iot-test-only.root.ca.cert.pem > new-device-full-chain.cert.pem

以下のファイルが新たに作成されています。

  • certs/new-device-full-chain.cert.pem
  • private/new-device.key.pem

スクリプト内に証明書ファイルのプレフィックスが固定で new-device と指定されていますので、ファイル名を可変にしたい場合はスクリプトを書き換えてください。

2. 証明書をデバイスにコピーします

次の2つのファイルをデバイス/usr/local/share/ca-certificates ディレクトリにコピーします。

  • certs/new-device-full-chain.cert.pem
  • private/new-device.key.pem
3. デバイスへのパッケージのインストール(Ubuntuの場合)
sudo apt -y update
sudo apt -y install python-pip
4. IoT Central の python ライブラリをインストールします
pip install iotc
5. クライアントプログラムをダウンロードします

github で公開されているサンプルプログラムをダウンロードします。

wget https://raw.githubusercontent.com/Azure/iot-central-firmware/master/RaspberryPi/app.py
6. X.509 認証ができるようにプログラムを編集します

編集前

    8 deviceId = "DEVICE_ID"
    9 scopeId = "SCOPE_ID"
   10 deviceKey = "PRIMARY/SECONDARY device KEY"
   11
   12 iotc = iotc.Device(scopeId, deviceKey, deviceId, IOTConnectType.IOTC_CONNECT_SYMM_KEY)
  • deviceId : IoT Central に登録される時に利用されるデバイスID

  • scopeId : Device Provisioning Service の識別ID。IoT Central のポータルのメニューで"管理→デバイス接続"をクリックして確認できます。 f:id:akubicharm:20190508135555p:plain

  • deviceKey : デバイスに接続するためのキー情報。ここでは、X.509認証に利用する keyfile と certfile のファイルのパスを指定するように変更します。

編集後

     8 deviceId = "dev01"
     9 scopeId = "0ne00057EA0"
    10 deviceKey = {
    11      "keyfile": "/usr/local/share/ca-certificates/private/new-device.key.pem",
    12     "certfile": "/usr/local/share/ca-certificates/certs/new-device-full-chain.cert.pem"
    13 }
    14 
    15 iotc = iotc.Device(scopeId, deviceKey, deviceId, IOTConnectType.IOTC_CONNECT_X509_CERT)

バイスからAzure IoT Centralへの接続

バイスをIoT Cenrtralに登録する方法は2つあります。

  • IoT Centralのポータルで事前登録
  • バイスがアクセスした時に自動登録

方法1: IoT Cenrtralのポータルで事前登録

1. デバイスエクスプローラーでデバイスを登録します

(1) IoT Centralのポータルの左Paneのメニューで "デバイスエクスプローラー" をクリックします

(2) エクスプローラーのテンプレート一覧で "Raspberr Pi (1.0.0)" をクリックします

(3) 右Pane上部の "+" プルダウンメニューの "実際" をクリックします

f:id:akubicharm:20190508140325p:plain

(4)新しいデバイスの作成画面でパラメータを入力し、"作成" をクリックします

f:id:akubicharm:20190508140453p:plain

2. サンプルプログラムを実行します
python app.py

以下のようなログが出力されれば接続成功です。

(1557297237.393921, '- iotc :: connect :: ')
(1557297239.495437, u'- iotc :: _loopAssign :: https://global.azure-devices-provisioning.net/0ne00058A7C/registrations/dev02/operations/4.99da589eb420cb29.8b56c569-372e-4507-ac92-3aba25128ddf?api-version=2018-11-01')
(1557297240.164666, u'- iotc :: _mqttConnect :: iotc-d1c9a56c-8bb6-4db4-9ff5-99c16448cb13.azure-devices.net')
(1557297240.166233, ' - iotc :: _mqttconnect :: created mqtt client. connecting..')
(1557297241.019479, 'mqtt-log : Sending CONNECT (u1, p0, wr0, wq0, wf0, c1, k120) client_id=dev02')
(1557297241.35323, 'mqtt-log : Received CONNACK (0, 0)')
(1557297241.353464, '- iotc :: _onConnect :: rc = 0')
(1557297241.353711, ' - iotc :: _mqttconnect :: on_connect must be fired. Connected ? True')

>>> 中 略  <<<
(1557297242.355496, "mqtt-log : Sending PUBLISH (d0, q0, r0, m6), '$iothub/twin/GET/?$rid=0', ... (1 bytes)")
(1557297242.355664, '- iotc :: MAKE_CALLBACK :: ConnectionStatus')
- [onconnect] => status:0
(1557297242.355846, '- iotc :: _onPublish :: None')
(1557297242.355868, '- iotc :: MAKE_CALLBACK :: MessageSent')
    - [onmessagesent] =>  
(1557297242.53629, u"mqtt-log : Received PUBLISH (d0, q0, r0, m0), '$iothub/twin/res/200/?$rid=0', ...  (276 bytes)")
(1557297242.536373, '- iotc :: _onMessage :: topic($iothub/twin/res/200/?$rid=0) payload({\r\n  "desired": {\r\n    "setCurrent": {\r\n      "value": 0\r\n    },\r\n    "setVoltage": {\r\n      "value": 0\r\n    },\r\n    "fanSpeed": {\r\n      "value": 0\r\n    },\r\n    "activateIR": {\r\n      "value": false\r\n    },\r\n    "$version": 1\r\n  },\r\n  "reported": {\r\n    "$version": 1\r\n  }\r\n})')

方法2: デバイスがアクセスした時に自動登録

1. サンプルプログラムを実行します
python app.py

以下のようなログが出力されて、サンプルプログラムが終了します。

(1557297143.836877, '- iotc :: connect :: ')
(1557297145.821161, u'- iotc :: _loopAssign :: https://global.azure-devices-provisioning.net/0ne00058A7C/registrations/dev02/operations/4.99da589eb420cb29.60660343-17b9-44c0-b940-baba1c034dbb?api-version=2018-11-01')
(1557297149.346818, u'- iotc :: _loopAssign :: https://global.azure-devices-provisioning.net/0ne00058A7C/registrations/dev02/operations/4.99da589eb420cb29.60660343-17b9-44c0-b940-baba1c034dbb?api-version=2018-11-01')
(1557297149.856327, "ERROR : (_mqttConnect) DPS L => {u'status': u'failed', u'registrationState': {u'status': u'failed', u'registrationId': u'dev02', u'lastUpdatedDateTimeUtc': u'2019-05-08T06:32:26.1041395Z', u'errorMessage': u'Custom allocation failed with status code: 401', u'createdDateTimeUtc': u'2019-05-08T06:32:25.9595725Z', u'errorCode': 400209, u'etag': u'IjAwMDA2OTFmLTAwMDAtMDEwMC0wMDAwLTVjZDI3N2ZhMDAwMCI='}, u'operationId': u'4.99da589eb420cb29.60660343-17b9-44c0-b940-baba1c034dbb'}")
2. IoT Centralのポータルでデバイスを確認します

(1) IoT Centralのポータルの左Paneで "デバイスエクスプローラー" をクリックします

(2) エクスプローラで "関連付けが解除されているデバイス" をクリックします

(3) デバイスチェックボックスをチェックして、右上の "関連付け" ボタンをクリックします

f:id:akubicharm:20190508144508p:plain

(4) デバイスを関連づけるダイアログでテンプレートを選択し、"関連付け" をクリックします f:id:akubicharm:20190508144618p:plain

3. 再度、サンプルプログラムを実行します
python app.py

参考

Azure Stream Analytics のクエリのTips 〜 JSON の配列を扱う方法〜

Azure Stream Analyticsとは

Azure Stream Analyticsは、SQL 風のシンプルな言語を使用して、IoT または非 IoT の複数のデータ ストリームに対する超並列のリアルタイム分析を簡単に開発および実行できます。(Stream Analytics - リアルタイム データ分析 | Microsoft Azure から引用)

f:id:akubicharm:20180927182425p:plain

データ分析のためのクエリ

IoTのデバイスなどから収集したデータを分析するクエリは SQL のように記述できるので、SQLを書いたことがある人ならはブスに理解できます。また、入力データのフォーマットにはJSON、 Avro、CSVを想定しているので、それらを簡単に処理するための組み込み関数などがいくつか用意されています。

今回は、入れ子要素の扱い方とJSON の配列データを扱う方法を紹介します。

入れ子要素の扱い

Stream Analytics のクエリでは、JSON入れ子データは「.」連結で簡単に取得することができます。 例えば、下記のようなデータが IoT Hub からStream Analyticsに送られてくる場合

{"id": "001",  "person":  {"name": "taro", "age": 20}}

person の入れ子要素のname、ageを取得するためのクエリは以下のようになります。

SELECT
  id
, person.name
, person.age
INTO
  [blob]
FROM
  [iothub]

配列要素の扱い

JSON の要素が配列の場合は、組み込み関数を利用して配列要素を取り出して、フラットなデータとして扱うためにGetArrayElements 関数とAPPLY句を利用します。

GetArrayElements関数

文法

GetArrayElements (配列要素のキー)

GetArrayElements関数で配列要素のキーを指定することで、配列要素を一行のデータとして扱うことができるようになります。 GetArrayElements関数で配列要素を取得すると、配列のインデックス(ArrayIndex)と配列の要素(ArrayValue)として値を取得することができます。

APPLY句

文法

FROM (入力ソースまたは入力ソースのエリアス)
{CROSS |OUTER} APPLY (配列要素)AS (配列要素のエリアス)

配列要素には GetArrayElements(配列要素のキー)を指定します。 配列要素の値を参照する場合には、SELECT句で(配列要素のエリアス).(要素名)と指定します。

APPLYには、CROSS APPLYとOUTER APPLYがあります。

  • CROSS APPLY : SQLの INNER JOINと同じでデータがある場合のみ取得可能です。
  • OUTER APPLY : SQLのOUTER JOINと同じでデータがない場合はNULL値が返ります。

以下のような入れ子の配列データを扱う方法を見ていきましょう。

[
{
 "id": "001",
 "data": [
    {"sub": 1001, "name": "alpha001"},
    {"sub": 2001, "name": "bravo001"},
    {"sub": 3001, "name": "charly001"}
  ]
},
{
 "id": "002",
 "data":[
    {"sub": 2, "name": "bravo"}
  ]
},
{
 "id": "003",
 "dummy": [
    {"sub": 3, "name": "charly"}
  ]
}
]

INNER JOIN風な使い方

配列の要素をINNER JOINして利用する場合には、CROSS APPLY句を利用します。下記のサンプルでは、

8行目で、GetArrayElements関数で入力となるJSONからdata要素を配列として取得し、arrayElementというエリアスで参照できるようにしています。そして、id と取得したdata要素をJOINしています。

3行目では、配列要素として取得したdata要素の配列インデックスを取得しています。id=001のデータはdata要素配列は3なので、0, 1, 2 というインデックスが取得されます。

4-5行目では、配列要素として取得したdata要素の値を取得しています。

f:id:akubicharm:20180927202906p:plain

1:    SELECT  
2:        event.id,
3:        arrayElement.ArrayIndex, 
4:        arrayElement.ArrayValue.sub,
5:        arrayElement.ArrayValue.name
6:    into [blob] 
7:    FROM [iothubsim] as event 
8:    CROSS APPLY GetArrayElements(event.data) AS arrayElement

クエリの結果は、以下のようになります。

ID ARRAYINDEX SUB NAME
"001" 0 1001 "alpha001"
"001" 1 2001 "bravo001"
"001" 2 3001 "charly001"
"002" 0 2 "bravo"

OUTER JOIN 風な使い方

配列の要素をINNER JOINして利用する場合には、OUTER APPLY句を利用します。下記のサンプルでは、

8行目で、GetArrayElements関数で入力となるJSONからdata要素を配列として取得し、arrayElementというエリアスで参照できるようにしています。そして、id と取得したdata要素をOUTER JOINしています。

f:id:akubicharm:20180927203302p:plain

1:    SELECT  
2:        event.id,
3:        arrayElement.ArrayIndex, 
4:        arrayElement.ArrayValue.sub,
5:        arrayElement.ArrayValue.name
6:    into [blob] 
7:    FROM [iothubsim] as event 
8:    OUTER APPLY GetArrayElements(event.data) AS arrayElement

クエリの結果は、以下のようになります。

ID ARRAYINDEX SUB NAME
"001" 0 1001 "alpha001"
"001" 1 2001 "bravo001"
"001" 2 3001 "charly001"
"002" 0 2 "bravo"
"003" null null null

おわりに

SQLのように記述できる Stream Analytics のクエリの組み込み関数を上手く使えば、欲しいデータを簡単に取得することができます。 今回紹介した関数以外にも、配列を扱うための関数には GetArrayElementGetArrayLengthもありますので用途にあわせて使ってみてください。

OpenShift on Azureのデプロイ

Azure での OpenShift の前提条件 | Microsoft Docs の記載の手順にしたがってデプロイする方法を説明します。

OpenShift のデプロイ用の ARM のテンプレートは、cloud provider 設定ができるようになったりしているので Azure 側での事前準備が必要になりましたが、いくつかのコマンドを実行すれば良いだけなの案外簡単です。

OpenShift をデプロイするにあたって、事前準備でAzure CLI を利用します。リソースグループ名やロケーションなどを環境変数に設定しておけば、以降の手順を実行する際に各自好きな名称を設定しても、コピペで作業を進めていけるので、まず、各自で可変になりそうな値は環境数に設定します。

パラメータ名 説明
KVRG keyvaultrg Key Vault用のリソースグループ名
LOCATION eastus リージョン
KVNAME keyvault Key Vault名
SECNAME keysecret Secret名
OCPRG openshift OpenShiftをデプロイするリソースグループ名
OPENSHIFTSP openshiftsp+乱数OpenShift用のサービスプリンリプル サービスプリンリプルは、一位の名前である必要があるのでここでは乱数を付与するようにしていますが、任意の自分のアカウント名などをつけても良いです。

Bash を使っている場合は、次のコマンドを実行します。

export KVRG=keyvaultrg
export LOCATION=eastus
export KVNAME=keyvault
export SECNAME=keysecret
export OCPRG=openshift
export OPENSHIFTSP=openshiftsp$RANDOM

OpenShift をデプロイするための準備

1. CLI を使って azure portal にログイン

az login

2. OpenShiftをデプロイするリソースグループを作成

az group create --name $OCPRG --location $LOCATION

3. Key Vault を保持するリソースグループを作成(OpenShiftをデプロイするリソースグループとは別にする)

az group create --name $KVRG --location $LOCATION

4. Key Vault を作成

az keyvault create --resource-group $KVRG --name $KVNAME \
       --enabled-for-template-deployment true \
       --location $LOCATION

5. SSH キーの生成

ssh-keygen -f ~/.ssh/openshift_rsa -t rsa -N ''

6. Azure Key VaultにSSH秘密鍵を登録

az keyvault secret set --vault-name $KVNAME --name $SECNAME --file ~/.ssh/openshift_rsa

7. サービスプリンリパルの生成

az ad sp create-for-rbac --name $OPENSHIFTSP \
          --role Contributor --password "@dmin9999" \
          --scopes $(az group show --name $OCPRG --query id)

ここで The request did not have a provided subscription. All requests must have an associated subscription Id. というエラーが発生した場合は、--scopes で subscription が正しく取得できていません。その場合は、az group show --name $OCPRG --query id を実行し、そこで出力された値を--scopes のパラメータに利用してください。

az group show --name $OCPRG --query id
"/subscriptions/<数字がいっぱい>/resourceGroups/openshift"   ← 出力される文字列
az ad sp create-for-rbac --name openshiftspkeomizo --role Contributor --password "@dmin9999" --scopes "/subscriptions/<数字がいっぱい>/resourceGroups/openshift"

コマンドが成功すると、次のような文字列が出力されるのでメモ帳などにコピーしておく。

{
  "appId":  "9999999-9999-9999-9999-999999999999"",
  "displayName": "openshiftsp1234",
  "name": "http://openshiftsp1234",
  "password": "@dmin9999",
  "tenant": "9999999-9999-9999-9999-999999999999"
}

MarketplaceからOpenShiftをデプロイ

1. Azure PortalでOpenShiftのリソースグループを選択

f:id:akubicharm:20180905143647p:plain

2. リソース追加ボタンをクリック

f:id:akubicharm:20180905143853p:plain

3. 検索文字列に「OpenShift」を指定してテンプレートを選択

f:id:akubicharm:20180905144136p:plain

4. 下までスクロールして「Create」をクリックしてウィザードを開始

f:id:akubicharm:20180905144313p:plain

5. ウィザードのパラメータを入力

1. Basics

f:id:akubicharm:20180905145345p:plain

パラメータ名 説明
VM Admin User Name clusteradmin デフォルト値のまま変更なし
SSH Public Key for VM Admin User VMssh で接続する時の公開鍵
Subscription 適用するサブスクリプション 仮想サーバを9台デプロイできるだけの余裕があること!!!
Resource Group Use existingを選択。リソースグループ名は$OCPRGに設定した名称 空っぽのリソースグループであること
Location $LOCATIONに設定したリージョン
2. Infrastructure Settings

f:id:akubicharm:20180905145744p:plain

パラメータ名 説明
OCP Cluster Name Prefix ocpcluster デフォルト値のまま変更なし
Master Node Size 3 x Standard D4s V3 メモリ、CPUの要件に合わせて適宜変更。台数は奇数。
Infrastructure Node Size 3 x Standard ES2s v3 メモリ、CPUの要件に合わせて適宜変更
Number of Application Nodes 2 必要な台数に合わせて適宜変更
Application Node Size 2 x Standard D2s v3 メモリ、CPUの要件に合わせて適宜変更
Bastion Host Size 1 x Standard DS2 v2 デフォルト値のまま変更なし
Custom IP subnet No 変更なし
Key Vault Resource Group Name keyvaultrg 事前準備の手順4で指定した Key Vaultのリソースグループ名。$KVRG
Key Vault Name keyvault 事前準備の手順4で指定した Key Vault名。$KVNAME
Secret Name keysecret 事前準備の手順6で指定したsecret名。$SECNAME
3. OpenShift Container Platform Settings

f:id:akubicharm:20180905151311p:plain

パラメータ名 説明
OpenShift Admin User Password @dmin123 任意の文字列
Confirm OpenShift Admin User Password @dmin123
Red Hat SubscriptionManager User Name Red Hat Customer Portalに登録しているメールアドレス
Red Hat Subscription Manager User Password Red Hat Customer Portalに登録しているパスワード
Red Hat Subscription Manager OpenShift Pool ID Red Hatから割り当てられているサブスクリプションのPool ID
Configure Azure Cloud Provider Yes デフォルト値のまま変更なし
Azure AD Service Principal Client ID GUID 事前準備の手順7のサービスプリンシプルの作成で出力された AppID
Azure AD Service Principal Client ID Secret 事前準備の手順7:サービスプリンシプルの作成時に指定したパスワード
4. Additional Settings

f:id:akubicharm:20180905151845p:plain

パラメータ名 説明
Configure Cluster Logging No デフォルト値のまま変更なし。ロギングの設定はインストール後でもできます
Configure Metrics for the Cluster No デフォルト値のまま変更なし。メトリクスの設定はインストール後でもできます
Default Router Subdomein nipio デフォルト値のまま変更なし
5. Summary

バリデーションがパスしたら、「OK」ボタンをクリックします。 f:id:akubicharm:20180905152614p:plain

6. Buy

内容を確認して「Create」ボタンをクリックします。 f:id:akubicharm:20180905152736p:plain

6.完成を気長に待つ

1時間くらいはかかるので、気長に待ちましょう。

OpenShift にログイン

1. Master サーバのパブリックIPアドレスを選択

Azure PortalでOpenShiftのリソースグループを選択し、「master」から始まる Public IP address を選択します。 f:id:akubicharm:20180905153417p:plain

2. MasterサーバのDNS名を確認

詳細画面のDNS Nameをコピーします。

f:id:akubicharm:20180905153726p:plain

3.ブラウザでアクセス

コピーしたDNS Nameを利用してOpenShiftの管理コンソールにログインします。 管理コンソールは8443ポートではなく、443ポートで動作しています。

https://masterdnsxxxxxxxxxx.eastus.cloudapp.azure.com

4. clusteradmin でログイン

f:id:akubicharm:20180905154404p:plain

パラメータ名 説明
Username clusteradmin
Password OpenShiftデプロイのウィザード3: OpenShift Container Platform Settingsで指定したパスワード

5. コンソールの確認

この画面が表示されれば OK です。パチパチパチー。

f:id:akubicharm:20180905154749p:plain

ユーザ管理

マーケットプレイスからデプロイした場合は、ユーザ認証がhtpasswd形式になっています。ユーザを追加する場合は、masterサーバに配置されている/etc/origin/master/htpasswdファイルにユーザのエントリを追加します。

Azure AD を使って認証する方法は、 openshift-playground/AzureADAuthorization.md at master · akubicharm/openshift-playground · GitHub を参照してください。

備忘録:Windowsで管理者特権でコマンドを実行する方法

ドメインユーザではなくローカルの管理者としてコマンドプロンプトを起動すれば、管理者特権が必要なコマンドや.exeを実行できる。

powershell start-process cmd -verb runas

これで、ダイアログが表示されるので、ローカルの管理者ユーザとパスワードを入力

ユーザ:[ホスト名]¥Administrator

備忘録:OpenShift 3.7 を All in One でインストール

いつもAzureを使っているので、AWSも使ってみようと OpenShift の All in One の環境をデプロイした時のメモ。

AWSインスタンスへの設定

  • publicの固定IPを付与するために Elastic IPを設定
  • 管理コンソール(8443)、Web App(80, 443)のInbound accessを許可するためにSecurity Groupを設定

OpenShift のインストール

必要なパッケージのインストール

subscription-manager で登録した後は、必要なパッケージのインストール

subscription-manager repos --disable="*"
subscription-manager repos \
    --enable="rhel-7-server-rpms" \
    --enable="rhel-7-server-extras-rpms" \
    --enable="rhel-7-server-ose-3.7-rpms" \
    --enable="rhel-7-fast-datapath-rpms"


yum -y install wget git net-tools bind-utils iptables-services bridge-utils bash-completion kexec-tools sos psacct
yum -y update
yum -y install atomic-openshift-utils
yum -y install atomic-openshift-excluder atomic-openshift-docker-excluder
atomic-openshift-excluder unexclude


yum -y install docker


sed -i '/OPTIONS=.*/c\OPTIONS="--selinux-enabled --insecure-registry 172.30.0.0/16"' /etc/sysconfig/docker

systemctl enable docker
systemctl start docker

インベントリファイル

Docker用のストレージを作らなかったり、リソースが少なめだったりするので事前チェックをすり抜けるためのパラメータ openshift_disable_check=memory_availability,disk_availability,docker_storage  を設定

!!!本当は、ちゃんとシステム要件を満たすリソースを割りあてないとダメです!!!

[OSEv3:children]
masters
nodes
etcd

# Set variables common for all OSEv3 hosts
[OSEv3:vars]
# SSH user, this user should allow ssh based auth without requiring a password
ansible_ssh_user=ec2-user

# If ansible_ssh_user is not root, ansible_become must be set to true
ansible_become=true

openshift_deployment_type=openshift-enterprise

openshift_disable_check=memory_availability,disk_availability,docker_storage

openshift_master_default_subdomain=000.000.000.000.nip.io

# uncomment the following to enable htpasswd authentication; defaults to DenyAllPasswordIdentityProvider
openshift_master_identity_providers=[{'name': 'htpasswd_auth', 'login': 'true', 'challenge': 'true', 'kind': 'HTPasswdPasswordIdentityProvider', 'filename': '/etc/origin/master/htpasswd'}]

# host group for masters
[masters]
ec2-000-000-000-000.ap-northeast-1.compute.amazonaws.com

# host group for etcd
[etcd]
ec2-000-000-000-000.ap-northeast-1.compute.amazonaws.com

# host group for nodes, includes region info
[nodes]
ec2-000-000-000-000.ap-northeast-1.compute.amazonaws.com openshift_schedulable=true openshift_node_labels="{'region': 'infra', 'zone': 'default'}" openshift_public_hostname=ec2-000-000-000-000.ap-northeast-1.compute.amazonaws.com openshift_hostname=ip-172-31-000-000.ap-northeast-1.compute.internal

PV を NFS で提供

NFS サーバの設定

パッケージのインストール

yum -y install nfs-utils

NFS の設定

mkdir -p /var/export/pvs/pv{1..10}
chown -R nfsnobody:nfsnobody /var/export/pvs
chmod -R 2770 /var/export/pvs

for volume in pv{1..10} ; do
echo Creating export for volume $volume;
echo "/var/export/pvs/${volume} *(rw,sync,root_squash)" >> /etc/exports; done;

systemctl enable rpcbind nfs-server
systemctl start rpcbind nfs-server nfs-lock nfs-idmap
systemctl stop firewalld
systemctl disable firewalld

setsebool -P virt_use_nfs=true;

で、動作確認

ssh [クライアントIPアドレス]
mkdir /tmp/test
mount -v [NFSサーバ名]:/var/export/pvs/pv1 /tmp/test

umount /tmp/test
exit

詳細はこの辺を参照。 Using NFS - Configuring Persistent Storage | Installation and Configuration | OpenShift Container Platform 3.7

PV の作成

PV の定義作成

export volsize=1Gi

for volume in pv{1..10} ; do cat << EOF > ${volume}.yaml
{
"apiVersion": "v1", "kind": "PersistentVolume", "metadata": {
"name": "${volume}" },
"spec": { "capacity": {
"storage": "${volsize}" },
"accessModes": [ "ReadWriteOnce" ], "nfs": {
"path": "/var/export/pvs/${volume}",
"server": "$NFS_SERVER" },
"persistentVolumeReclaimPolicy": "Recycle" }
}
EOF
echo "Created def file for ${volume}"; done;

PVの作成

 for f in *.yaml; do oc create -f $f; done

 トラブルシューティング

Service Catalog がデプロイされない問題

Bug 1523625 – service catalog deployment fails

こんな感じで、kube-service-catalog プロジェクトの controller-manager がちゃんとデプロイされていない場合。

$ oc get po --all-namespaces
NAMESPACE                           NAME                                      READY     STATUS             RESTARTS   AGE
kube-service-catalog                controller-manager-8r8vt                  0/1       CrashLoopBackOff   19         1d

まずは、 oc logs controller-manager-8r8vt --previous で、ログを確認して証明書のエラーが発生している場合は、証明書を置き換えてあげる必要があります。

エラーの例

F1206 08:45:28.713230       1 controller_manager.go:198] error running controllers: failed to get supported resources from server: unable to retrieve the complete list of server APIs: servicecatalog.k8s.io/v1beta1: an error on the server ("Error: 'x509: certificate signed by unknown authority (possibly because of \"crypto/rsa: verification error\" while trying to verify candidate authority certificate \"service-catalog-signer\")'\nTrying to reach: 'https://172.30.72.245:443/apis/servicecatalog.k8s.io/v1beta1' ") has prevented the request from succeeding 

以下の手順で証明書を書き換えます。

cat /etc/origin/service-catalog/ca.crt | base64
=>結果をコピーして、1行にまとめておく

oc edit apiservice/v1beta1.servicecatalog.k8s.io
=>ca_bundleフィールドを置き換える

追記

2018-03-23

docker-1.12.x をインストールしているにもかかわらず、docker-1.13 のリポジトリが見えているというエラーが発生する場合は、openshift_disable_checkパラメータにpackage_versionを指定する。

openshift_disable_check=memory_availability,disk_availability,docker_storage,package_version

OpenShiftのトラブルシューティングの第一歩

現象によって調べるポイントは色々ありますが、トラブルシューティングの第一歩としてまずチェックしているログをご紹介します。

OS レベルでのログをチェック

journal の確認

OpenShift のマスタサーバでは、atomic-openshift-master-controllers、atomic-openshift-master-api と atomic-openshift-node というデーモンが動いてます。 ノードサーバでは、atomic-openshift-node が動いています。

v3.6 まではマスターサーバがシングル構成の場合は atomic-openshift-master というデーモンが動いていましたが、v3.7 からはシングルマスター構成の場合でも、HA構成と同様に2つのデーモンに別れました。

これらのデーモンの journal をチェックします。

journalctl -xe -f -u atomic-openshift-master-controllers
journalctl -xe -f -u atomic-openshift-master-api
journalctl -xe -f -u atomic-openshift-node

ログレベルの変更

ログの出力内容を増やして細かく調査したい場合には、ログレベルを変更します。ログレベルを変更する場合は、/etc/sysconfig ディレクトリにある atomic-openshift-master-controllers, atomic-openshift-master-api, atomic-openshift-node というファイルのログレベルを変更してデーモンを再起動します。例えば、atomic-openshift-master-controllers の再起動は

systemctl restart atomic-openshift-master-controllers

というコマンドを実行します。

設定可能なログレベルは、以下の通りです。

ログレベル 表示されるログ
0 Error と Warningのみ表示
2 デフォルトのログレベル。Information レベルのログを表示
4 Debug レベルのログを表示
6 Request/Response のAPIレベルのデバッグログを表示
8 Request/Response のボディレベルのデバッグログを表示

詳細は OpenShift のドキュメントのログレベルの設定を参照してください。

その他のデーモンのログレベルの変更

etcd などのログレベルの変更方法は、Red Hat のカスタマーポータルのナレッジを参照してください。

OC コマンドでのログ出力

OpenShift の CLI(Command Line Interface)の実行時に --loglevel=8 のようにログレベルを設定することで、REST のリクエストの内容を出力させることができます。

# oc whoami --loglevel=8
I0129 17:07:04.917363    9103 loader.go:357] Config loaded from file /root/.kube/config
I0129 17:07:04.918401    9103 round_trippers.go:383] GET https://master.example.com:8443/apis/user.openshift.io/v1/users/~
I0129 17:07:04.918434    9103 round_trippers.go:390] Request Headers:
I0129 17:07:04.918456    9103 round_trippers.go:393]     Accept: application/json, */*
I0129 17:07:04.918468    9103 round_trippers.go:393]     User-Agent: oc/v1.7.6+a08f5eeb62 (linux/amd64) kubernetes/c84beff
I0129 17:07:04.970330    9103 round_trippers.go:408] Response Status: 200 OK in 51 milliseconds
I0129 17:07:04.970359    9103 round_trippers.go:411] Response Headers:
I0129 17:07:04.970370    9103 round_trippers.go:414]     Cache-Control: no-store
I0129 17:07:04.970381    9103 round_trippers.go:414]     Content-Type: application/json
I0129 17:07:04.970404    9103 round_trippers.go:414]     Content-Length: 224
I0129 17:07:04.970415    9103 round_trippers.go:414]     Date: Mon, 29 Jan 2018 17:07:04 GMT
I0129 17:07:04.970522    9103 request.go:994] Response Body: {"kind":"User","apiVersion":"user.openshift.io/v1","metadata":{"name":"system:admin","selfLink":"/apis/user.openshift.io/v1/users/system%3Aadmin","creationTimestamp":null},"identities":[],"groups":["system:cluster-admins"]}
system:admin

アプリケーションのログをチェック

実行中のアプリケーションのログの確認

アプリケーションの動作がおかしい場合は、アプリケーションのPodのログをチェックします。 まずは、Pod名を確認します。

oc get pods

ログをチェックしたい Pod 名を指定して、Podのログを確認します。

oc logs app-2-n5jjz 

Crash Loopback になってしまうアプリケーションのログの確認

デプロイに失敗して、Crash Loopback になってしまった場合には、oc logs コマンドに --previous オプションを指定して起動しようとした時のログを確認します。

# oc get pods
NAME            READY     STATUS             RESTARTS   AGE
mysql-1-fd6p7   0/1       CrashLoopBackOff   3          2m
# oc logs mysql-1-fd6p7 --previous
error: database is uninitialized and password option is not specified 
  You need to specify one of MYSQL_ROOT_PASSWORD, MYSQL_ALLOW_EMPTY_PASSWORD and MYSQL_RANDOM_ROOT_PASSWORD

イベントをチェック

Pod のデプロイを開始したけど、ステータスが Pending のままだったり、Container Creating で止まってしまった場合は、コンテナが起動していないのでコンテナのログではなく、コンテナのイベントをチェックします。

oc get events

Azure と AWS上でOpenShiftをワンクリックでデプロイ - Azure 編 -

AWSとAzure 上で、テンプレートを利用して簡単にOpenShiftがデプロイできるようになったので、その方法を2回に分けてご紹介します。

BYOL を利用するメリット

OpenShift DedicatedのようなマネージドなOpenShift環境では、管理せずに利用することができるので、すぐに使いたいというニーズにあっています。一方で、インフラ管理面などは管理者に依存する部分もあるので、インフラを自由に構成することが難しいという点もあります。

インフラ構成や管理は自分たちでできるけど、構築の手間はかけずにすぐに環境が欲しいという場合には非常に有効な方法です。

作業の流れは、AWS、Azureのいずれの場合も 1. クラウドアクセスの登録 2. テンプレートを選択してデプロイ

まず、1回目はAzureへのデプロイ方法をご紹介します。

Azureでのインフラ構成

Azureでは3種類の構成が選択できるようになっています。

Small

シングルマスター構成の小さな環境です。まずは、ちょっと使ってみようという場合に手軽に利用できる環境です。

種別 ノード数
Master 1
Infranode 1
Application Node 2
Bastion Host 1
合計 5インスタンス, 10core

Medium

HA構成の小さな環境です。HA構成で使ってみようという場合に手軽に利用できる環境です。

種別 ノード数
Master 3
Infranode 2
Application Node 4
Bastion Host 1
合計 10インスタンス、38core

Large

HA構成で中くらいの環境です。HA構成である程度の数のアプリケーションを実行するために利用できる環境です。

種別 ノード数
Master 3
Infranode 2
Application Node 6
Bastion Host 1
合計 12インスタンス、70core

OpenShiftの構成

  • ユーザ認証
    認証方式はhtpasswdになっており、ファイルはMasterサーバの/etc/orign/master/htpasswdファイルです。 初期状態では、clusteradminというユーザにウィザードの3ステップ目で指定したOpenShift Admin User Passwordが設定されています。 OpenShiftの管理コンソールへログインするためのユーザ認証は、HTTDPassword方式になってoインストール直後はclusteradminユーザにウィザードで設定したパスワードが設定されています。

  • マスターサーバのホスト名
    Masterサーバにはクライアントからアクセスするためのパブリックなホスト名とIPアドレスが付与されています。 命名規則masterdns<暗号みたいな文字列>.<データセンターのリージョン名>.cloudapp.azure.comとなっています。

  • アプリケーションのサブドメイン
    <マスターサーバのIPアドレス>.nip.io

  • Persistent Storage
    Persistent Storageは作成されていないので、必要に応じて別途準備する必要があります。


構成などなどがわかったところで、BYOL(Bring Your Own License)のテンプレートを使ってAzureにOpenShiftをデプロイしていきましょう。

デプロイの準備

Red Hat Cloud Access への登録や、BYOLでのデプロイ途中で必要な情報を取得しておきます。

AzureのSubscription

Azure PortalにログインしてSubscriptionsを参照して、自分のSUBSCRIPTION IDをチェックします。

Red HatのSubscription

Subscriptionが割り当てられている Account と PoolID を確認します。

デプロイの作業

BYOLを利用してデプロイするには、2つのリソースグループを利用します。 一つはkeyvaultを登録しておくもの、もう一つはOpenShiftのクラスタを構築するものです。

Red Hat Cloud Accessの登録

Red Hat Cloud Access のサイトから登録します。 f:id:akubicharm:20171218165642p:plain

# パラメータ名 備考
1 Cloud Provider Microsoft Azure プルダウンメニューから選択
2 Microsoft Subscription Number/s Azure Portalで確認したSubscriptionIDを入力
3 Product Name 割り当てらているOpenShiftのサブスクリプションを選択
4 Quantity 必要な本数を設定。Azureの場合は、2coreモデルのサブスクリプションが適用されるので、必要な Core数の満たす分を登録。smallならばApplicationNodeは2core x 2ノードなので2です。ただし、検証用Subscriptionの場合には、Master/Infranode分が含まれていませんので、Small の場合 10core / 2 = 5本となります。

登録が完了すると証明書のような画面が表示されます。 f:id:akubicharm:20171218165711p:plain

Azureでのデプロイ

Keyvaultの作成

OpenShiftのインストールにはansibleを利用します。bationサーバからMaster/Nodeに鍵認証でアクセスするため、事前にkeyvaultを作成します。

  1. RSA の鍵作成
% ssh-keygen
  1. 作成した鍵を使って Secret 登録
% az group create --name examplegroup --location 'South Central US’
% az keyvault create \
  --name myvault \
  --resource-group examplegroup\
  --location 'South Central US' \
  --enabled-for-template-deployment true
% az keyvault secret set --vault-name myvault --name mysecret --file ./id_rsa

OpenShiftのデプロイ

  1. Market PlaceからBYOLのテンプレートの選択 検索キーワードに"OpenShift"を入力して検索し、「Red Hat OpenShift Container Platform (BYOL)」を選択します。 f:id:akubicharm:20171218165900p:plain

  2. ウィザード開始 テンプレートの詳細を確認し、画面下部の"Create"ボタンをクリックしてウィザードを開始します。 f:id:akubicharm:20171218165921p:plain

  3. パラメータ入力

1 Basic Configure basic settings

f:id:akubicharm:20171218165938j:plain

以下のパラメータを入力します。

# パラメータ名 備考
1 VM Admin UserName clusteradmin 仮想サーバへSSHでログインするためのユーザを指定
2 SSH Public Key for VM Admin User 仮想サーバへSSHでログインするための公開鍵を指定
3 Subscription 利用可能なAzureのサブスクリプションをプルダウンメニューから選択
4 Resource group OpenShiftをデプロイするResource Groupを指定。keyvaultとは異なるResource Groupを指定
5 Location VMをデプロイするリージョンを指定

2 Infrastructure Settings Confgure Infrastructure settings

f:id:akubicharm:20171218165951j:plain

以下のパラメータを入力します。

# パラメータ名 備考
1 OCP Cluster Name Prefix ocpcluster
2 OpenShift Cluster Size Small Small, Medium, Large からクラスタサイズを選択
3 Key Vault Resource Group Name Keyvaultを作成したResource Groupを指定
4 Secret Name Keyvaultに登録したSecret名を指定

3 OpenShift Container Platform Configure OpenShift Container Plartform

Azure Disk 利用の設定があるので、追記を読んでください!!!

f:id:akubicharm:20171218170005j:plain

# パラメータ名 備考
1 OpenShift Admin User Password OpenShiftの管理コンソールへログインするユーザ(system:admin権限を保持)のパスワードを指定する)
2 Confirm OpenShift Admin User Password 上記のパスワードと同じものを入力
3 Red Hat Subscription Manager User Name or Activation Key Red Hat Customer Portalへのログインに利用するユーザ名またはActivationKey
4 Red Hat Subscription Manager User Password or Org ID Red Hat Customer Portalへのログインに利用するパスワードまたはOrg ID
5 Red Hat Subscription Manager Pool ID Subscriptionに紐づけられたPoolID
6 Default Router Subdomain アプリケーションのRouterに利用するサブドメンをプルダウンから指定

4 Summary

f:id:akubicharm:20171218170021j:plain

内容を確認して"OK"ボタンをクリックしてデプロイを開始します。

デプロイが完了すると、Bastionノード、Masterサーバ、InfranodeサーバとNodeサーバが2台います。 f:id:akubicharm:20171218170035p:plain

おまけ

basion サーバには、OpenShiftのインストール時に利用するインベントリファイルが保存されています。内容はこんな感じです。 IPアドレスは 00.00.00.00 に書き換えています。

# Create an OSEv3 group that contains the masters and nodes groups
[OSEv3:children]
masters
nodes
master0
new_nodes

# Set variables common for all OSEv3 hosts
[OSEv3:vars]
ansible_ssh_user=clusteradmin
ansible_become=yes
openshift_install_examples=true
deployment_type=openshift-enterprise
openshift_release=v3.6
docker_udev_workaround=True
openshift_use_dnsmasq=True
openshift_master_default_subdomain=00.00.00.00.nip.io
openshift_override_hostname_check=true
#osm_use_cockpit=false
os_sdn_network_plugin_name='redhat/openshift-ovs-multitenant'
console_port=443
openshift_cloudprovider_kind=azure
osm_default_node_selector='type=app'
openshift_disable_check=memory_availability,docker_image_availability

# default selectors for router and registry services
openshift_router_selector='type=infra'
openshift_registry_selector='type=infra'

openshift_master_cluster_hostname=masterdnszwtikzua45vga.koreacentral.cloudapp.azure.com
openshift_master_cluster_public_hostname=masterdnszwtikzua45vga.koreacentral.cloudapp.azure.com
openshift_master_cluster_public_vip=00.00.00.00

# Enable HTPasswdPasswordIdentityProvider
openshift_master_identity_providers=[{'name': 'htpasswd_auth', 'login': 'true', 'challenge': 'true', 'kind': 'HTPasswdPasswordIdentityProvider', 'filename': '/etc/origin/master/htpasswd'}]

# Setup metrics
openshift_hosted_metrics_deploy=false
#openshift_metrics_cassandra_storage_type=dynamic
openshift_metrics_start_cluster=true
openshift_metrics_hawkular_nodeselector={"type":"infra"}
openshift_metrics_cassandra_nodeselector={"type":"infra"}
openshift_metrics_heapster_nodeselector={"type":"infra"}
openshift_hosted_metrics_public_url=https://metrics.00.00.00.00.nip.io/hawkular/metrics

# Setup logging
openshift_hosted_logging_deploy=false
#openshift_hosted_logging_storage_kind=dynamic
openshift_logging_fluentd_nodeselector={"logging":"true"}
openshift_logging_es_nodeselector={"type":"infra"}
openshift_logging_kibana_nodeselector={"type":"infra"}
openshift_logging_curator_nodeselector={"type":"infra"}
openshift_master_logging_public_url=https://kibana.00.00.00.00.nip.io

# host group for masters
[masters]
ocpcluster-master-0

[master0]
ocpcluster-master-0

# host group for nodes
[nodes]
ocpcluster-master-0 openshift_node_labels="{'type': 'master', 'zone': 'default'}" openshift_hostname=ocpcluster-master-0
ocpcluster-infra-0 openshift_node_labels="{'type': 'infra', 'zone': 'default'}" openshift_hostname=ocpcluster-infra-0
ocpcluster-node-0 openshift_node_labels="{'type': 'app', 'zone': 'default'}" openshift_hostname=ocpcluster-node-0
ocpcluster-node-1 openshift_node_labels="{'type': 'app', 'zone': 'default'}" openshift_hostname=ocpcluster-node-1

# host group for adding new nodes
[new_nodes]

f:id:akubicharm:20171218165642p:plainf:id:akubicharm:20171218165711p:plain

追記

2018-02-27

Azure Disk をストレージとして利用するため Cloud Provider の設定が必要となりました。 ウィザードの3番目で、以下のパラメータを設定する必要があります。

# パラメータ名
1 Confiure Azure Cloud Provider Yes
2 Azure AD Service Principal Client ID GUID Azure AD Service Principal Client ID GUID - also known as AppID
3 Azure AD Service Principal Client ID Secret Azure AD Service Principal Client ID Secret

手順はこちらを参照してください。

私の場合、1番目の方法で azure cli でうまくいかなかったので、2番目の方法で azure portal から設定しました。

1. Azure AD でアプリケーションを登録

Create identity for Azure app in portal | Microsoft Docs

# パラメータ名
1 Name openshiftsp
2 Application Type Web app/API
3 Sign-on URL https://openshiftsp

2. アプリケーションIDと認証キーの作成

Create identity for Azure app in portal | Microsoft Docs

Azure AD に登録したアプリケーション(ここでは openshiftsp)の Application ID を、ウィザードの"Azure AD Service Principal Client ID GUID"パラメータに設定します。

Key を保存した時にVALUEに表示される値を、ウィザードの"Azure AD Service Principal Client ID Secret"パラメータに設定します。

3. アプリケーションへの権限付与

Create identity for Azure app in portal | Microsoft Docs

Azure AD に登録したアプリケーション(ここでは openshiftsp)に Contributor の権限を付与します。

Masterサーバに /etc/azure/azure.conf というファイルができています。

{"aadClientSecret": "ウィザードで指定した Application Secret",
 "aadClientID": "ウィザードで指定した Application ID",
 "tenantID": "Azure AD の Directory ID",
 "resourceGroup": "ウィザードで指定したリソースグループ名",
 "location": "ウィザードで指定したリージョン",
 "subscriptionID": "Azure のサブスクリプションID"}