selmertsxの素振り日記

ひたすら日々の素振り内容を書き続けるだけの日記

RailsでOpenID Connect Implicit Flowを試す

モチベーション

  • RailsでIDaaSを使った認可認証を一通り自分で作りたい
  • それによってOIDC Implicit Flowの実現において、必要な処理に関する理解を深めたい
  • OIDC Implicit Flowを使ったのは、既存のSPAサービスに組み込むのであれば、これが一番楽そうだったので
    • 他にもSAML認証などがある。おいおい試していきたい

自分で用意したサンプル実装はこちら

GitHub - selmertsx/pomodoro

今回参考にした資料

前準備

https://docs.microsoft.com/ja-jp/azure/active-directory/develop/v1-protocols-oauth-code#register-your-application-with-your-ad-tenant

上記URLの「AD テナントへのアプリケーションの登録」をそのままなぞれば大丈夫。1点だけ気をつけるべきポイントは、Reply URLsにはフルパスを指定する必要があること。

f:id:selmertsx:20180813172651p:plain

今回の処理の概要

今回は実装にあたって、openid-foundation-japanの提供するサンプルを参考にした。サンプル実装を取り入れるにあたって、あまりフローの整理などはしていない。もう少し整理ができるはずなので、ちょいちょいコードを整えていきたい。

  1. Client(JS Frontend)からServerに、IdP(Azure AD)への認証URLを問い合せる
  2. Rails Serverで、Clientを認証用 URLにリダイレクトさせる
  3. IdPでユーザーの認証を行う
  4. IdPでユーザーの認証ができたら、Rails Serverの任意のURLにリダイレクトをさせる
  5. Rails Serverで、IdPから受け取ったID Tokenをdecodeする
  6. 問題なければLogin後画面に遷移させる

実装説明

IdPの認証URL問い合わせ

# 一部抜粋
class AuthorizationsController < ApplicationController

  def new
    redirect_to authz.authorization_uri(new_state, new_nonce)
  end

  private

  def authz
    @authz ||= Authorization.new
  end

  def new_state
    session[:state] = SecureRandom.hex(8)
  end

  def new_nonce
    session[:nonce] = SecureRandom.hex(16)
  end
end
# 一部抜粋
class Authorization
  include ActiveModel::Model

  def initialize
    @issuer = Rails.application.credentials.oidc[:issuer]
    @identifier = Rails.application.credentials.oidc[:identifier]
    @redirect_uri = Rails.application.credentials.oidc[:redirect_uri]
  end

  def authorization_uri(state, nonce)
    client.redirect_uri ||= redirect_uri
    response_type = %i[id_token token]
    client.authorization_uri(
      response_type: response_type.collect(&:to_s),
      state: state,
      nonce: nonce,
      scope: %i[openid email profile].collect(&:to_s)
    )
  end
  
  private

  def client
    @client ||= OpenIDConnect::Client.new(
      issuer: issuer,
      identifier: identifier,
      authorization_endpoint: config.authorization_endpoint
    )
  end

  def config
    @config ||= OpenIDConnect::Discovery::Provider::Config.discover! issuer
  end
end

authorization_uri methodで生成される文字列は下記のようになる。

https://login.microsoftonline.com/xxx/oauth2/v2.0/authorize?
client_id=xxx&
nonce=33cf756a5fc3c69c05f40ae6baa17dac&
redirect_uri=http%3A%2F%2Flocalhost%3A3000%2Fcallback&
response_type=id_token+token&
scope=openid+email+profile&
state=8fd4930f285a4e9e

ID TokenのDecode

authorizations/callback

受け取るレスポンス

http://localhost:3000/authorization
#access_token=xxx
&token_type=Bearer
&expires_in=3599
&scope=profile+openid+email+00000003-0000-0000-c000-000000000000%2fUser.Read
&id_token=xxxx
&state=d612642b27161676
&session_state=e9ed8a15-9337-4cb1-bb8b-823dfef7a15d
# 一部抜粋
class AuthorizationsController < ApplicationController
  def callback
  end
end
<h1>CallBack!!</h1>
<%= javascript_pack_tag "openid_connect" %>
// 一部抜粋
let params = {}
const postBody = location.hash.substring(1);
const regex = /([^&=]+)=([^&]*)/g;
let m;
while (m = regex.exec(postBody)) {
  params[decodeURIComponent(m[1])] = decodeURIComponent(m[2]);
}
var req = new XMLHttpRequest();
req.open('POST', '//' + window.location.host + '/authorization', true);
req.setRequestHeader('Content-Type', 'application/x-www-form-urlencoded');
var token = document.querySelector("meta[name='csrf-token']").attributes['content'].value;
req.setRequestHeader('X-CSRF-Token', token);
req.onreadystatechange = function (e) {
  if (req.readyState == 4) {
    if (req.status == 200) {
      console.log("success!!");
    }
    else if (req.status == 400) {
      alert('There was an error processing the token')
    } else {
      alert('Something other than 200 was returned')
    }
  }
};
req.send(postBody);

authorization/create

# 一部抜粋
class AuthorizationsController < ApplicationController
  def create
    # TODO: strong parameter使う
    id_token = authz.decode_id_token(params) 
    id_token.verify!(issuer: authz.issuer, client_id: authz.identifier, nonce: stored_nonce)
    session[:identifier] = id_token.subject
    render json: id_token.raw_attributes, status: :success
  end
end

細かい説明については、OIOI載せていく

Query and Visualize AWS Cost and Usage Data Using Amazon Athena and Amazon QuickSightのメモ

モチベーション

  • 弊社ではセキュリティ対策の一環からAWS Organizationとそれに関連するセキュリティ対策を導入した
  • セキュリティ対策で利用しているAWS Config Rule, GuardDuty, CloudTrailのサービスについては按分計算が必要
  • 按分をいい感じに計算したいので諸々調査してみる

この記事に書かれていること

aws.amazon.com

上記ページを読んで簡単にサマリーしてみる。

  • CloudFormationを使って、AWS Cost and Usage Reportsを Athenaで分析できるようにする
  • LambdaはAthenaが読み込めるように、適切なS3のパスでデータを格納させる
  • AWS Cost and Usage Reportsは、RedShiftで見れるように設定しとかなければならない
    • これはマニフェストが変更されるだけなので、実際にRedShiftにデータが入る訳ではない。
    • この設定をしても、実際に反映されるのは翌日

このCloudFormationがやってくれること

  • athenaで読み込める形のデータがS3に突っ込まれる
    • パス: year=${current_year}/month=${current_month}
    • ちゃんとmonth単位で分割することで、余計なデータを読み込みに行かない
  • aws_billing_report databaseがathenaに作られる
  • my_cur_reportというテーブルがathenaに作られる

CloudFormationの設定

  • CostnUsageRport: AWS Cost and Usage Reportの名前
  • S3BucketName: Athenaで分析するためのデータが格納される S3 bucketの名前
  • S3 CURBucket: AWS Cost and Usage Reportが現在格納されているS3 bucketの名前
  • CloudFormationを実行したら、書きのbucketがS3に生成される
    • year=current_year
    • aws-athena-query-results

Adding a Lambda trigger

  • CloudFormation Stackが実行完了したら、Lambda Triggerを設定する。
  • LambdaのTriggerは、AWS Cost and Usage Reportを出力しているS3 bucketが良い。
  • lambda console => aws-cost-n-usage-main-lambda-fn-A => Trigger S3
  • S3 bucket Nameは、Cost and Usage Reportsを出しているやつ。
  • Event TypeはObject Created.

Resources built, trigger created… now what?

これらのlambda functionが作成されていることを確認しといてね

  • aws-cost-n-usage-S3-lambda-fn-B
  • aws-cost-n-usage-main-lambda-fn-A
  • aws-cost-n-usage-S3-lambda-fn-B-2
  • aws-cost-n-usage-Athena-lambda-fn-C
  • aws-cost-n-usage-Athena-lambda-fn-C-2
  • Athena DatabaseやTableが作成されたあとQueryを実行できる
SELECT from_iso8601_timestamp(lineitem_usagestartdate) AS lineitem_usagestartdate,
        from_iso8601_timestamp(lineitem_usageenddate) AS lineitem_usageenddate,
        product_instancetype,
        count(*) AS count
FROM aws_billing_report.my_cur_report
WHERE lineitem_productcode='AmazonEC2'and (lineitem_operation LIKE '%RunInstances%'
        OR lineitem_usagetype LIKE '%BoxUsage%')
        AND lineitem_usagetype NOT LIKE 'SpotUsage%'
        AND lineitem_usagetype NOT LIKE '%Out-Bytes%'
        AND lineitem_usagetype NOT LIKE '%In-Bytes%'
        AND lineitem_usagetype NOT LIKE '%DataTransfer%'
        AND pricing_term='OnDemand'
GROUP BY  lineitem_usagestartdate,lineitem_usageenddate,product_instancetype,lineitem_usagetype
ORDER BY  lineitem_usagestartdate, product_instancetype;

LambdaのTest

感想

  • コードをGitHubで確認させて欲しい
  • 現在の要件なら、S3 Selectでも十分に対処できそう
  • AWS Lambda + S3 Selectで作ることにした

おまけ CloudFormation.yml

AWSTemplateFormatVersion: 2010-09-09
Description: >-
  This CloudFormation Template builds a Serverless Solution for Querying Amazon
  Cost & Usage Report!. It creates an S3 bucket that will be used to store your
  Cost & Usage Reports after they have been extracted and transformed. The
  extraction and transformation is done by an Amazon Lambda function that is
  also created by this template. This Lambda functions job also includes, the
  creation of an Amazon Athena database and table. After table creation, it adds
  the partition to the Athena (or Hive) meta-data store. Something to note, on
  the Athena table is crreated from the column title/header field of the Cost &
  Usage report. This means that the table schema will keep up with any changes
  made by Amazon billing to the Cost & Usage Report. A few other things created
  by this CloudFormation template are an IAM LambdaFullAccess Role and
  Environment Variables for Lambda.
Parameters:
  CostnUsageReport:
    Description: Please enter the the name of your Cost & Usage Report
    Type: String
    ConstraintDescription: This field should only hold the name of your Cost & Usage Report.
  s3CURBucket:
    Description: >-
      Please enter the name of the S3 Bucket in which the Amazon Billing System
      currently writes your Cost & Usage Reports. You must enter the name only,
      for eg. MYBUCKETNAME
    Type: String
  S3BucketName:
    Type: String
    Description: >-
      This solution creates one S3 bucket to store your transformed CUR. Please
      enter the name you would like this bucket to have. The bucket names must
      be a series of one or more labels. It can contain lowercase letters,
      numbers, and hyphens but bucket names must not be formatted as an IP
      address (e.g., 192.168.5.4). Each label must start and end with a
      lowercase letter or a number.
    MinLength: '3'
    MaxLength: '63'
    Default: S3 Bucket Name being created
Mappings:
  RegionMap:
    us-east-1:
      bucketname: a-athena-nvirginia
    us-east-2:
      bucketname: a-athena-ohio
    us-west-1:
      bucketname: a-athena-ncalifornia
    us-west-2:
      bucketname: a-athena-oregon
    ca-central-1:
      bucketname: a-athena-central-canada
    eu-west-1:
      bucketname: a-athena-ireland
    eu-west-2:
      bucketname: a-athena-london
    ap-southeast-1:
      bucketname: a-athena-singapore
    ap-northeast-1:
      bucketname: a-athena-tokyo
    ap-south-1:
      bucketname: a-athena-mumbai
    ap-northeast-2:
      bucketname: a-athena-seoul
    ap-southeast-2:
      bucketname: a-athena-sydney
    eu-central-1:
      bucketname: a-athena-frankfurt
    sa-east-1:
      bucketname: a-athena-sao-paulo
Resources:
  myS3Bucket:
    Type: 'AWS::S3::Bucket'
    Properties:
      BucketName: !Ref S3BucketName
  LambdaExecutionRole:
    Type: 'AWS::IAM::Role'
    Properties:
      AssumeRolePolicyDocument:
        Version: 2012-10-17
        Statement:
          - Effect: Allow
            Principal:
              Service:
                - lambda.amazonaws.com
            Action:
              - 'sts:AssumeRole'
      Path: /
      Policies:
        - PolicyName: lambdaroot
          PolicyDocument:
            Version: 2012-10-17
            Statement:
              - Effect: Allow
                Action:
                  - 'cloudwatch:*'
                  - 'athena:*'
                  - 'glue:*'
                  - 'dynamodb:*'
                  - 'events:*'
                  - 'iam:ListAttachedRolePolicies'
                  - 'iam:ListRolePolicies'
                  - 'iam:ListRoles'
                  - 'iam:PassRole'
                  - 'lambda:*'
                  - 'logs:*'
                  - 's3:*'
                  - 'sns:ListSubscriptions'
                  - 'sns:ListSubscriptionsByTopic'
                  - 'sns:ListTopics'
                  - 'sns:Subscribe'
                  - 'sns:Unsubscribe'
                  - 'sns:Publish'
                  - 'sqs:ListQueues'
                  - 'sqs:SendMessage'
                  - 'tag:GetResources'
                  - 'kms:ListAliases'
                  - 'ec2:DescribeVpcs'
                  - 'ec2:DescribeSubnets'
                  - 'ec2:DescribeSecurityGroups'
                  - 'xray:PutTraceSegments'
                  - 'xray:PutTelemetryRecords'
                Resource: '*'
  CURLambdaFn:
    Type: 'AWS::Lambda::Function'
    Properties:
      FunctionName: aws-cost-n-usage-main-lambda-fn-A
      Handler: File-Reader-Main-Lmbda-Fn-A.handler
      Role: !GetAtt
        - LambdaExecutionRole
        - Arn
      Timeout: '300'
      Runtime: nodejs6.10
      MemorySize: 1536
      Code:
        S3Bucket: !FindInMap
          - RegionMap
          - !Ref 'AWS::Region'
          - bucketname
        S3Key: File-Reader-Main-Lmbda-Fn-A.zip
      Environment:
        Variables:
          S3_BUCKET: !Ref S3BucketName
          iCUR_NAME: !Ref CostnUsageReport
          CUR_S3_BUCKET: !Ref s3CURBucket
          REGIONX: !Ref 'AWS::Region'
  S3CURLambdaFn:
    Type: 'AWS::Lambda::Function'
    Properties:
      FunctionName: aws-cost-n-usage-S3-lambda-fn-B
      Handler: File-Reader-S3-CUR-Parser-Lmbda-B.handler
      Role: !GetAtt
        - LambdaExecutionRole
        - Arn
      Timeout: '300'
      Runtime: nodejs6.10
      MemorySize: 1536
      Code:
        S3Bucket: !FindInMap
          - RegionMap
          - !Ref 'AWS::Region'
          - bucketname
        S3Key: File-Reader-S3-CUR-Parser-Lmbda-B.zip
      Environment:
        Variables:
          S3_BUCKET: !Ref S3BucketName
          iCUR_NAME: !Ref CostnUsageReport
          CUR_S3_BUCKET: !Ref s3CURBucket
          REGIONX: !Ref 'AWS::Region'
  S3CURLambdaFnB:
    Type: 'AWS::Lambda::Function'
    Properties:
      FunctionName: aws-cost-n-usage-S3-lambda-fn-B-2
      Handler: File-Reader-S3-CUR-Parser-Lmbda-B-2.handler
      Role: !GetAtt
        - LambdaExecutionRole
        - Arn
      Timeout: '300'
      Runtime: nodejs6.10
      MemorySize: 1536
      Code:
        S3Bucket: !FindInMap
          - RegionMap
          - !Ref 'AWS::Region'
          - bucketname
        S3Key: File-Reader-S3-CUR-Parser-Lmbda-B-2.zip
      Environment:
        Variables:
          S3_BUCKET: !Ref S3BucketName
          iCUR_NAME: !Ref CostnUsageReport
          CUR_S3_BUCKET: !Ref s3CURBucket
          REGIONX: !Ref 'AWS::Region'
  AthenaCURLambdaFn:
    Type: 'AWS::Lambda::Function'
    Properties:
      FunctionName: aws-cost-n-usage-Athena-lambda-fn-C
      Handler: File-Reader-Athena-Lambda-Fn-C.handler
      Role: !GetAtt
        - LambdaExecutionRole
        - Arn
      Timeout: '300'
      Runtime: nodejs6.10
      MemorySize: 1536
      Code:
        S3Bucket: !FindInMap
          - RegionMap
          - !Ref 'AWS::Region'
          - bucketname
        S3Key: File-Reader-Athena-Lambda-Fn-C.zip
      Environment:
        Variables:
          S3_BUCKET: !Ref S3BucketName
          CUR_S3_BUCKET: !Ref s3CURBucket
          REGIONX: !Ref 'AWS::Region'
  AthenaCURLambdaFnC:
    Type: 'AWS::Lambda::Function'
    Properties:
      FunctionName: aws-cost-n-usage-Athena-lambda-fn-C-2
      Handler: File-Reader-Athena-Lambda-Fn-C-2.handler
      Role: !GetAtt
        - LambdaExecutionRole
        - Arn
      Timeout: '300'
      Runtime: nodejs6.10
      MemorySize: 1536
      Code:
        S3Bucket: !FindInMap
          - RegionMap
          - !Ref 'AWS::Region'
          - bucketname
        S3Key: File-Reader-Athena-Lambda-Fn-C-2.zip
      Environment:
        Variables:
          S3_BUCKET: !Ref S3BucketName
          CUR_S3_BUCKET: !Ref s3CURBucket
          REGIONX: !Ref 'AWS::Region'
  InitFunction:
    Type: 'AWS::Lambda::Function'
    Properties:
      Code:
        ZipFile: >
          const AWS = require("aws-sdk"); const response =
          require("cfn-response"); const docClient = new
          AWS.DynamoDB.DocumentClient(); exports.handler = function(event,
          context) {    var darray = [];
              darray.push("new-table-response");
              console.log(JSON.stringify(event,null,2));
              var params = {
                TableName: event.ResourceProperties.DynamoTableName,
                Item:{
                    "iKey": 10007770157,
                    "Flag": 0,
                    "TableDescription": darray
                }
            };
          docClient.put(params, function(err, data) { if (err) {
          response.send(event, context, "FAILED", {});

          } else {  response.send(event, context, "SUCCESS", {});

          } }); };
      Handler: index.handler
      Role: !GetAtt
        - LambdaExecutionRole
        - Arn
      Runtime: nodejs6.10
      Timeout: 60
  AthenaTable:
    Type: 'AWS::DynamoDB::Table'
    Properties:
      TableName: AthenaTable
      KeySchema:
        HashKeyElement:
          AttributeName: iKey
          AttributeType: 'N'
      ProvisionedThroughput:
        ReadCapacityUnits: '50'
        WriteCapacityUnits: '50'
  InitializeDynamoDB:
    Type: 'Custom::InitFunction'
    DependsOn: AthenaTable
    Properties:
      ServiceToken: !GetAtt
        - InitFunction
        - Arn
      DynamoTableName: !Ref AthenaTable

Minikube Tutorial をまるっとやる

最初に

このドキュメントは、このチュートリアルをまるっとやったことの記録。 kubernetes.io

まとめ

  • minikubeはlocalのimageを簡単に参照可能である
  • minikubeが具体的にどこからどこまで担保してくれてるのかよく分かってない。
  • kubectl はcontextを切り替えることで、gkeかminikubeかを選択して操作する
    • kubectl config use-context コマンド
  • kubernetesを使うために、わざわざyamlを使う必要は無かった

minikube

このチュートリアルのゴールは簡単なnode.jsのアプリケーションがkubenetesで動くところまで。 このチュートリアルは、machine上で開発したコードを、Docker imageに落とし込み、Minikube上で動かしていくよ。

Objecitves

  • hello world する簡単なnode.jsアプリを動かす
  • そのアプリケーションを minikubeに乗っける
  • applicationのlogを見る
  • applicationのimageをupdateする

Create a Minikube cluster

このチュートリアルでは、minikubeをlocal clusterで動かしてく。ここでは Docker for Macを使ってると仮定する。

brew cask install minikube
brew install kubernetes-cli

もしkubectlコマンドを、すでにgcloudからinstallしてたら、下記の手順を踏むこと。

gcloud components install kubectl
curl -LO https://storage.googleapis.com/minikube/releases/latest/docker-machine-driver-hyperkit \
&& chmod +x docker-machine-driver-hyperkit \
&& sudo mv docker-machine-driver-hyperkit /usr/local/bin/ \
&& sudo chown root:wheel /usr/local/bin/docker-machine-driver-hyperkit \
&& sudo chmod u+s /usr/local/bin/docker-machine-driver-hyperkit

下記URLを実行して、プロセスなしでアクセス可能なのか確認する

curl --proxy "" https://cloud.google.com/container-registry/

もし proxyが必要なければ、minikube start --vm-driver=hyperkit を実行すること。 --vm-driver=hyperkitはDocker for Macを使っているというフラグ。デフォルトはVirtualBox

https://github.com/kubernetes/minikube/blob/master/docs/drivers.md#hyperkit-driver

➜ minikube start --vm-driver=hyperkit
Starting local Kubernetes v1.10.0 cluster...
Starting VM...
Getting VM IP address...
Moving files into cluster...
Downloading kubelet v1.10.0
Downloading kubeadm v1.10.0
Finished Downloading kubeadm v1.10.0
Finished Downloading kubelet v1.10.0

minikube switch

kubectl config use-context minikube

➜ kubectl config get-contexts
CURRENT   NAME                                             CLUSTER                                          AUTHINFO                                         NAMESPACE
          xxx_pomodoro   xxx_pomodoro   xxx_pomodoro pomodoro
*         minikube                                         minikube                                         minikube

minikube dashboard

minikube dashboard

で色々見れる。便利。

f:id:selmertsx:20180720185617p:plain

Create your Node.js application

var http = require('http');
var handleRequest = function(request, response) {
  console.log('Received request for URL: ' + request.url);
  response.writeHead(200);
  response.end('Hello World!');
};
var www = http.createServer(handleRequest);
www.listen(8080);

こんなコードを用意した。

➜  k8s git:(master) node server.js
➜  k8s git:(master) curl localhost:8080
Hello World!%

で動くことを確認。

Create a Docker container image

FROM node:8.11.3
EXPOSE 8080
COPY server.js .
CMD node server.js

node imageはLTSの8.11.3を選択。 このチュートリアルでは、docker image をregistryにpushする代わりにminikubeを利用するので、 Docker hostと同じ場所でimageをbuildする必要がある。

そのため、下記のコマンドを実行する

eval $(minikube docker-env)

その後、docker imageをbuild.

docker build -t hello-node:v1 .

これでminikubeはimageをbuild出来るようになる。

Create a Deployment

kubenets podは、何か1つの目的に合わせてまとめられた、1つ、または複数のコンテナのグループである。 このチュートリアルにおいてPodは一つのコンテナでのみ出来ている。 KubeのDeploymentはPodの健康状態をcheckし、Pod Containerが死んだらrestartする。 Deploymentは、podを作ったりスケールする上で推奨される方法である。

kubectl run commandを使って、podを管理するためのDeploymentを作る。 Podは hello-node:v1 Docker imageを元にしたContainerを実行する。 local imageの利用を優先するために、--image-pull-policyフラグをNeverにセットする。

➜  k8s git:(master) ✗ kubectl run hello-node --image=hello-node:v1 --port=8080 --image-pull-policy=Never
deployment.apps/hello-node created
➜  k8s git:(master) ✗ kubectl get deployments
NAME         DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
hello-node   1         1         1            1           18s
➜  k8s git:(master) ✗ kubectl get pods
NAME                          READY     STATUS    RESTARTS   AGE
hello-node-57c6b66f9c-7d26q   1/1       Running   0          31s

何か気になることがあったらkubectlコマンドを実行するとよいよ。 https://kubernetes.io/docs/reference/kubectl/overview/

Create a Service

デフォルトでは、PodはKubenetesクラスタ内の内部IP addressからしかアクセスできません。 K8s Virtual networkの外から、hello-node Containerにアクセス可能にするためには、PodsをServiceとして公開しなければならない。 開発環境においてはkubectl exposeコマンドでそれができる。

➜  k8s git:(master) ✗ kubectl expose deployment hello-node --type=LoadBalancer
service/hello-node exposed
➜  k8s git:(master) ✗ kubectl get services
NAME         TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
hello-node   LoadBalancer   10.107.74.133   <pending>     8080:32311/TCP   6s
kubernetes   ClusterIP      10.96.0.1       <none>        443/TCP          45m

--type=LoadBalancerflagはサービスをclusterの外に公開することを示す。 LoadBalancerをサポートしているcloud providersであれば、Serviceにアクセスするためのexternal IP addressが用意される。

Minikubeでは、LoadBalancerタイプのサービスには、minikube service ${service_name} コマンドでアクセスすることが出来る。 このコマンドでブラウザが開かれて、サービスがアクセス可能になる。

podsの情報やlogの内容に関しては下記のコマンドで獲得可能である。

➜  k8s git:(master) ✗ kubectl describe pods
Name:           hello-node-57c6b66f9c-7d26q
Namespace:      default
Node:           minikube/192.168.64.2
Start Time:     Fri, 20 Jul 2018 16:54:31 +0900
Labels:         pod-template-hash=1372622957
                run=hello-node
Annotations:    <none>
Status:         Running
IP:             172.17.0.4
Controlled By:  ReplicaSet/hello-node-57c6b66f9c
Containers:
  hello-node:
    Container ID:   docker://5333602c10e2b6ef2677125996cf7ccd51db23946a7b085b85354fc0c30516f8
    Image:          hello-node:v1
    Image ID:       docker://sha256:80bf931ffb07668a2ef31dd3e5c08350ed5d64477ba424a847bb29b5b1eef0a7
    Port:           8080/TCP
    Host Port:      0/TCP
    State:          Running
      Started:      Fri, 20 Jul 2018 16:54:32 +0900
    Ready:          True
    Restart Count:  0
    Environment:    <none>
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from default-token-shf7x (ro)
Conditions:
  Type           Status
  Initialized    True
  Ready          True
  PodScheduled   True
Volumes:
  default-token-shf7x:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  default-token-shf7x
    Optional:    false
QoS Class:       BestEffort
Node-Selectors:  <none>
Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300s
                 node.kubernetes.io/unreachable:NoExecute for 300s
Events:
  Type    Reason                 Age   From               Message
  ----    ------                 ----  ----               -------
  Normal  Scheduled              14m   default-scheduler  Successfully assigned hello-node-57c6b66f9c-7d26q to minikube
  Normal  SuccessfulMountVolume  14m   kubelet, minikube  MountVolume.SetUp succeeded for volume "default-token-shf7x"
  Normal  Pulled                 14m   kubelet, minikube  Container image "hello-node:v1" already present on machine
  Normal  Created                14m   kubelet, minikube  Created container
  Normal  Started                14m   kubelet, minikube  Started container
➜  k8s git:(master) ✗ kubectl logs hello-node-57c6b66f9c-7d26q
Received request for URL: /
Received request for URL: /favicon.ico

Clean up

➜ kubectl delete service hello-node
service "hello-node" deleted

➜ kubectl delete deployment hello-node
deployment.extensions "hello-node" deleted

➜ docker rmi hello-node:v1 hello-node:v2 -f
Untagged: hello-node:v1
Deleted: sha256:80bf931ffb07668a2ef31dd3e5c08350ed5d64477ba424a847bb29b5b1eef0a7
Deleted: sha256:05f6355afc692766f99575564dd9d8e32917779c91285e8ddbadd615eb528bab
Deleted: sha256:137c95a151503aaa351d3430fa2ca089e28487516a7cbe61af318b2717cce6af
Deleted: sha256:1725ca28b86411d20d508a8275129fe68e68e4a6d32fd5a0c7d453a0de544f07
Error: No such image: hello-node:v2
➜ minikube stop
eval $(minikube docker-env -u)
Stopping local Kubernetes cluster...
Machine stopped.

CloudSQL をRailsで使ってみる

モチベーション

  • 今、個人で作ってるプロダクトを試しに GKEで動かしてみたい
  • GCPだと、RDBはCloudSQLを利用した方が良さそう
  • GKEの前に、CloudSQLを触ってみる

今日の学び

  • CloudSQLは、Globalからアクセス可能であるが、IPのホワイトリストかProxyを利用する必要がある
  • 開発時には固定IPを取得することが難しいので、Proxyを利用するのが良い

概要

下記2つのドキュメントを見て作業した

インスタンス作成

gcloud sql instances create pomodoro-dev-db --tier=db-f1-micro --region=asia-northeast1
gcloud sql users set-password root % --instance pomodoro-dev-db --password [PASSWORD]

接続名の取得

shuhei_morioka@cloudshell:~ (speee-dev-optim)$ gcloud sql instances describe pomodoro-dev-db | grep connectionName
connectionName: xxx:asia-northeast1:pomodoro-dev-db

このconnectionNameを Proxyにも利用する

Cloud SQL Proxyの利用

curl -o cloud_sql_proxy https://dl.google.com/cloudsql/cloud_sql_proxy.darwin.amd64
chmod +x cloud_sql_proxy
bin/cloud_sql_proxy -instances=xxx:asia-northeast1:pomodoro-dev-db=tcp:3307
mysql -u root --host 127.0.0.1 --port 3307 -p

https://cloud.google.com/sql/images/proxyconnection.svg

今日覚えたコマンド

gcloud sql instances describe pomodoro-dev-db
backendType: SECOND_GEN
connectionName: xxx:asia-northeast1:pomodoro-dev-db
databaseVersion: MYSQL_5_7
etag: '"xxxx/Mw"'
gceZone: asia-northeast1-a
instanceType: CLOUD_SQL_INSTANCE
ipAddresses:

次回の対応

GKE動かしてき Connecting from Kubernetes Engine  |  Cloud SQL for MySQL  |  Google Cloud

GCPエンタープライズ設計ガイドの読書メモ

はじめに

業務でGCPの一部を利用することになったため、概要を把握するためにこれをサラッと読んだ。 この本はGCPの様々な機能に関する概要をまとめたもので、これを読むだけでGCPがガンガン使えるようになるものではない。 あくまでGCP全体の概要を把握するために読むものである。 本の中では、AWSの機能のこれにあたるという説明が多くされているため、AWS経験者なら頭に入りやすいのではないだろうか。

この記事では、僕が必要としていた部分だけ抽出して文書にしている。

AWSGCPの違い

  • AWSはCloudのサービスをリードしている
  • GCPはCloudのテクノロジーをリードしている
  • AWSは多機能
  • GCPはシンプル
  • AWSは従来のITインフラをそのまま抽象化した
    • VPCなどなど
  • Googleはソフトウェアエンジニアが基盤を意識しなくても作れるようになっている
    • ITインフラの内部が隠蔽されている
  • AWSは休日も含む24時間365日の日本語サポートがある
  • GCPの日本語サポートは、平日9~17時

Computing Service

  • GCPサービス => AWSで該当するもの
  • Google Compute Engine => AWS EC2
  • Google App Engine => AWS Elastic Beanstalk
    • スケールアウト時にはコンテナのプロセスを起動する
    • Standard EnvironmentとFlexible Environmentの2つのタイプが存在する
    • SE版は機能が制限されているが、めちゃくちゃ早い
    • FE版はDockerで動くので自由度が高いが、まぁまぁ遅い
    • 新しいバージョンの環境へのアクセスについては、柔軟に振り分けられる
    • ABテストなどにも使える
    • cronで定期実行も可能
  • Google K8s Engine => AWS EKS
  • Google Cloud Functions => AWS Lambda

Cloud SQL

  • Cloud SQLは、ストレージの自動拡張、Failover Replica機能、Read Replicaの作成の機能を持ち、耐障害性・スケール性能に優れている。
  • Cloud SQLにアクセスする場合は、Cloud SQL Proxyを利用して、IAMを利用したプロジェクトレベル・インスタンスレベルでのアクセス制御を行うこと。
  • Cloud SQLでは転送中・保存済みのデータはすべて暗号化されている。

ID管理

  • GCPではClod IAMを利用して、リソースの権限制御をしている
  • Cloud IAMは下記のIDに対して設定が可能である
    • Googleアカウント
    • サービスアカウント
      • 利用するアプリケーションに紐づくアカウント
    • Googleグループ
    • G Suiteドメイン
    • Cloud Identityドメイン
      • GmailやドライブなどのG Suiteのサービスを必要としないユーザー向けのドメイン

Cloud IAMでのRole

<service>.<resource>.<verb> といった形式で定義する。

  • Primitive roles: プロジェクトレベルで設定する Owner, Editer, Viewerの権限
  • Predefined Roles: GCPのリソース単位で設定できる役割。App Engine管理者はApp Engineのすべての設定が可能
  • Custom roles: 個別に作成するrole. メンバーやサービスアカウント毎に付与可能.
  • Cloud IAMのアクセス制御ポリシーは、Organization/Folder/Project/Resourceという階層になっている
  • 上の階層で定められた権限が、下位の階層に継承される

KubernetesとGKEの学習

最初に

この記事は、下記の書籍を読んだ上で自分の理解を整理するためにまとめたものです。

マルチホストでDockerを動かそう

GCPでのk8s活用について

  • GKEを利用する上で必要なサービスは下記の通り

Google Container Build

  • Docker Imageを作成するためのコマンドツール
  • Imageを作るためのソースリポジトリは色々選べる

Google Kubernetes Engine

  • Dockerコンテナを管理するフルマネージドサービス
  • k8sを利用しているので、kubectlコマンドなどで操作可能

Google Container Registry

Kubernetesの概要

アプリケーションの構成管理

Pod

  • 複数のコンテナをまとめたもの
  • アプリケーションデプロイの単位
  • 適切にスケールできるように、役割の異なるものは別ポッドにすること
  • Podは必ず同じノード上にデプロイされる

ReplicaSet

  • Kubernetesクラスタ上であらかじめ指定された数のPodを作成/起動しておくこと
  • 何か問題が起きても、ここで指定した個数分Podが立ち上がるように動き続ける

Deployment

  • ReplicaSetの履歴を管理するもの
  • 定義されたレプリカの数を維持する役目を負うのがReplicaSet
  • ReplicaSetの作成や更新を定義するのがDeployment

Service

  • K8sのネットワークを管理する機能
  • Podに対して、外部からアクセスするときに必要。
  • Load Balancerは、Serviceに対応するIPアドレス+ポート番号にアクセスすると、複数のPodに対するレイヤー4レベルの負荷分散をする
    • トランスポートレイヤー
    • Borgとかと同じ話かな
  • Cluster IP => クラスタ内のPod同士で通信するためのプライベートIPアドレス
  • External IP => 外部のクライアントから接続するためのパブリックIPアドレス

K8sの構成要素

マスター

データストア etcd

クラスタ構成を保持するKVS

Node

  • 実際にDockerコンテナを動作させるサーバ
  • kubelet というエージェントが動いてる
  • kubeletは、Podの定義ファイルに従ってDockerコンテナを実行したり、ストレージをマウントしたりする
  • ノードのステータスを監視して、APIサーバーに通知する機能も持つ

manifestファイル

  • k8sでは、クラスタの構成情報をYAMLまたはJSONで記述する
  • この定義ファイルをmanifestファイルと呼ぶ

docker-compose.yml とか task definitionを思い出すなぁ。

Local環境のアプリケーションに対してAzure ADでOpenID Connectの認証をしてみる (その2)

TL;DR

  • Azure ADでOpenID Connectの認証ができるか確認をした
  • 確認環境は森岡がテスト用に作ったアプリケーション
  • 上記環境はLocal環境で動いていて、Dockerで構成されている
  • lua-resty-openidcを使ってnginxレイヤーだけで認証ができた
  • まだ本番への反映をしていないので、完成度は30%くらい
    • sessionが切れたときに、/login に強制的にredirectさせる方法
    • dockerでない環境での反映手順も考えられていない
  • Azure AD側にアプリケーションを登録しなければ使えないので、ある程度セキュアではなかろうか

Azure ADの設定

Azure AD側の設定は、基本的にAzure AD公式ドキュメントの方法に従う。

  • Azure Potalにサインインする
  • Azure Active Directoryからアプリの登録を行う
  • サインオンURLの設定をする
    • 今回はlocalで確認するので http://127.0.0.1:8080 とした
  • アプリケーションのプロパティから、アプリケーションIDを確認し控えておく
  • 「キー」から鍵を作成して控えておく
  • このアプリケーションにアクセス可能な人をAzure AD上で設定しておく

f:id:selmertsx:20180710140021p:plain

アプリの登録

f:id:selmertsx:20180710140036p:plain

鍵の登録

実装

Docker Build

今回、サクッと確認するためにDockerで環境を構築。 nginxのlua pluginでOIDCができるやつがいたので、こいつを利用させて貰う。

FROM openresty/openresty:1.13.6.2-0-centos
ADD conf.d/app.conf /etc/nginx/conf.d/app.conf
ADD nginx.conf /usr/local/openresty/nginx/conf/nginx.conf
ADD src /usr/local/openresty/nginx/src
RUN opm install zmartzone/lua-resty-openidc
CMD ["/usr/bin/openresty", "-g", "daemon off;"]

openrestyのdocker imageには、opm(openresty package manager)がデフォルトで入っているので、そのopmを使ってlua-resty-openidcをinstallすることができる。

証明書の設定

luasslを利用する際は、lua_ssl_trusted_certificate ディレクティブに証明書の設定をする必要がある。この証明書だけれども、実はopenrestyのdocker imageの中にデフォルトで入っているので、今回はそれを利用する。

➜  pomodoro git:(master) ✗ docker exec -it pomodoro-web /bin/bash
[root@bba9dae7baca /]# ls -al /etc/ssl/certs/
total 8
drwxr-xr-x 2 root root 4096 Apr  2 18:38 .
drwxr-xr-x 5 root root 4096 Apr  2 18:38 ..
lrwxrwxrwx 1 root root   49 Apr  2 18:38 ca-bundle.crt -> /etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem
lrwxrwxrwx 1 root root   55 Apr  2 18:38 ca-bundle.trust.crt -> /etc/pki/ca-trust/extracted/openssl/ca-bundle.trust.crt

これをnginxの設定に記載して終了。実際のコードはここ を参照

Luaコードの設定

-- https://github.com/selmertsx/pomodoro/blob/master/docker/nginx/src/test.lua
local opts = {
  redirect_uri_path = "/",
  discovery = os.getenv("DISCOVERY"),
  client_id = os.getenv("CLIENT_ID"),
  client_secret = os.getenv("CLIENT_SECRET"),
}

local res, err = require("resty.openidc").authenticate(opts)

if err then
  ngx.status = 500
  ngx.say(err)
  ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)
end

ngx.req.set_header("X-USER", res.id_token.sub)

環境変数の渡し方

discovery, client_id, client_secretはシークレットな情報なので環境変数で渡す。 nginxでは環境変数luaに渡すためには、env directiveを利用する必要がある。

The NGINX environment variable is used internally by nginx and should not be set directly by the user.

公式ドキュメントには上記のように記載されているので、nginx.confの一番上でenv directiveを利用する。

worker_processes  1;
env DISCOVERY;
env CLIENT_ID;
env CLIENT_SECRET;
events {
  worker_connections  1024;
}

なお CLIENT_IDやCLIENT_SECRETはAzure AD設定時に取得したアプリケーションIDや鍵を設定すれば良い。

環境変数DISCOVERYの設定

discovery urlの取得方法については、公式ドキュメントに記載されている通りであるが、少しばかりハマりポイントがあるので解説。ここだけはちゃんと読んでほしい。

  • https://login.microsoftonline.com/{tanent_name}/.well-known/openid-configuration でアクセスし、tanent_idを取得
  • https://login.microsoftonline.com/{tanent_id}/.well-known/openid-configuration の文字列をnginxに設定する

上記設定の理由

ここは興味があれば見るくらいで良い。

まず前提として、Azure ADにおいて、Discoveryは下記2つのフォーマットで取得することができる

  1. https://login.microsoftonline.com/{tanent_name}/.well-known/openid-configuration
  2. https://login.microsoftonline.com/{tanent_id}/.well-known/openid-configuration

lua-resty-openidcを利用する場合、2番のフォーマットでDiscoveryを指定しなければならない。その理由は、lua-resty-openidcの実装上の問題である。上記ライブラリにおいて、openidcの認証は下記のような実装になっている。

-- https://github.com/zmartzone/lua-resty-openidc/blob/master/lib/resty/openidc.lua#L469-L509
      ngx.log(ngx.DEBUG, "response data: "..res.body)
      json, err = openidc_parse_json_response(res)
      if json then
        if string.sub(url, 1, string.len(json['issuer'])) == json['issuer'] then
          openidc_cache_set("discovery", url, cjson.encode(json), exptime or 24 * 60 * 60)
        else
          err = "issuer field in Discovery data does not match URL"
          ngx.log(ngx.ERR, err)
          json = nil
        end
      end

DiscoveryのURLと、discovery urlから返されるissuerのURLの一部が一致しているか見ている。Discoveryから得られるissuerのURLは、https://sts.windows.net/{tanent_id}/ という値になる。そのため、tanent_nameでURLを指定すると一致しないという問題が起きる。よって、Discovery取得用のURLは、tanent_idで指定する必要がある。

認証結果

http://127.0.0.1:8080/test にアクセスすると下記のページにredirectされる

f:id:selmertsx:20180710135840p:plain

認証が終わるとこんな感じ

f:id:selmertsx:20180710135916p:plain