AWS Advent Calendar 2021 カレンダー2の6日目の記事です。 ここでは、GitHub Actionsを使ったECSのデプロイメントパイプラインを構築する方法を紹介します。 ECSのデプロイにおいて、GitHub Actionsを使う理由は以下のとおりです。 環境構築、コンテナイメ…
本投稿では、AWSを前提にして、SQLを使ってデータ基盤の監視を行う方法について紹介します。 以下のBigQueryを使用した事例をかなり参考にさせてもらっています。 tech-blog.monotaro.com データ基盤を運用していると、データ処理後に生成されるデータの中身…
背景 Amazon Athenaにおいて、既存テーブルのカラムのデータ型を変更する場合、単純に変更できないことがあります。 本内容では、Athenaにおけるデータ型の変更方法について説明します。 また、データの形式としてParquetでデータを扱っていることを前提とし…
データエンジニアリングの文脈で、AWS Lambdaを使ってデータ処理を実装することが最近多くなってきました。 Lambdaでは、コンテナイメージサポートを利用することで、ローカルでのテストがやりやすくなっています。 これを踏まえて、Lambdaのローカルでの環…
8月21日(土)に開催されたISUCON11予選に参加しました。ISUCONへの参加はISUCON9の参加以来、2年ぶりになります。 isucon.net 今回は会社の同僚と3人チームで参加しました。私以外の他2名はISUCON初参加というメンバー構成でした。 結果は予選敗退という形で…
Udemyにコースを公開して講師デビューしました。この投稿はそのコースの宣伝記事です。 どんなコースでどんな思いで作成したのかを紹介します。 コース内容 Kubernetes、Amazon EKSを手を動かして学ぶハンズオンのコンテンツになります。 www.udemy.com Kube…
AWS Chatbotを使うと、CloudWatchアラームからの通知をSlackにPostしたり、Slack上でAWS CLIライクな操作を実施できます。 今回は、AWS Chatbotを使い、Slack上でLambda関数を介して、CodeBuildを実行する仕組みを作ってみました。 その内容を紹介します。 …
ECSに対するdocker exec的な機能であるECS Execを試しました。 ECS Fargateでは、ECS Exec登場以前まではexecができずにトラブルシューティングがやりづらい状態だったかと思います。 ECS Execはこの問題が解消される有用な機能です。 また、ECS Execは、単…
現在では、AWS Lambdaの実行環境にコンテナイメージが利用できます。 aws.amazon.com これにより、ECSやEKSといったコンテナ系のサービスだけでなく、Lambdaでもコンテナネイティブな開発環境を作ることができます。 自分の環境では、ECSやEKSとLambdaを併用…
ALB Ingress ControllerからAWS Load Balancer Controllerに変わってから、Getting Startedしてなかったので、試してみました。 公式ドキュメントのExamplesを試すでも良かったのですが、手数が多そうだったので、自分なりに手順を作りました。 kubernetes-s…
Kubecon EU 2021のセッションで知ったCluster API Provider AWSを軽く試したので、その内容を紹介します。 Cluster API Provider AWSを使って、EKSでKubernetes Clusterを作成しました。 ちなみにセッションはこれです。 kccnceu2021.sched.com youtu.be な…
この投稿は個人のメモ的な要素が強いです。 AWSを使っていると、S3にJSONファイルを配置する処理をたびたび行います。 その際にJSONからJSON Lines形式に変換すると、S3からデータを処理するときに都合が良いので、そのような処理もついでに行います。 Node.…
最近はRedashを使って、データを可視化することが多いので、その知見を紹介します。 Redashでよく使う便利機能と気をつけないといけないことについてです。 なお、Redashのバージョンは9.0.0-betaを使用しています。 よく使う便利機能 クエリパラメータ クエ…
本記事では、AWS環境でRedashを動かす場合に、ECSを使う例を紹介します。 できるだけ、手間をかけずにセットアップしたいため、Terraformとecspressoを使用します。 これらのツールを使われていない方でもRedashをECSで動かす参考になると思います。 公式に…
AWSでTerraformの実行を自動化する環境を作成しました。 github.com AWS内で閉じた形で、Terraformを使い、自動的にAWSリソースを作成する前提です。 Terraformを実行する環境はCodeBuildで用意しました。 その実現方法を紹介します。 環境作成 ディレクトリ…
以前にAthenaの記事を投稿した時にパーティションの作り方として、Lambda関数からAthenaのクエリを実行する方法を紹介しました。 hi1280.hatenablog.com このやり方よりも簡単にパーティションを作成する方法を今回は紹介します。 内容としては、パーティシ…
type: LoadBalancerは、ロードバランサーを表すKubernetesリソースです。 パブリッククラウドでのKubernetes環境であればLoadBalancerリソースを作成すると、各パブリッククラウドが提供するロードバランサーが作られて、Kubernetes環境でロードバランサーを…
ラズベリーパイでKubernetesクラスタを構築した場合、ラズベリーパイはCPUがARMアーキテクチャなので、各種プログラムの起動には、ARM用コンテナイメージが必要になります。 Argo CDなどで有名なArgo Projectのツールでは、ARM用のコンテナイメージがないこ…
調べた限り、モノレポでDockerイメージをいい感じにビルドする方法が見つからなかったので実装してみました。 AWS環境が前提で、CodeBuildを使ってDockerイメージをビルドする想定です。 GitHub Actionsを使えばもっとスマートに実装できるかもしれませんが…
2020年を何を学んだかで振り返ります。 仕事としてはインフラエンジニア的なポジションで、AWSを前提としてインフラづくりや運用に関わりました。 内容的には、前年から引き続きで、Kubernetesをベースにしたアプリケーションインフラの保守・運用をしました…
この記事は、Kubernetes3 Advent Calendar 2020の25日目の投稿です。 最近AWSとTerraformを使ってKubernetesを学ぶ本を書きました。 本記事では、その内容をただ載せるだけの楽をしてしまっています。すみません。ただの宣伝です。 興味を持った方は、明日か…
つい１ヶ月弱前に世の中で結構使われているであろうOSSにPull Requestを出してマージしてもらえました。 日常的にOSSにContributeしているようなエンジニアであれば、なんだそんなことかという感じかもしれません。 ただ自分としては初の体験であったため、…
Kubernetesにおけるデプロイ方法はGitOpsがデファクトスタンダードになったと思います。 GitOpsを実現するツールの中で、今回はArgo CDの使い方を紹介します。 argoproj.github.io 内容 セットアップ Argo CDをインストールします。 $ kubectl create namesp…
データ活用によって新たな価値を提供したいというニーズは日に日に高まっているように思います。 そんな昨今、データ基盤の構築に関わっています。 今回はAWSで実現するデータ基盤について、いくつかの例を交えて紹介します。 AWSではデータ基盤向けのサービ…
AWS Systems Manager Parameter Storeを使って、SecretsリソースをGenerateするKustomize Pluginを作りました。 作ったもの github.com この記事では、なぜこのPluginが必要だったのか、どのようにPluginを作ったかといったことを紹介します。 このPlugin自…
kubectl pluginという形でKubernetes Nativeなプログラムを作りました。 github.com その際に前提知識としてKubernetes APIの理解が必要だと感じました。 本投稿では、Kubernetes Nativeなプログラムを作る際に知っておくべき知識を紹介します。 なお、Goお…
AWS Instance Schedulerを知るまでは、LambdaとCloudWatch Eventを使用してEC2を起動・停止する処理を作成していました。 より高機能に起動・停止処理を行えるのがAWS Instance Schedulerです。 docs.aws.amazon.com EC2の起動時間を抑えるとコスト削減の効…
kubectl pluginのページで紹介されているcli-runtimeについて、kubeconfig fileを扱うヘルパーとして使えるなどkubectl pliuginを作るのに利用できるとあります。 kubernetes.io このcli-runtimeを使い方を調べてみたので、その内容を紹介します。 ソースは…
Raspberry Piを使って自宅環境でKubernetesクラスタを構築しました。 いわゆる、おうちKubernetesをやってみたかったのでやりました。 その内容を紹介します。 物理構築 自宅で未使用だったRaspberry Pi 3と買い足したRaspberry Pi 4を使用しました。 物品一…
Kubernetes Meetup Tokyoでここ1年くらいAmazon EKSに関わってきた内容を「1人運用を支えるAmazon EKSノウハウ」というタイトルで発表しました。 k8sjp.connpass.com 発表内容を振り返りつつ、補足も交えてここで紹介できればと思います。 発表資料は下記で…
