本投稿では、AWSを前提にして、SQLを使ってデータ基盤の監視を行う方法について紹介します。 以下のBigQueryを使用した事例をかなり参考にさせてもらっています。 tech-blog.monotaro.com データ基盤を運用していると、データ処理後に生成されるデータの中身…

背景 Amazon Athenaにおいて、既存テーブルのカラムのデータ型を変更する場合、単純に変更できないことがあります。 本内容では、Athenaにおけるデータ型の変更方法について説明します。 また、データの形式としてParquetでデータを扱っていることを前提とし…

以前にAthenaの記事を投稿した時にパーティションの作り方として、Lambda関数からAthenaのクエリを実行する方法を紹介しました。 hi1280.hatenablog.com このやり方よりも簡単にパーティションを作成する方法を今回は紹介します。 内容としては、パーティシ…

データ活用によって新たな価値を提供したいというニーズは日に日に高まっているように思います。 そんな昨今、データ基盤の構築に関わっています。 今回はAWSで実現するデータ基盤について、いくつかの例を交えて紹介します。 AWSではデータ基盤向けのサービ…

Athenaを使うとS3上のデータを分析することが可能です。 今回はS3上に出力されるALBのアクセスログをAthenaを使って分析してみました。 パフォーマンスを計測する用途です。 ALBのアクセスログは結構なデータ量になることが想定されるので、パーティションを…