データエンジニアリングにおいて、初手の処理として、各システムからデータを抽出する処理があります。よく言われるETLやELTと呼ばれる最初のExtractの処理です。 そこから始まり、利用者にデータを使ってもらえるように可視化や分析のプロセスを構成するか…

本投稿では、AWSを前提にして、SQLを使ってデータ基盤の監視を行う方法について紹介します。 以下のBigQueryを使用した事例をかなり参考にさせてもらっています。 tech-blog.monotaro.com データ基盤を運用していると、データ処理後に生成されるデータの中身…

データ活用によって新たな価値を提供したいというニーズは日に日に高まっているように思います。 そんな昨今、データ基盤の構築に関わっています。 今回はAWSで実現するデータ基盤について、いくつかの例を交えて紹介します。 AWSではデータ基盤向けのサービ…