BeeX Tech blog

BeeXではクラウドネイティブアプリ開発、企業の基幹クラウド基盤構築、システム移行、運用保守を行っています。

GlueJobからRedshiftServerlessに直接インサートするサンプルデータパイプラインのご紹介

はじめに 構築構成 構築方法 前提 事前準備 構築作業 リポジトリ構成 templateフォルダ構成 variables.tf glue_job_sample_script.tf s3-glue-redshift-insert-job.py step_functions.tf redshift_serverless.tf glue_connection.tf vpc_endpoint.tf docker-…

Redshiftのメンテナンスウィンドウ時間帯にRedshiftが停止していた場合の挙動

前提条件 実現したいこと 設定変更前 設定変更 設定変更後 発生した事象 原因 まとめ 最後に Redshiftのメンテナンストラックの種類を変更しようとしたところ、想定外の挙動をしたことがありました。メンテナンストラックの種類の更新はメンテナンスウィンド…

Redshift SpectrumからクロスアカウントでS3アクセスしてみた

やりたいこと 前提条件 設定のポイント 検証 1.アカウント1にRedshiftとの信頼関係を持つIAMロールを作成してRedshiftに関連づける 2.アカウント2にGlueおよびS3へのアクセス権を持つポリシーを作成する 3.アカウント2にロールを作成する 4.アカウント1…

Redshiftスケジュール起動・停止で発生する不要なアラートを抑止する

はじめに 設計 設定手順 1. IAMポリシーの作成 2. IAMロールの作成 3. Lambda関数の作成 ソースコード ソースコードの補足 4. CloudWatchルール設定 おわりに はじめに【追記:2021年8月23日】Redshiftクラスタの起動に15分以上かかる場合があり、Lambdaがタ…