GitHub Actions
Airflow/Digdag/Airbyteがtoo muchな要件においてGitHub Actionsはちょうどいい。無料枠が太っ腹だし設定が全てYAMLなのもいい。
一つのワークフローに詰めすぎないよう分割管理するのが好き。他ワークフローを終えたら別のものが発火するような設定をよく仕込んでいる。例えばdbt buildとdbt DocsをGAEにデプロイするワークフローと、elementaryを実行してレポートをGAEにデプロイするワークフローを分けたり。前者だけ実行したいことが頻繁にあるためだ。
デメリットとしては数が増えると依存関係がわからなくなるということが挙げられるが、そもそもそんな数が多いわけでもないので何ら問題にもならない。最初に発火させてやるワークフローさえわかっていればいい。データ取得からDWHへのロードもbq loadでやっちゃえNI●SANである。