DataOps
「DataOps for Dummies」本の備忘メモ。
dbt/Dataformユーザーは全員実践していると思う。が、こうやって改めて言われてみるとなるほどなと。
Start with a clear understanding of how critical storing data in raw format through ELT can be.
Create atomic and reusable code to begin creating value.
Automate what you can at each step.
Fail fast: Fix code often enough so errors don’t appear in your data for users to find.
Overcome siloed data wherever you find it; address physical silos and logical siloes or those created by security barriers.
Involve the end-users and collaborate daily or even hourly.
Avoid use cases where a large number of different data sets are needed to deliver even basic value.
Don’t forget the value of automated testing. Nothing shows more value than showing that the data the business has been using for years has errors in it!
ELTを通じて生の形式でデータを保存することがいかに重要であるかを明確に理解することから始めましょう。
アトミックで再利用可能なコードを作成し、価値の創造を開始する。
各ステップでできることを自動化する。
早く失敗する。頻繁にコードを修正し、データ内にエラーが発生しないようにする。
物理的なサイロ、論理的なサイロ、あるいはセキュリティ上の障壁によって生じたサイロに対処する。
エンドユーザーを巻き込み、毎日、あるいは毎時コラボレーションを行う。
基本的な価値を提供するために、多数の異なるデータセットが必要となるようなユースケースは避ける。
自動テストの価値を忘れてはいけない。ビジネスで何年も使ってきたデータにエラーがあることを示すことほど、価値を示すものはない!