How to
How to use an erd template.
- 01監視対象のエンティティを特定する
モデル、データセット、予測、正解ラベルなど、追跡する必要がある主要オブジェクトを一覧にします。
- 02関係を定義する
モデルを推論ログ、特徴量、アラートイベントに接続し、すべてのモニタリングクエリに明確な参照経路を持たせます。
- 03モニタリング指標を追加する
データドリフト、モデル性能、バイアスの指標を、タイムスタンプやしきい値とともに管理するテーブルを追加します。
- 04本番データと基準データを分ける
ライブの予測データと、比較に使う基準データや検証用データセットの違いをモデル化します。
- 05ERDを生成する
生成ツールを使って、エンティティ一覧と関係を共有可能な図に変換します。
FAQ
Questions about erd templates
機械学習モニタリングのデータモデルには、通常どのテーブルが含まれますか？
一般的なテーブルには、モデル、モデルバージョン、推論ログ、予測結果、正解ラベル、特徴量スナップショット、ドリフト指標、アラートイベントが含まれます。
モデルドリフトを監視するERDはどのように設計しますか？
モデルバージョンとタイムスタンプに紐づくmetricsテーブルを作成し、各特徴量やデータ分布のドリフト測定値を保存します。
予測データと正解ラベルは別テーブルにすべきですか？
はい。正解ラベルは後から到着することがあり、遅延評価に利用できるため、予測データとは別に管理します。prediction IDを使って両者を関連付けます。
これらのERD例を異なるMLユースケースに対応させられますか？
もちろんです。「recommendation」や「sensor」などのエンティティを、アプリケーション固有の予測名や特徴量名に置き換えたり拡張したりできます。モニタリングの基本的な関係は維持してください。
バイアス検出用に別テーブルは必要ですか？
バイアス検出の指標は、metric typeフィールドを持つmetricsテーブルに入れることが多いですが、公平性のグループやスライスを追跡する場合は、グループ単位の指標用に別テーブルが必要になることがあります。