テーブル定義が変更された場合の後続データへの反映処理について知りたい

テーブル定義が変更された場合の後続データへの反映処理

前提として、インプットデータのテーブル定義(※)を変更した際の、後続データへの”反映処理”は、以下の2つに分けられます。
※テーブル定義とは、「データ型」や「カラム」といったデータに含まれている情報のことです
詳細は、システム用語集の「テーブル定義」をご参照ください。

a. 後続反映処理
   ・・・テーブル定義の変更が行われた際に、後続のデータファイルへ変更を反映する処理のことです。
        詳細は、b→dash用語集の「後続反映処理」をご参照ください。
b. 加工/統合処理
   ・・・後続反映処理で変更されたテーブル定義をもとに、データを最新化するために実行する処理のことです。
        詳細は、b→dash用語集の「加工/統合処理」をご参照ください。
以下では、後続データファイルへの「後続反映処理」と「加工/統合処理」が実行される順序と、「後続反映処理」が完了するまでの操作制御について説明しています。

処理の順序

「後続反映処理」と「加工/統合処理」の順序について、[データファイル A][データファイル B]をインプットとして、[データファイルC]や[データファイルD]を作成している場合を例に説明します。

仮に、[データファイル A]のテーブル定義が変更された場合、[データファイルC]において「② 後続反映処理→ ③ 統合処理」の順で処理が実行されます。
その後、[データファイルD]にて「④ 後続反映処理 → ⑤ 加工処理」の順で処理が実行されます。

後続データファイルの操作制御

インプットデータファイルのテーブル定義が変更された場合に、後続データのデータファイル詳細画面を開くと、以下のいずれかのモーダルが表示され、後続データの操作が制御されます
※ 詳細画面を表示したデータファイルが、”参照データファイル”の場合は左図のモーダル、”参照データファイル以外”の場合は右図のモーダルが表示されます。

後続データで制御される具体的な操作については、下記の表をご参照ください。

【後続データで制御される具体的な操作】
# データファイルの種類 制御される操作
1 加工データファイル ・加工タスクの追加/編集/削除
2 SQLで加工したデータファイル ・SQLを追加/編集
・個人情報カラムの設定
・統合タイミングの設定
3 テンプレートで作成した統合データファイル ・統合対象の選択
・個人情報カラムの設定
・統合タイミングの設定
4 カスタマイズで作成した統合データファイル ・データフローの設定
・統合タイミングの設定

参考:2024年9月19日リリース以前の仕様について

2024年9月19日のリリースによって、テーブル定義が変更された場合の処理の挙動が変更され、「1.テーブル定義が変更された場合の後続データへの反映処理」に記載の仕様になりました。
リリース以前の仕様については、以下をご参照ください。

リリース前に発生していた課題

以下のようなデータファイルの依存関係であった場合に、本来であれば[データファイル C] → [データファイル D]の順番で加工/統合処理が行われるべきですが、[データファイル D] → [データファイル C]の順番で処理が行われてしまい、エラーが発生するという事象が発生していました。

発生していた課題の詳細

上記の依存関係において、[データファイル A]のテーブル定義が変更されると、次の順番で後続反映処理が行われていました。

 【後続反映処理の順番】
  [データファイル C] → [データファイル D]

その後、次の順番で加工処理と統合処理が行われると、
統合処理が行われる前の[データファイル C]のデータを参照して[データファイル D]の加工処理が行われるため、
データの不整合が発生してしまい、[データファイル D]にエラーが発生していました

 【加工処理と統合処理の順番】
  [データファイル D] → [データファイル C]

またエラーが発生した場合、画面上でエラー内容を確認する手段がなく、弊社に問い合わせる必要がありました

リリース前の仕様

処理の順序について

リリース前までは、インプットデータのテーブル定義が変更されると、各後続データファイルの反映処理が実施後、加工/統合処理が各後続データファイルにて実施されていました。

例えば、以下画像の場合、[データファイル D]の後続反映処理の実施後、[データファイル C]と[データファイル D]の加工/統合処理が行われていました。

後続データの操作制御について

リリース前までは、インプットデータで変更されたテーブル定義が後続のデータファイルに反映されていない状態でも、後続のデータファイルを編集することができました。