本記事では
本記事では、「データを正しく取り込めたかどうか検証したい」という要件について、「データの取り込み検証」の方法をご紹介します。
データの取り込み検証とは
b→dashでは、b→dashに取り込まれた無加工のデータ（貴社システムからb→dashへ連携しただけの状態のデータ）を「1次データ」、1次データをb→dash上で扱いやすい形式に加工/統合したデータを「2次データ」、2次データを施策/分析に利用できる形式に加工/統合したデータを「4次データ」と呼びます。
「データの取り込み検証」は、1次データにおいて「b→dashでのデータ取込設定」が意図通り行われているか確認する作業を指します。「データの取り込み検証」を2次データのデータ構築前に行なうことで、データ構築工程での手戻りの発生を防ぐことができます。
「データの取り込み検証」は具体的に、下記2点を確認致します。
❶ 取込設定が正しく設定されているか
❷ 定期更新が正しく行われているか
データの取り込み検証を行う
1次データの「データの取り込み検証」の確認観点は、『❶ 取込設定が正しく設定されているか』と『❷ 定期更新が正しく行われているか』の2点になります。
以下では、確認観点の2点について説明します。
❶ 取込設定が正しく設定されているか
取込設定が正しく設定されているかは、「① ヘッダー行の選択」「② データ開始行の選択」「③ データ型の選択」「④ カラム名の設定」「⑤ 主キーの選択」「⑥ 個人情報保護設定」の6項目について問題がないかを確認します。
以下では6項目の確認方法と確認観点などについて説明します。
「データパレット」をクリックします
「データを確認」をクリックします
検証したい1次データを選択します
データファイルの内容を確認できます
① ヘッダー行の選択
ヘッダー行として設定した行が、カラム名が記載されている行になっているか確認します
| 項目 | 確認観点 | よくある間違い |
|
ヘッダー行の
選択 |
取込設定時にヘッダー行として設定した行が、カラム名が記載されている行になっているかご確認ください。 | データの1行目にカラム名があるにもかかわらず、取込設定時にヘッダー行を「なし」と設定した結果、カラム名も1レコードとして取込まれている |
② データ開始行の選択
データ開始行として設定した行が、値が格納されている行か確認します
| 項目 | 確認観点 | よくある間違い |
|
データ
開始行の 選択 |
取込設定時にデータ開始行として設定した行が、値が格納された行になっているかご確認ください。 | データの2行目から値が格納されているにもかかわらず、取込設定時にデータ開始行を「3行目」と設定した結果、値が格納されているデータの2行目が取込まれなかった |
③ データ型の選択
カラム名の横の「データ型のアイコン」でデータ型が想定のものになっているか確認します
| 項目 | 確認観点 | よくある間違い |
|
データ型の
設定 |
取込設定時に設定したデータ型が想定のものになっているかご確認ください。
※「顧客ID」などのIDが記載されたカラムはデータ型を「テキスト型」で設定を行ってください |
「日付型」として取込みたいデータを「テキスト型」に設定した結果、値が「NULL」に変換されている |
| データ型 | アイコン | データ型 | アイコン |
| テキスト型 |
 |
日付型 |
 |
| 整数型 |
 |
日時型 |
 |
| 小数型 |
 |
真偽値型 |
 |
④ カラム名の設定
取込設定時に設定したカラム名とデータの値が一致しているか確認します
| 項目 | 確認観点 | よくある間違い |
|
カラム名の
設定 |
取込設定時に設定したカラム名とデータの値が一致しているかご確認ください。 | カラム名に「顧客ID」と設定したにもかかわらず、データの値が「受注ID」になっている |
⑤ 主キーの選択
「取込設定」をクリックします
主キーに選択したカラムが「顧客ID」や「受注ID」のような、データファイル内でレコードをユニークにするためのカラムになっているかを確認しましょう
| 項目 | 確認観点 | よくある間違い |
|
主キーの
選択 |
取込設定時に主キーに選択したカラムが、データファイル内でレコードをユニークにするためのカラムになっているかを確認しましょう。
例）「顧客データ」における「顧客ID」 「受注データ」における「受注ID」 |
「顧客データ」では「顧客ID」を主キーに設定しないといけないにもかかわらず、「受注ID」が主キーに設定されている |
⑥ 個人情報保護設定
カラム名の横のアイコンで個人情報保護設定をしたカラムを確認します
個人情報保護設定をしたカラム以外で、個人情報が含まれているカラムが存在していないか確認します
| 項目 | 確認観点 | よくある間違い |
|
個人情報保護
設定 |
取込設定時に個人情報保護設定をしたカラム以外で、個人情報が含まれているカラムが存在していないかご確認ください。 | 個人情報が含まれているカラムに「個人情報保護設定」を行っていない |
❷ 定期更新が正しく行われているか
「定期更新が正しく行われているか」を検証するためには、「b→dash上のデータファイルのレコード数」と「貴社が保有する連携元のデータに対して連携実施時点から検証時点までの期間に絞込みを行ったレコード数」を比較する必要があります。
以下では、「定期更新が正しく行われているか」の確認観点について説明します。
「定期更新が正しく行われているか」の検証は、定期更新の更新方法が『取込済みファイルを削除し全て更新（全件更新）』のデータファイルのみ正しく実施することができます。
『取込済みファイルとの差分のみ更新（差分更新）』の場合、「貴社が保有する連携元のデータ」の特定のレコードを削除しても、更新時に「b→dashに取込んでいるデータ」から特定のレコードは削除されません。そのため『差分更新』では、「貴社が保有する連携元のデータ」と「b→dashに取込んでいるデータ」のレコード数に差分が生じる可能性があります。
定期更新の検証は、「貴社が保有する連携元のデータ」と「b→dashに取込んでいるデータ」のレコード数が一致するかどうかで確認を行うため、更新方法が『差分更新』のデータファイルでは正しく実施することができませんのでご留意ください。
更新方法の『全件更新』『差分更新』の詳細については「データを取り込みたい」をご参照ください。
「データパレット」をクリックします
「データを確認」をクリックします
確認したい1次データのレコード数を確認します
確認観点
b→dash上のデータファイルのレコード数と、貴社が保有する連携元のデータに対して「データ連携を行った日付」から「検証を行っている当日の日付」に抽出したレコード数が「一致」していれば、定期更新が正しく行われています。
