Google Cloudのデータを出力したい

はじめに

b→dashへデータを連携するにあたっての全体像や、どのような連携方法があるかを知りたい場合は、まずは以下の記事をご覧ください

Google Cloudでデータを出力する際の2つのパターン

Google Cloud(GCS)連携でデータを出力するには「GCSを貴社の領域に置き貴社サーバーがデータを取りに行く」パターンと「GCSをb→dashの領域に置き貴社サーバーがデータを取りに行く」パターンの2つの手法があり、それぞれで設定方法が異なります。

それぞれのパターンごとに、どのような設定が必要かを説明していきます!

GCSを貴社の領域に置き貴社サーバーがデータを取りに行くパターン

出力先を設定する

データパレット」をクリックします

データを連携」をクリックします

出力先」をクリックします

新規追加」をクリックします

GCS」をクリックします

GCSを貴社の領域に置き貴社サーバーがデータを取りに行く」をクリックします

GCS連携に必要な「接続情報」(バケット名/フォルダパス/クレデンシャル)を入力します

「バケット名」「フォルダパス」「クレデンシャル」の確認方法

Google Cloud Storageの連携に必要な、「バケット名」「フォルダパス」「クレデンシャル」の確認方法を説明します。

「バケット名」「フォルダパス」の確認方法
左上の「ナビゲーションメニュー」をクリックします

Cloud Storage」を選択します

b→dashに連携したい「バケット」の名前をクリックします

表示されているバケット名をコピーします

バケットの中から、連携対象となるフォルダの名前をコピーします。これが、「フォルダパス」になります

フォルダをクリックした際に表示されるファイルが、b→dashに連携されます

「クレデンシャル」の確認方法
Google Cloud Storage」にアクセスし、「IAMと管理」をクリックします

サービスアカウント」をクリックします

サービスアカウントを作成」をクリックします

サービスアカウント名」に任意の名前を入力します

ロールを選択」をクリックし、「閲覧者」をクリックします

完了」をクリックします

作成された「メール」をクリックします

キー」をクリックします

鍵を追加」を選択し、「新しい鍵を作成」をクリックします

JSON」を選択し、「作成」をクリックします

ファイル保存画面が出てきたら、「保存」をクリックします

保存したファイルを開くと、「クレデンシャル」が記載されています

{」から、「}」までの全てがクレデンシャルです。全てコピーして、b→dashに登録しましょう。
名前」を入力し、「保存」をクリックします

新規作成した連携が画面に表示されます

サーバーを制限するために設定するb→dashのIPアドレス

セキュリティ上の理由で、接続できるサーバーを制御する必要がある場合は、b→dashのIPアドレスのみ貴社のサーバーが接続できるように設定をお願いいたします。b→dashが使用しているIPアドレスに関しては、以下の記事をご確認ください。

取込/出力で設定するIPアドレスを知りたい

連携のステータスを確認します

連携のステータスは、アイコンで把握することができます!
GCS連携でGCSを貴社の領域に置き貴社サーバーがデータを取りに行く際のステータス
「接続完了」にならない場合はこちらを参照ください

ステータスが「接続完了」にならない場合は、何らかの設定が誤っていると考えられます。以下によくある設定誤りを記載しますので、こちらに該当しないかご覧ください。

考えられる原因 改善策
b→dashへ登録されているクレデンシャルが間違っている クレデンシャルが正しくないと疎通時にエラーが発生します。そのため以下の手順にて、設定頂いたキーが正しいかをご確認ください。

【確認方法】
①データパレット>データを連携するを開く
②出力先のタブをクリック
③対象GCSエリアをクリックし、編集をクリック
④登録されているクレデンシャルを確認し登録内容に誤りがないかを確認する
GCS出力先設定にて入力されている接続先情報(バケット名、フォルダパス)に誤りがある 接続先情報に誤りがあると正しくアクセス出来ません。以下手順にて、ご確認ください。

【確認方法】
①データパレット>データを連携するを開く
②出力先のタブをクリック
③対象GCSエリアをクリックし、編集をクリック
④入力されている接続先情報を確認し、登録内容に誤りがないかを確認する
ファイル出力設定が完了していない 「ファイル出力設定」が設定されていない可能性があります。以下手順にてご確認ください。

【確認方法】
①データパレット>データを連携するを開く
②出力先のタブをクリックする
③対象GCSエリアをクリックする
④対象GCSエリア内にファイルアイコンがあるかを確認する
ファイル出力設定にて設定されているファイルの連携タイミングにズレがある 「ファイル出力設定」の連携タイミングの設定が想定外の時間となっているため、ファイルが出力されていない可能性があります。以下手順にて、ご確認ください。

【確認方法】
①データパレット>データを連携するを開く
②出力先のタブをクリックする
③対象GCSエリアをクリックする
④対象GCSエリア内にファイルアイコンをダブルクリックする
⑤出力タイミング設定を確認する
ファイル出力に時間がかかっている 「ファイル出力設定」がされているデータの出力に時間がかかっている可能性が考えます。 以下手順にて、ご確認ください。

【確認方法】
①データパレット>データを連携するを開く
②出力先のタブをクリックする
③対象GCSエリアをクリックする
④対象GCSエリア内にファイルアイコンのステータスが完了になっていることを確認する
ファイル出力に利用している統合データの処理が間に合っていない 「ファイル出力設定」の元となる統合データの処理が遅延し、出力時刻に間に合っていない可能性が考えられます。以下手順にてご確認ください。

【確認方法】
①データパレット>データを確認するを開く
②出力設定している統合データをクリック
③履歴アイコンより処理が完了しているか確認する
これでGCS連携の設定は完了です!次に、出力するファイルの設定を行います。

出力するファイルを設定する

データパレット」をクリックします

データを確認」をクリックします

出力したい「データ」をクリックします

GCS連携において出力できる、1ファイルあたりの上限サイズについては、「各設定項目の上限値を確認したい」のこちらの記載をご参照ください。
データ出力」をクリックします

外部システム出力」をクリックします

先ほど作成した「連携先システム」を選択し、「適用」をクリックします

出力する列」を指定します

出力タイミング」を、「単発」「繰り返し」のどちらかに設定します

繰り返し」を設定した場合、連携頻度と時間を設定の上「追加」を選択します

データファイル更新時に出力するにチェックを入れるとどうなるの??

  • ファイルが更新されるごとに、データが出力されます
  • 「データファイル更新時に出力する」にチェックを入れ、更に時間指定も追加で行うことも可能です
  • 時間指定を行わず、「データファイル更新時に出力する」のみチェックを入れることも可能です
出力時の「ファイル名」「ファイル形式」「文字コードを選択します

その他の設定として、「ヘッダーも出力する」「個人情報をマスキングする」に任意でチェックをいれます

個人情報をマスキングする」にチェックを入れた場合、個人情報のカラムは「*(アスタリスク)」で表示されます。どのカラムを個人情報カラムに設定するかは、データの取込時に設定します。個人情報カラムの設定方法はこちらをご覧ください。
[任意]「タイムスタンプをつける」にチェックをいれ、最後に「適用」をクリックします

タイムスタンプにチェックを入れたらどうなるの??
  • タイムスタンプにチェックを入れると、出力時のファイル名の末尾に、『年月日時分秒』が自動で付与されます
  • どのようなファイル名になるかは、出力ファイル名のプレビューで確認することができます
出力設定したデータが表示されます

GCSをb→dashの領域に置き貴社サーバーがデータを取りに行くパターン

出力先を設定する

データパレット」をクリックします

データを連携」をクリックします

出力先」をクリックします

新規追加」をクリックします

GCS」をクリックします

GCSをb→dashの領域に置き貴社サーバーがデータを取りに行く」をクリックします

バケット名」をGCSに登録します

クレデンシャル」をコピーし、GCSに登録します

名前」を入力し、「保存」をクリックします

新規作成した連携が画面に表示されます

サーバーを制限するために設定するb→dashのIPアドレス

セキュリティ上の理由で、接続できるサーバーを制御する必要がある場合は、b→dashのIPアドレスのみ貴社のサーバーが接続できるように設定をお願いいたします。b→dashが使用しているIPアドレスに関しては、以下の記事をご確認ください。

取込/出力で設定するIPアドレスを知りたい

連携のステータスを確認します

連携のステータスは、アイコンで把握することができます!
GCS連携でGCSをb→dashの領域に置き貴社サーバーがデータを取りに行く際のステータス

これでGCS連携の設定は完了です!次に、出力するファイルの設定を行います。

出力するファイルを設定する

データパレット」をクリックします

データを確認」をクリックします

出力したい「データ」をクリックします

GCS連携において出力できる、1ファイルあたりの上限サイズについては、「各設定項目の上限値を確認したい」のこちらの記載をご参照ください。
データ出力」をクリックします

外部システム出力」をクリックします

先ほど作成した「連携先システム」を選択し、「適用」をクリックします

出力する列」を指定します

出力タイミング」を、「単発」「繰り返し」のどちらかに設定します

繰り返し」を設定した場合、連携頻度と時間を設定の上「追加」を選択します

データファイル更新時に出力するにチェックを入れるとどうなるの??

  • ファイルが更新されるごとに、データが出力されます
  • 「データファイル更新時に出力する」にチェックを入れ、更に時間指定も追加で行うことも可能です
  • 時間指定を行わず、「データファイル更新時に出力する」のみチェックを入れることも可能です
出力時の「ファイル名」「ファイル形式」「文字コードを選択します

その他の設定として、「ヘッダーも出力する」「個人情報をマスキングする」に任意でチェックをいれます

個人情報をマスキングする」にチェックを入れた場合、個人情報のカラムは「*(アスタリスク)」で表示されます。どのカラムを個人情報カラムに設定するかは、データの取込時に設定します。個人情報カラムの設定方法はこちらをご覧ください。
[任意]「タイムスタンプをつける」にチェックをいれ、最後に「適用」をクリックします

タイムスタンプにチェックを入れたらどうなるの??
  • タイムスタンプにチェックを入れると、出力時のファイル名の末尾に、『年月日時分秒』が自動で付与されます
  • どのようなファイル名になるかは、出力ファイル名のプレビューで確認することができます
出力設定したデータが表示されます