Amazon S3へデータを出力したい

はじめに

b→dashへデータを連携するにあたっての全体像や、どのような連携方法があるかを知りたい場合は、まずは以下の記事をご覧ください

S3でデータを出力する際の2つのパターン

S3連携でデータを出力するには「S3を貴社の領域に置き貴社サーバーがデータを取りに行く」パターンと「S3をb→dashの領域に置き貴社サーバーがデータを取りに行く」パターンの2つの手法があり、それぞれで設定方法が異なります。

それぞれのパターンごとに、どのような設定が必要かを説明していきます!

S3を貴社の領域に置き貴社サーバーがデータを取りに行くパターン

下記では、S3を貴社の領域に置き貴社サーバーがデータを取りに行くパターンの手順を紹介します。
なお、S3に接続できるサーバーを限定したい場合は、貴社のシステムにてアクセスできるIPアドレスの制限を設定してください。b→dashで利用しているIPアドレスについては、「取込/出力で設定するIPアドレスを知りたい」をご参照ください。

出力先を設定する

データパレット」をクリックします

データを連携」をクリックします

出力先」をクリックします

新規追加」をクリックします

S3」を選択し、「適用」をクリックします

S3を貴社の領域に置き貴社サーバーがデータを取りに行く」をクリックします

S3連携に必要な「接続情報」(AWSアクセスキー/AWSシークレットアクセスキー/バケット名/フォルダパス/リージョン)を入力します

「AWSアクセスキー」「AWSシークレットアクセスキー」「バケット名」「フォルダパス」「リージョン」の確認方法

S3の連携に必要な、「AWSアクセスキー」「AWSシークレットアクセスキー」「バケット名」「フォルダパス」「リージョン」の確認方法を説明します。

「AWSアクセスキー」「AWSシークレットアクセスキー」の確認方法
AWS」にアクセスします

サービスメニュー一覧から「IAM」をクリックします

サイドメニューの「ユーザー」をクリックします

ユーザーを追加」をクリックします

ユーザー名」を入力し「プログラムによるアクセス」にチェックを付けた後「次のステップ」をクリックします

ユーザーをグループに追加」をクリックして「グループ」の欄にチェックをいれ「次のステップ:タグ」をクリックします

次のステップ:確認」をクリックします

ユーザーの作成」をクリックします

アクセスキーID(AWSアクセスキー)」と「シークレットアクセスキー」が表示されます

シークレットアクセスキーはこの後表示できなくなるため、必ずcsvファイルでダウンロードしておくかメモをしておきましょう。
「バケット名」「フォルダパス」「リージョン」の確認方法
サービスメニューから「S3」を選択します

AWSリージョン(リージョン)」が確認出来ます

表示された「バケット名」をクリックします

フォルダパス」が表示されます

名前」を入力し、「保存」をクリックします

新規作成した連携が画面に表示されます

連携のステータスを確認します

連携のステータスは、アイコンで把握することが出来ます!
S3連携でS3を貴社の領域に置き貴社サーバーがデータを取りに行く際のステータス
「接続完了」にならない場合はこちらを参照ください

ステータスが「接続完了」にならない場合は、何らかの設定が誤っていると考えられます。以下によくある設定誤りを記載しますので、こちらに該当しないかご覧ください。

考えられる原因 改善策
登録いただいているAWSアクセスキーとAWSシークレットアクセスキーが間違っている AWSアクセスキー、AWSシークレットアクセスキーが正しくないと疎通時にエラーが発生します。
そのため以下の方法で設定いただいたキーが正しいか確認をお願いします。

【確認方法】
① データパレット>データを連携するを開く
② 出力先のタブをクリック
③ 対象S3エリアをクリックし編集をクリック
④ 入力されているAWSアクセスキー、AWSシークレットアクセスキーを確認し出力したいS3接続先情報のものになっているかを確認する
S3出力先設定にて入力いただいている接続先情報(バケット名、フォルダパス、リージョン)が間違っている 接続先情報に誤りがあると正しくアクセスできない事象が発生します。
誤りがないか以下より確認をお願いします。

【確認方法】
① データパレット>データを連携するを開く
② 出力先のタブをクリック
③ 対象S3エリアをクリックし編集をクリック
④ 入力されている接続先情報を確認し出力したいS3接続先情報になっているかを確認する
ファイル出力設定が完了していない 「ファイル出力設定」が設定されていない可能性があります。
以下確認方法よりご確認をお願いします。

【確認方法】
① データパレット>データを連携するを開く
② 出力先のタブをクリックする
③ 対象S3エリアをクリックする
④ 対象S3エリア内にファイルアイコンがあるかを確認する
ファイル出力設定にて設定されているファイルの連携タイミングにズレがある 「ファイル出力設定」の連携タイミングの設定が想定外の時間となっているためファイルが出力されていない可能性があります。
そのため以下確認方法よりご確認をお願いします。

【確認方法】
① データパレット>データを連携するを開く
② 出力先のタブをクリックする
③ 対象S3エリアをクリックする
④ 対象S3エリア内にファイルアイコンをダブルクリックする
⑤ 出力タイミング設定を確認する
これでS3連携の設定は完了です!次に、出力するファイルの設定を行います。

出力するファイルを設定する

データパレット」をクリックします

データを確認」をクリックします

出力したい「データ」をクリックします

データ出力」をクリックします

外部システム出力」をクリックします

先ほど作成した「連携先システム」を選択し、「適用」をクリックします

出力する列」を指定します

出力タイミング」を、「単発」「繰り返し」のどちらかに設定します

繰り返し」を設定した場合、連携頻度と時間を設定の上「追加」を選択します

データファイル更新時に出力するにチェックを入れるとどうなるの??
  • ファイルが更新されるごとに、データが出力されます
  • 「データファイル更新時に出力する」にチェックを入れ、更に時間指定を追加で行うことが可能です
  • 時間指定を行わず、「データファイル更新時に出力する」のみチェックを入れることも可能です
出力時の「ファイル名」「ファイル形式」「文字コードを選択します

その他の設定として、「ヘッダーも出力する」「個人情報をマスキングする」に任意でチェックをいれます

個人情報をマスキングする」にチェックを入れた場合、個人情報のカラムは「*(アスタリスク)」で表示されます。どのカラムを個人情報カラムに設定するかは、データの取込時に設定します。個人情報カラムの設定方法はこちらをご覧ください。
[任意]「タイムスタンプをつける」にチェックをいれ、最後に「適用」をクリックします

タイムスタンプにチェックを入れたらどうなるの??
  • タイムスタンプにチェックを入れると、出力時のファイル名の末尾に、『年月日時分秒』が自動で付与されます
  • どのようなファイル名になるかは、出力ファイル名のプレビューで確認することが出来ます
出力設定したデータが表示されます

S3をb→dashの領域に置き貴社サーバーがデータを取りに行くパターン

下記では、S3をb→dashの領域に置き貴社サーバーがデータを取りに行くパターンの手順を紹介します。
b→dashの領域にS3を置く場合、アクセスできるIPアドレスをS3側から制限し、S3に接続できるサーバーを限定します。そのため貴社システム側から、アクセスできるIPアドレスの制限を設定する必要はありません。

出力先を設定する

データパレット」をクリックします

データを連携」をクリックします

出力先」をクリックします

新規追加」をクリックします

S3」を選択し、「適用」をクリックします

S3をb→dashの領域に置き貴社サーバーがデータを取りに行く」をクリックします

「接続情報」(AWSアクセスキー/AWSシークレットアクセスキー/バケット名/フォルダパス/ユーザー名)を中間サーバーに登録します

名前」を入力し、「保存」をクリックします

新規作成した連携が画面に表示されます

連携のステータスを確認します

連携のステータスは、アイコンで把握することが出来ます!
S3連携でS3をb→dashの領域に置き貴社サーバーがデータを取りに行く際のステータス
「接続完了」にならない場合はこちらを参照ください

ステータスが「接続完了」にならない場合は、何らかの設定が誤っていると考えられます。以下によくある設定誤りを記載しますので、こちらに該当しないかご覧ください。

考えられる原因 改善策
AWSアクセスキー及び AWSシークレットアクセスキーが一致していない b→dash上に表示されているAWSアクセスキー 及びAWSシークレットアクセスキーの内容と 貴社でご利用頂いている接続情報が一致しているかをご確認下さい。

【確認方法】
①データパレット>データを出力するへ移動
②対象S3エリア右上の三点リーダボタンをクリック頂き出力設定を押下
③「編集」ボタンを押下
④「出力システム登録」から表示される接続情報のうち「AWSアクセスキー」及び「AWSシークレットアクセスキー」の部分に入力されている内容を確認する
S3出力ファイル取得時のバケット名・フォルダパス・ユーザー名が誤っている S3出力先の接続情報に誤りがないか、以下手順にてご確認をお願いします。

【確認方法】
①データパレット>データを出力するへ移動
②対象S3エリア右上の三点リーダボタンをクリック頂き出力設定を押下
③表示されているS3接続情報のバケット名・フォルダパス・ユーザー名を確認
参照が許可されていないバケットへアクセスしようとしている 参照が許可されているのは、以下のバケット配下となります。

s3://bdash2-preparation-pub-prd/[S3接続情報のフォルダバス記載の情報]/
[S3接続情報のフォルダバス記載の情報]は以下手順にてご確認下さい。

【確認方法】
①データパレット>データを出力するへ移動
②対象S3エリア右上の三点リーダボタンをクリック頂き出力設定を押下
③表示されているS3接続情報のフォルダバスを確認
出力したいデータの出力設定が完了していない 出力したいデータの出力設定をご作成頂いていない場合は、以下手順にてご作成をお願いします。

【作成方法】
①データパレット>データを出力するへ移動
②対象S3エリアをクリック
③+ボタンをクリック
④出力したいデータをクリックし、出力設定を実施する
ご設定頂いているファイルの出力タイミングが想定と異なっている ご設定頂いているファイルの出力タイミングが貴社にて想定頂いているタイミングと異なっている可能性が御座います。
以下手順にて、出力タイミングをご確認ください。

【確認方法】
①データパレット>データを出力するへ移動頂く
②対象S3エリアをクリック
③出力対象のデータをクリック
④表示されている出力時間を確認
※連携タイミングが「データ更新時」となっている場合は、出力対象のファイルの更新時間をご確認頂けますようお願いします。
これでS3連携の設定は完了です!次に、出力するファイルの設定を行います。

出力するファイルを設定する

データパレット」をクリックします

データを確認」をクリックします

出力したい「データ」をクリックします

データ出力」をクリックします

外部システム出力」をクリックします

先ほど作成した「連携先システム」を選択し、「適用」をクリックします

出力する列」を指定します

出力タイミング」を、「単発」「繰り返し」のどちらかに設定します

繰り返し」を設定した場合、連携頻度と時間を設定の上「追加」を選択します

データファイル更新時に出力するにチェックを入れるとどうなるの??
  • ファイルが更新されるごとに、データが出力されます
  • 「データファイル更新時に出力する」にチェックを入れ、更に時間指定を追加で行うことが可能です
  • 時間指定を行わず、「データファイル更新時に出力する」のみチェックを入れることも可能です
出力時の「ファイル名」「ファイル形式」「文字コードを選択します

その他の設定として、「ヘッダーも出力する」「個人情報をマスキングする」に任意でチェックをいれます

個人情報をマスキングする」にチェックを入れた場合、個人情報のカラムは「*(アスタリスク)」で表示されます。どのカラムを個人情報カラムに設定するかは、データの取込時に設定します。個人情報カラムの設定方法はこちらをご覧ください。
[任意]「タイムスタンプをつける」にチェックをいれ、最後に「適用」をクリックします

タイムスタンプにチェックを入れたらどうなるの??
  • タイムスタンプにチェックを入れると、出力時のファイル名の末尾に、『年月日時分秒』が自動で付与されます
  • どのようなファイル名になるかは、出力ファイル名のプレビューで確認することが出来ます
出力設定したデータが表示されます

中間サーバーのデータファイルを削除することはできません
b→dash領域の中間サーバーから、貴社サーバーに出力したデータファイルを削除することはできません。そのため貴社サーバーに出力が完了したデータファイルは、b→dash領域の中間サーバーに残り続けますのでご留意ください。