本記事について
本記事では、S3連携の「貴社のS3にデータを置く」パターンにおいて、「STS」を利用して連携する方法を紹介します。
「STS」（Security Token Service）とは、AWSが提供するセキュリティサービスの一つです。詳細は、「IAM の一時的な認証情報」（外部サイト）をご参照ください。
連携実施に必要な前提作業
b→dashに連携したいデータを基幹システムから抽出し、S3へ転送します。
※基幹システムからデータを抽出する際は、SQLを利用して処理を組むことが一般的です
※抽出/転送方法は環境によって異なるため、本サポートサイトでの説明は省略します
設定方法
以下では、S3連携の「貴社のS3にデータを置く」パターンにおいて、「STS」を利用して連携する方法を説明します。
「STS」を利用してS3連携を行うためには、大きく分けて4つの手順があります。
❶ 貴社のAWS上で「IAMロール」を作成する
❷ b→dash上でS3連携に必要な項目として「IAMロール」を入力する
❸ b→dash上で発行される「IAMユーザー」をコピーする
➍ 貴社のAWS上で「IAMユーザー」にアクセス許可を付与する
それぞれの手順については、下記をご参照ください。
❶ 貴社のAWS上で「IAMロール」を作成する
はじめに、AWS上で「IAMロール」を作成します。
AWS上で「IAMロール」を作成する手順については、「IAM ロールの作成」（外部サイト）をご参照ください。
❷ b→dash上でS3連携に必要な項目として「IAMロール」を入力する
次に、b→dash上でS3連携に必要な項目として、❶で作成した「IAMロール」を入力します。
S3連携に必要な項目として、❶で作成した「IAMロール」を入力する手順については、下記をご参照ください。
「データパレット」をクリックします
「データを連携」をクリックします
右上にある「新規追加」をクリックします
「S3」を選択し、「適用」をクリックします
「貴社のS3にデータを置く」を選択し、「次へ」をクリックします
S3連携に必要な「接続情報」(AWSアクセスキー/AWSシークレットアクセスキー/バケット名/フォルダパス/リージョン)を入力します
「AWSアクセスキー」「AWSシークレットアクセスキー」「バケット名」「フォルダパス」「リージョン」の確認方法
S3の連携に必要な、「AWSアクセスキー」「AWSシークレットアクセスキー」「バケット名」「フォルダパス」「リージョン」の確認方法を説明します。
「AWSアクセスキー」「AWSシークレットアクセスキー」の確認方法
「AWS」にアクセスします
サービスメニュー一覧から「IAM」をクリックします
サイドメニューの「ユーザー」をクリックします
「ユーザーを追加」をクリックします
「ユーザー名」を入力し「プログラムによるアクセス」にチェックを付けた後「次のステップ」をクリックします
「ユーザーをグループに追加」をクリックして「グループ」の欄にチェックをいれ「次のステップ:タグ」をクリックします
「次のステップ：確認」をクリックします
「ユーザーの作成」をクリックします
「アクセスキーID(AWSアクセスキー)」と「シークレットアクセスキー(AWSシークレットアクセスキー)」が表示されます
AWSシークレットアクセスキーはこの後表示できなくなるため、必ずcsvファイルでダウンロードしておくかメモをしておきましょう。
「バケット名」「フォルダパス」「リージョン」の確認方法
サービスメニューから「S3」を選択します
「AWSリージョン」が確認できます
表示された「バケット名」をクリックします
「フォルダパス」が表示されます
[任意]「パスワード付きファイルのパスワード」をb→dashに入力します
『STSを利用』の「OFF」をクリックして「ON」に変更します
「IAMロール」を入力し、「次へ」をクリックします
連携頻度と時間を設定の上「追加」を選択し、「次へ」をクリックします
ここで設定した内容に基づいて、b→dashの中間サーバーから貴社の領域のS3へファイルを取りに行く処理が行われます。連携タイミングは複数設定することもできます！
名前を入力し、「保存」をクリックします
❸ b→dash上で発行される「IAMユーザー」をコピーする
次に、b→dash上で発行される「IAMユーザー」をコピーします。
b→dash上で発行される「IAMユーザー」をコピーする手順については、下記をご参照ください。
「IAMユーザー」が作成されるため「コピー」をクリック後、「閉じる」をクリックします
新規作成した連携が画面に表示されます
サーバーを制限するために設定するb→dashのIPアドレス
セキュリティ上の理由で、接続できるサーバーを制御する必要がある場合は、b→dashのIPアドレスのみ貴社のサーバーが接続できるように設定をお願いします。b→dashが使用しているIPアドレスに関しては、以下の記事をご確認ください。
「取込/出力で設定するIPアドレスを知りたい」
➍ 貴社のAWS上で「IAMユーザー」にアクセス許可を付与する
最後に、❸でコピーした「IAMユーザー」にアクセス許可を付与します。
❸でコピーした「IAMユーザー」にアクセス許可を付与する手順については、「IAM ポリシーの作成 (コンソール)」（外部サイト）をご参照ください。
これで「STS」を利用したS3連携の設定は完了です！
最後に、b→dashへファイルが正常に連携されたかどうかの検証を行います。
検証方法
ファイルの取得
b→dash管理画面に設定した「連携タイミング」の時間になると、貴社のS3に対してファイルを取得する処理が実施されます。
連携のステータスを確認します
連携のステータスは、アイコンで把握することができます！
「接続完了」にならない場合はどうすればいい??
ステータスが「接続完了」にならない場合は、何らかの設定が誤っていると考えられます。以下によくある設定誤りを記載しますので、こちらに該当しないかご覧ください。
|
考えられる原因 |
改善策 |
|
b→dashにご登録頂いているS3の接続情報が誤っている |
b→dash上に表示されている接続情報と、貴社S3の接続情報が一致しているか以下手順にてご確認ください。
【確認方法】
①「データパレット ＞ データを連携する」へ移動
②対象の連携設定を1度クリック
③画面上部の「編集」をクリック
④表示されている、以下の接続情報をご確認下さい
・AWSアクセスキー
・AWSシークレットアクセスキー
・リージョン |
|
S3連携時のバケット名・フォルダパスが誤っている |
S3連携元のバケット名、フォルダパスに誤りがないか以下手順にてご確認ください。
【確認方法】
①「データパレット ＞ データを連携する」へ移動
②対象の連携設定を1度クリック
③画面上部の「編集」をクリック
④表示されている、以下の情報をご確認下さい
・バケット名
・フォルダパス |
|
ご設定頂いているファイルの取得タイミングが想定と異なっている |
ご設定頂いているファイルの取得タイミングが貴社にて想定頂いているタイミングと異なっている可能性があります。
以下手順にて、取込タイミングをご確認ください。
【確認方法】
①「データパレット ＞ データを連携する」へ移動
②対象の連携設定を1度クリック
③画面上部の「編集」をクリック
④「連携システム登録」に表示されている連携タイミングを確認 |
|
b→dash上に設定頂いているバケット名・フォルダパス配下にファイルを配置頂いていない |
b→dash上でご設定頂いているバケット名・フォルダパス配下に取り込み対象ファイルが配置されいるか、以下手順にてご確認ください。
【確認方法】
①「データパレット ＞ データを連携する」へ移動
②対象の連携設定を1度クリック
③画面上部の「編集」をクリック
④表示されているS3接続情報配下のファイル配置状況をご確認下さい
・バケット名
・フォルダパス |
|
配置頂いたファイルのファイルサイズが、取込データ容量上限を超えている |
ご連携頂くファイルのデータ容量が5GBを超える場合、取込エラーとなる可能性があります。
データ容量の大きいファイルをご連携頂く際は、5GB以下に分割頂けますよう、お願いします。
なお、連携ファイル数の上限はありません。 |
|
配置頂いたファイルをb→dashに取込中である |
データ容量が大きいファイルを連携する場合、b→dashへの取り込みに時間を要する場合があります。
データ連携開始時刻から30分以上経過しても、連携ができていない場合は、弊社サポートまでお問い合わせ下さい。
取込タイミングは以下手順にてご確認下さい。
【確認方法】
①「データパレット ＞ データを連携する」へ移動
②対象の連携設定を1度クリック
③画面上部の「編集」をクリック
④「連携システム登録」に表示されている連携タイミングを確認 |
|
フォルダパスの先頭に
「/」を設定している |
フォルダパスの先頭に「/」を設定している可能性があります。そのため、ディレクトリパスはディレクトリ名で始まり、「/」で終わっていることを、以下手順にてご確認ください。
【確認方法】
①「データパレット ＞ データを連携する」へ移動
②対象の連携設定を1度クリック
③画面上部の「編集」をクリック
④ポップアップ内の「フォルダパス」の先頭に「/」が無いことを確認 |
|
フォルダパスの末尾に「/」を設定していない |
フォルダパスの末尾に、「/」を設定していない可能性があります。
そのため、フォルダパスはディレクトリ名で始まり、「/」で終わっていることを、以下手順にてご確認ください。
【確認方法】
①「データパレット ＞ データを連携する」へ移動
②対象の連携設定を1度クリック
③画面上部の「編集」をクリック
④ポップアップ内の「フォルダパス」の末尾に「/」があることを確認 |
|
バケット名の先頭か末尾に「/」を設定している |
バケット名の先頭か末尾に「/」を設定している場合、接続に失敗してしまいます。そのため、バケット名には記号を含めずに名称の設定をお願いします。
【確認方法】
①「データパレット ＞ データを連携する」へ移動
②対象の連携設定を1度クリック
③画面上部の「編集」をクリック
④ポップアップ内の「バケット名」の先頭に「/」が無いことを確認 |
|
連携頂いたファイル形式がb→dashでの取込に対応していない |
S3連携での取込に対応していないファイルの場合、ファイルが連携されません。
以下の取り込み可能なファイル形式をご確認ください。
【取込可能なファイル形式】
・CSVファイル
（データがカンマで区切られている拡張子が.csvのファイル）
・TSVファイル
（データがタブ文字で区切られている拡張子が.tsvのファイル）
【取込可能なファイル圧縮方式】
・zip
・gz
・tar.gz |
|
S3連携しようとしているバケットに制限がかけられている |
S3連携を行うためには、b→dashと貴社S3システムの疎通の許可を取得頂く必要があります。
以下に記載している手順にてIPアドレスの許可を取得ください。
【設定方法】
①b→dashに連携しているS3のバケット一覧から対象のバケットを選択し、Properties内のPermissionsを選択頂く
②表示されるバケットポリシーエディターのポップアップにて以下の内容をご設定ください。
"Condition": {
"NotIpAddress": {
"aws:SourceIp": [
※こちらに入力するIPアドレスは、下記リンクの記事を参照ください。
]
}
}
●取込/出力で設定するIPアドレスを知りたい |
ステータスが「接続完了」になったら連携設定をクリックします
連携設定をクリックすると連携されているデータを確認でき、「取込設定」を行うことができます
取込設定の詳細については、
こちらの記事をご覧ください
Amazon S3連携の「連携対象」について
Amazon S3連携は、「前回の連携日時よりも、ファイルの更新日時が新しいファイル」を連携の対象としています。データの連携の際は、連携したいファイルの更新日時をご確認いただくようお願いします。
※ファイル名を指定して連携することはできません
各ファイルのレコード件数は100件までしか表示されません
連携設定をクリックした際に表示されるファイル一覧において、各ファイルにレコード件数が表示されていますが、このレコード件数の上限”表示”は100件までになります。b→dashの仕様上、データを連携しただけの状態では、上限100レコードまでしか読み込まないため、表示の上限も100件までとなりますが、これは、100レコードしか連携されていないというわけではなく、100件を超えたレコードを読み込んでいないことが理由です。
連携されたデータをb→dashに取り込み設定をすれば、ファイル内の全レコードが読み込まれるようになりますのでご安心ください。
