Azureのデータを取り込みたい

はじめに

b→dashへデータを連携するにあたっての全体像や、どのような連携方法があるかを知りたい場合は、まずは以下の記事をご覧ください

Azure連携の2つのパターン

Azure連携にはb→dashのAzureにデータを置く」パターン貴社のAzureにデータを置く」パターンの2つの手法があり、それぞれで設定方法が異なります。

b→dashのAzureにデータを置くパターン

以下では、「b→dashのAzureにデータを置くパターン」の連携方法について、説明します。

連携実施に必要な前提作業
b→dashに連携したいデータを基幹システムから抽出し、Azureへ転送します。
※基幹システムからデータを抽出する際は、SQLを利用して処理を組むことが一般的です
※抽出/転送方法は環境によって異なるため、本サポートサイトでの説明は省略します

設定方法

データパレット」をクリックします

データを連携」をクリックします

右上にある「新規追加」をクリックします

Azure」を選択し、「次へ」をクリックします

b→dashのAzureにデータを置く」を選択し、「次へ」をクリックします

「接続情報」(テナント/ストレージアカウント名/コンテナ名/クライアントID/クライアントシークレット)を中間サーバーに登録します

[任意]「パスワード付きファイルのパスワード」を入力し、「次へ」をクリックします

連携対象のデータファイルに、パスワードを設定している場合のみ、「パスワード付きファイルのパスワード」の入力が必要です。
Azure連携において、b→dashに取り込めるデータファイル形式パスワード入力の必要有無
複数のデータファイルにパスワードをつける場合の設定方法

複数のデータファイルにパスワードをつける場合は、全てのデータファイルに同じパスワードをつける必要があります。

連携頻度と時間を設定の上「追加」を選択し、「次へ」をクリックします

ここで設定した内容に基づいて、b→dashの中間サーバーからb→dashの領域のAzureへファイルを取りに行く処理が行われます。連携タイミングは複数設定することもできます!
名前を入力し、「保存」をクリックします

新規作成した連携が画面に表示されます

データの連携タイミングの変更方法

一度連携タイミングを設定した後、連携システムのデータの連携タイミングを変更したい場合は、以下をご参照ください。

データを連携」をクリックします

データの連携タイミングを変更したい「連携システム」を選択します

次へ」をクリックします

データの連携タイミングを追加し、「次へ」をクリックします

名前を入力し、「保存」をクリックします

サーバーを制限するために設定するb→dashのIPアドレス

セキュリティ上の理由で、接続できるサーバーを制御する必要がある場合は、b→dashのIPアドレスのみ貴社のサーバーが接続できるように設定をお願いいたします。b→dashが使用しているIPアドレスに関しては、以下の記事をご確認ください。

取込/出力で設定するIPアドレスを知りたい

これでAzure連携の設定は完了です!
最後に、b→dashへファイルが正常に連携されたかどうかの検証を行います。

検証方法

ファイルの取得

b→dash管理画面に設定した「連携タイミング」の時間になると、b→dashの領域のAzureに対してファイルを取得する処理が実施されます。

 連携のステータスを確認します

 連携のステータスは、アイコンで把握することができます!
Azure連携でb→dashがデータを受け取る際のステータス
「接続完了」にならない場合はどうすればいい??

ステータスが「接続完了」にならない場合は、何らかの設定が誤っていると考えられます。以下によくある設定誤りを記載しますので、こちらに該当しないかご覧ください。

考えられる原因 改善策
連携対象のファイル形式がb→dashで取込可能な形式とは異なる Azure連携での取込に対応していないファイルの場合、連携システムにファイルが連携されません。
以下をご確認いただき、連携いただいたファイル形式のご確認をお願いいたします。

【取込可能なファイル形式】
・CSVファイル  
(データがカンマで区切られている拡張子が.csvのファイル)
・TSVファイル  
(データがタブ文字で区切られている拡張子が.tsvのファイル)

【取込可能なファイル圧縮方式】
・zip
・gzip
・tar.gz
※パスワード付きファイルの取込にも対応しておりますので、パスワード付きファイルを連携いただく場合は、Azure連携システム登録時の設定にてファイル解凍用のパスワードをご登録いただけますよう、お願いいたします
※複数ファイルをまとめて1ファイルとして圧縮いただいた場合は、取込できずエラーとなりますので1ファイル毎に圧縮してデータ連携をお願いいたします
ファイルに拡張子がついていない b→dashにAzureからファイルを連携する際には、必ず拡張子のついたファイルである必要があります。
アップロードいただいたファイルの名称に拡張子がついていることをご確認いただき、拡張子のついていない状態となっておりましたら、拡張子をつけた状態でご連携ください。
なお拡張子は必ず「.csv」もしくは「.tsv」で連携いただきますよう、お願いいたします。
配置先コンテナ名が誤っている Azure連携先のコンテナ名に誤りが無いか、以下手順にてご確認ください。

【確認方法】
①「データパレット」アプリにて「データを連携」をクリックする
②連携を行うAzureの連携システム名をクリックし、「編集」ボタンをクリックする
③表示される接続情報のうち「コンテナ名」の部分に入力されている内容を確認する
④貴社にて設定している連携先コンテナ名と、③が一致しているかを確認する
データの転送よりもb→dashでの取込み処理が先に実行されている b→dashでのファイル取込時間が、貴社よりファイルを転送いただくタイミングよりも前に実行されている可能性があります。 以下手順にてb→dash内のデータ取込タイミングをご確認いただき、貴社からのデータ転送タイミングよりも後になるようにご調整ください。

【確認方法】
①「データパレット」アプリにて「データを連携」をクリックする
②Azureの連携システム名をクリックし、「編集」ボタンをクリックする
③接続情報が表示されるため、「次へ」をクリックする
④表示されているデータの連携タイミングを確認する
※連携タイミングはデータ転送いただく時間から30分以上間隔を空けることを推奨しております
取込みがまだ実施されていない Azureの自動連携は設定された連携タイミングで、取込が実施されます。
連携システムからファイルの取込設定を実施いただいた後、データの反映につきましては次回連携タイミング以降でご確認ください。
ステータスが「接続完了」になった連携設定をクリックします

連携設定をクリックすると連携されているデータを確認でき、「取込設定」を行うことができます

取込設定の詳細については、こちらの記事をご覧ください。
各ファイルのレコード件数は100件までしか表示されません
連携設定をクリックした際に表示されるファイル一覧において、各ファイルにレコード件数が表示されていますが、このレコード件数の上限”表示”は100件までになります。b→dashの仕様上、データを連携しただけの状態では、上限100レコードまでしか読み込まないため、表示の上限も100件までとなりますが、これは、100レコードしか連携されていないというわけではなく、100件を超えたレコードを読み込んでいないことが理由です。
連携されたデータをb→dashに取り込み設定をすれば、ファイル内の全レコードが読み込まれるようになりますのでご安心ください。

貴社のAzureにデータを置くパターン

以下では「貴社のAzureにデータを置くパターン」について説明します。
b→dashの中間サーバーと貴社のAzureとの通信方法は、HTTPSを用いた通信方法を採用しています

連携実施に必要な前提作業
b→dashに連携したいデータを基幹システムから抽出し、Azureへ転送します。
※基幹システムからデータを抽出する際は、SQLを利用して処理を組むことが一般的です
※抽出/転送方法は環境によって異なるため、本サポートサイトでの説明は省略します

設定方法

データパレット」をクリックします

データを連携」をクリックします

右上にある「新規追加」をクリックします

Azure」を選択し、「次へ」をクリックします

貴社のAzureにデータを置く」を選択し、「次へ」をクリックします

接続情報」を中間サーバーに登録します

「アカウント名」「アクセスキー」「コンテナー名」の確認方法

Azureの連携に必要な、「アカウント名」「アクセスキー」「コンテナー名」の確認方法を説明します。

「アカウント名」「アクセスキー」の取得方法
Azureにアクセスし、「アクセスキー」をクリックします

ストレージアカウント(アカウント名)」が表示されます

キーの表示」をクリックします

アクセスキー」が表示されます

key1、key2が表示されますが、どちらもアクセスキーに該当します。お好きな方をコピーして下さい。
「コンテナー名」の取得方法
コンテナー」をクリックします

表示される「コンテナー名」をコピーします

連携したいファイルが置いてあるコンテナー名をコピーしましょう。
[任意]「パスワード付きファイルのパスワード」を入力し、「次へ」をクリックします

連携対象のデータファイルに、パスワードを設定している場合は、パスワードの入力が必要です。
Azure連携において、b→dashに取り込めるデータファイル形式パスワード入力の必要有無
複数のデータファイルにパスワードをつける場合の設定方法
複数のデータファイルにパスワードをつける場合は、全てのデータファイルに同じパスワードをつける必要があります。
連携頻度と時間を設定の上「追加」を選択し、「次へ」をクリックします

ここで設定した内容に基づいて、b→dashの中間サーバーから貴社の領域のAzureへファイルを取りに行く処理が行われます。連携タイミングは複数設定することもできます!
名前を入力し、「保存」をクリックします

新規作成した連携が画面に表示されます

サーバーを制限するために設定するb→dashのIPアドレス

セキュリティ上の理由で、接続できるサーバーを制御する必要がある場合は、b→dashのIPアドレスのみ貴社のサーバーが接続できるように設定をお願いいたします。b→dashが使用しているIPアドレスに関しては、以下の記事をご確認ください。

取込/出力で設定するIPアドレスを知りたい

これでAzure連携の設定は完了です!
最後に、b→dashへファイルが正常に連携されたかどうかの検証を行います。

検証方法

ファイルの取得

b→dash管理画面に設定した「連携タイミング」の時間になると貴社の、Azureに対してファイルを取得する処理が実施されます。

連携のステータスを確認します

連携のステータスは、アイコンで把握することができます!
Azure連携で貴社のAzureにデータを置く際のステータス  
ステータスが「接続完了」になったら連携設定をクリックします

連携設定をクリックすると連携されているデータを確認でき、「取込設定」を行うことができます

取込設定の詳細については、こちらの記事をご覧ください。
各ファイルのレコード件数は100件までしか表示されません
連携設定をクリックした際に表示されるファイル一覧において、各ファイルにレコード件数が表示されていますが、このレコード件数の上限”表示”は100件までになります。b→dashの仕様上、データを連携しただけの状態では、上限100レコードまでしか読み込まないため、表示の上限も100件までとなりますが、これは、100レコードしか連携されていないというわけではなく、100件を超えたレコードを読み込んでいないことが理由です。
連携されたデータをb→dashに取り込み設定をすれば、ファイル内の全レコードが読み込まれるようになりますのでご安心ください。