ArcGIS Online で外部ソース データのインポート、加工、変換およびワークフローの作成と可視化機能を提供する Web アプリ ArcGIS Data Pipelines が、2024 年 2 月の ArcGIS Online のアップデートに伴い正式版として利用可能になりました。本ブログでは、このアプリについての概要を改めて説明するとともに、新しい機能およびクレジット消費のルール変更についてご紹介いたします。
目次
Data Pipelines とは
ArcGIS Data Pipelines は、クラウド ベースのデータ ストアを含むあらゆる場所にあるデータを ArcGIS Online で利用可能にする Web アプリです。幅広いデータ形式をサポートしており、インポートしたいデータ格納先との接続ツールや、ArcGIS Online で利用するための各種加工ツールが備わっています。
利用できるツールの一覧は、ヘルプをご参照ください。
一連のツールをドラッグ & ドロップの簡単な操作で組み合わせて、ワークフローを作成、可視化できます。作成したワークフローは、一括で実行することはもちろん、他のメンバーが再利用することも可能です。ArcGIS Online で利用したいデータが Data Pipelines で対応しているデータ ストア (Amazon S3、Microsoft Azure Blob、Google BigQuery、Snowflake) にある場合、プログラミング不要で、誰でも簡単に ArcGIS Online で利用可能なデータとして取り込む準備を始めることができます。
2024 年 2 月の新機能
今回のバージョンアップで ArcGIS Data Pipelines が正式版になっただけでなく、新しい機能も追加されました。主な新機能について紹介します。
ガイド ツアー
主な機能と使い方を表示する「ガイド ツアー」が利用可能になりました。Data Pipelines エディターを初めて開いた時に表示され、[ツアーの開始] をクリックして機能や使い方を手順に沿って確認できます。アプリを初めて操作する方にも優しい設計となっています。ガイド ツアーは、ツールバーからもいつでもアクセスできます。
JSON ファイルのサポート
JSON ファイルのインポートが可能になりました。Amazon S3、Microsoft Azure Blob、パブリック URL の JSON ファイルをインポートすることができます。
ファイルの直接のアップロードは未対応です。
複雑な構造のデータを扱うための機能改善
JSON や GeoJSON、parquet などのデータでは、struct (構造体)、array (配列) など、複雑な構造のフィールドを持つデータとなっている場合があります。このようなデータを ArcGIS Online で利用するために、新しく「ネストされたフィールドの解除」ツールが追加されました。
たとえば、避難所の場所を表すデータセットがあるとします。各避難所のレコードには、避難所名や緯度経度の基本情報のほかに、詳細情報の構造体フィールド内に住所や種別、対応災害などの値が格納されています。「ネストされたフィールドの解除」ツールを使用すると、詳細情報の構造体フィールドを解除し、住所や種別、対応災害の情報をそれぞれのフィールドとして利用できるようになります。
また、「フィールドの計算」ツールや「フィールドの選択」ツールでもネストされたフィールドの情報を取得できるなど、複雑な構造のデータも ArcGIS Online で扱えるように、さまざまな機能改善が行われました。
接続の詳細ダイアログ
ArcGIS Data Pipelines では、接続状態の時間分、後述するクレジットを消費します。接続状態が開始された時間や、そのクレジット消費の対象となる利用時間を「接続の詳細」ダイアログで確認できるようになりました。
クレジット消費について
Data Pipelines では、ワークフローを編集、使用している時間でクレジットを消費します。ベータ版として提供していた際の消費ルールが見直され、クレジットは、最小 10 分から 1 分毎に計算され、1 時間あたり 50 クレジットを消費します。また、作成したワークフローを自動実行するタスク スケジュールの機能を使用する場合は、最小 1 分から 1 分毎に計算され、1 時間あたり 70 クレジットを消費します。クレジットの消費に注意しながら上手にご活用いただければ幸いです。
クレジットの詳細につきましてはヘルプをご参照ください。