ArcGIS Field Maps で取得したトラッキングデータの保存とSpatially Enabled DataFrameを試す

はじめに

現地調査の際に、位置のトラッキングをお使いでしょうか？位置のトラッキングは、ArcGIS Online（もしくはArcGIS Enterprise）の組織全体で利用できる機能で、ユーザーの現在地と過去の位置を記録する機能を提供します。

まだ利用したことがない方や、位置のトラッキングって何？、ArcGIS Field Maps でどのように使うの？という方は、最近、ArcGIS リソース集にArcGIS Field Maps のスタートアップガイドが追加されましたので、そちらをご参照ください。

一方、ArcGIS API for Python を使用した位置のトラッキング機能の管理方法やデータへのアクセス方法は、Help に”Managing ArcGIS applications - Configuring Location Tracking” として説明されています。また、同じ内容を記載したノートブックが”Configuring Location Tracking and Track Views For Your Organization” として公開されており、それを翻訳したノートブックも公開していますので、API でのアクセス方法が知りたい方は、そちらをご参照ください。

本ブログでは、ArcGIS Online 上のArcGIS Notebooks で作成した、次の操作を試すサンプルノートブックの実装時のポイントを解説していきます。サンプルノートブックは、整形したものをGitHub で公開しておりますので、より詳細に内容を確認したい場合は、そちらを参照ください。

Field Maps で取得したトラックデータへアクセス
特定の日時のデータをクエリして確認
Spatially Enabled DataFrame を試す
クエリしたデータをフィーチャレイヤー（Feature Layer）として保存 ※

※ 上記の翻訳したノートブックでも記載していますが、ArcGIS Online のトラックは30日間のみ保存される仕様です。今回は、保存期間が経過した後でもデータとして利用するために、フィーチャレイヤー（Feature Layer）としてArcGIS Online 上に保存しています。

なお、位置のトラッキングは、有償のArcGIS Developer Subscription で利用可能な「ArcGIS Online 組織向けプラン（開発およびテスト用途限定）」を利用し、ArcGIS Field Maps でトラッキングを行いました。

図：サンプルノートブック

ポイント解説

ここからは、ノートブックに書かれているコードの解説が中心になります。ArcGIS Online 上のArcGIS Notebooks の使い方に不安がある方は、最初に、以下の記事を一読いただくことをお勧めします。

0) GIS モジュールへのアクセス

以下は、ArcGIS Online 上のArcGIS Notebook を新規作成時に自動的に生成され、GIS モジュールにアクセスするものですので、そのまま利用します。

from arcgis.gis import GIS
gis = GIS("home")

1) Field Maps で取得したトラックデータへアクセス

組織で位置のトラッキングが有効化されると位置トラッキングサービスという新しいアイテムが作成され、FieldMaps で取得したトラックデータは、このサービスにアップロードされます。

位置トラッキングサービスは2つのレイヤーで構成され、最初のレイヤーであるTracks は、各ユーザーの過去の位置情報の履歴を保存し、2つ目のレイヤーであるLast Known Locations は、Field Maps 等のTracker モバイルアプリを利用している各ユーザーの最新の位置情報を格納します。

これらのレイヤーにはLocationTrackingManager を通して簡単にアクセスできますが、今回利用するのは、Tracks レイヤー（tracks_layer）です。

from arcgis.apps.tracker import TrackView
# LocationTrackingManager にアクセス
location_tracking = gis.admin.location_tracking

# Tracks レイヤー はプロパティからアクセス可能
tracks = location_tracking.tracks_layer

2) Tracks レイヤーから location_timestamp フィールドで日付と時間を指定してクエリ

Tracks に記録されている時間はUTCなので、クエリの条件文を作成する際には注意が必要です。

（JST時間からUTC時間に変換する際には、JST時間から -9時間した時間をUTC時間に設定します）

今回、Field Maps で位置のトラッキングを行ったのは、JST時間で2022年01月10日の15時30分～19時の間です。そのため、MapViewer でのwhere句を参考にJST時間から－9時間したUTC時間に変換した条件設定をすると、次のようになります。

(location_timestamp BETWEEN timestamp '2022-01-10 06:30:00' AND timestamp '2022-01-10 10:00:00') AND (1=1)

上記の条件で、FeatureLayer.query() でクエリを行い、さらに戻り値のFeatureSet のプロパティsdfで、Spatially Enabled DataFrame（SEDF）にしてします。

# 抽出条件をUTC時間で設定
wh = "(location_timestamp BETWEEN timestamp '2022-01-10 06:30:00' AND timestamp '2022-01-10 10:00:00') AND (1=1)"
# FeatureLayer.query() の戻り値はFeatureSet、FeatureSetプロパティsdfでSEDFを取得可能
query_tracks = tracks.query(where = wh, out_fields='*').sdf

3) クエリしたデータをフィーチャレイヤー（Feature Layer）として保存

Spatially Enabled DataFrame（SEDF）に、to_featurelayer() という便利なメソッドがあるので、それを利用して、フィーチャレイヤーとして保存します。

# FeatureLayer として2022年1月10日のトラックを保存
lyr = query_tracks.spatial.to_featurelayer(title='tracks_20220110', tags='tracks')

以上のように、フィーチャレイヤーとして保存するだけであれば、10行もコードを書かずに済みます。

それだけではあまり面白くないため、ここからは別のアプローチとして、PandasのDataFrame を使った場合の、抽出、保存、ついでにグラフ表示やマップに表示を試してみたコードも紹介します。

2)’ 別のアプローチ ; Tracks レイヤーをPandas のDateFrame で条件抽出

Help のTracks レイヤー（tracks_layer）に記載されているように、tracks_layer はFeatureLayer です。そのため、まずはSpatially Enabled DataFrame (SEDF) のfrom_layer() 関数でDataFrame にデータを読み込みます。

# Spatially Enabled DataFrame (SEDF) にTracks レイヤー を読み込みます
import pandas as pd
sdf = pd.DataFrame.spatial.from_layer(tracks)

次に、 location_timestamp フィールドで日付と時間を指定して、今回のField Maps で対象としているトラッキングデータのみを、別のDataFrame に読み込みます。

# 上記のFeature Layer の BETWEEN 相当の条件でDataFrame に読み込みします
import datetime as dt
#2022-01-10
query_sdf = sdf[(sdf['location_timestamp'] >= dt.datetime(2022,1,10,6,30,0)) & (sdf['location_timestamp'] < dt.datetime(2022,1,10,10,0,0))]

2)'' Pandas のDataFrame でよく行う操作、グラフ表示や地図表示

「さわって覚える ArcGIS API for Python : Spatially Enabled DataFrame 編」で紹介したように、Spatially Enabled DataFrame (SEDF) は、一般的な Pandas の DataFrame に spatial というカスタムネームスペースを挿入して、空間的な機能を持たせているものです。そのため、Pandas のDataFrame でよく行う操作も行うことが可能です。GitHub で公開しているノートブック（リンク予定）では、次の操作を試したコードと結果を公開していますが、冗長になるため、ここではコードのみ記載します。

要約統計量の算出

#要約統計量の算出
query_sdf.describe()

特定の列を指定した統計値

#特定の列を指定した統計値の算出
query_sdf['speed'].mean()

query 関数での抽出し、要約統計量を算出

#query 関数を使って平均速度以上のレコードの抽出
over_sdf = query_sdf.query('speed >= 1.503300')
over_sdf.describe()

その他にも、matplotlib でのグラフ表示（UTC時間）、マップにTracks レイヤーを表示も行っております。同様に、冗長になるため、ここでは実現するまでのコードのみ記載します。

matplotlib でのグラフ表示（UTC時間）

# UTC から JST に変換してx:時間、y:スピード でグラフに表示してみます
# 警告の回避のため明示的にDataFrameをcopy()
query_sdf = query_sdf.copy()
query_sdf['location_timestamp_jst'] = pd.to_datetime(query_sdf['location_timestamp'], utc=True).dt.tz_convert('Asia/Tokyo')
# JST 時間に変換済みのx軸でグラフ表示
query_sdf.plot(x='location_timestamp_jst', y='speed')

マップにTracks レイヤーを表示

my_map = gis.map('埼玉県川越市')
my_map #セルに地図を表示

# Tracks レイヤーを追加
my_map.add_layer(tracks)

3)' 別のアプローチ ; 計算したlocation_timestamp_jst を含むフィーチャレイヤー（Feature Layer）として保存

3) と同様、Spatially Enabled DataFrame（SEDF）に、to_featurelayer() という便利なメソッドがあるので、それを利用して、フィーチャレイヤーとして保存します。

※これはDataFrame でいろいろ操作した結果でも、フィーチャレイヤーとして保存可能かを確認している操作になります。そのため、3) で保存したフィーチャレイヤーと本質的に変わりありません。

# FeatureLayer として2022年1月10日のトラックを保存
lyr = query_sdf.spatial.to_featurelayer(title='tracks_20220110', tags='tracks')

最後に

今回の記事では、ArcGIS Developer Subscription で利用可能な「ArcGIS Online 組織向けプラン（開発およびテスト用途限定）」を利用し、ArcGIS Notebooks で次の操作を試すサンプルノートブックの実装時のポイントを解説しました。

FieldMaps で取得したトラックデータへアクセス
特定の日時のデータをクエリして確認
Spatially Enabled DataFrame を試す
クエリしたデータをフィーチャレイヤー（Feature Layer）として保存

トラックデータのより高度な分析は、Learn ArcGIS で「ArcGIS Field Maps で取得した追跡データを分析する」として、データのローカルへの保存にはじまり、ArcGIS Pro を使用したさまざまな分析や視覚化について、紹介されていますので合わせてご参照ください。

また、コードでのより高度な分析は、米国Esri のGitHub に「Tracker Scripts」として、ArcGIS API for Python を使用したさまざまな分析や可視化について、紹介されていますので合わせてご参照ください。

※ ご自身の組織のトラックデータを振り返って分析をする必要がある際には、データのバックアップも忘れずに！

「ArcGIS Field Maps で取得した追跡データを分析する」に掲載されているコンテンツ一覧（2022年3月時点）

・追跡データで検査を検証する（英語の記事）

・追跡データで線形ヒートマップを作成する（英語の記事）

・位置の追跡データを使用してアニメーションを作成する（英語の記事）

・集約した追跡データを視覚化する（英語の記事）

「Tracker Scripts」に掲載されているノートブックとスクリプトの一覧（2022年3月時点）

ノートブック;

・Quickstart Guide

・Basic Track Analysis

・Basic Track Analysis - PySpark

・Location Tracking Status

・Creating Track Lines

・Visualize Route Deviance

・Identify Inspected Buildings

・Find Dwell Times at Polygons

・Proximity Tracing

・Create an Aggregated Map Service

スクリプト;

・Check Edit Location - README here

・Mirror LKL Layer - README here

・Polygon Cleanup Tracks - README here

・Generate Users Arcade Expression - README here

・Export Tracks From AGOL - README here

参考

【ブログでの参考記事】

【本記事に関連した参考情報】

ArcGIS API for Python のHelp のGuide
- Managing ArcGIS applications - Configuring Location Tracking
ノートブック
- Configuring Location Tracking and Track Views For Your Organization
- 上記のノートブックを翻訳したノートブック
- 本記事のサンプルノートブック

ArcGIS Field Maps で取得したトラッキングデータの保存とSpatially Enabled DataFrameを試す