ASTER
　HDFフォーマットデータの
　インポート!!



このページは、ASTER(アスター) という衛星画像のHDFファイルを TNTmips ver6.4 以前にインポートするための解説です。
　TNTmips ver6.5 以降の方はこちらを御覧ください。インポート方法や生成されるデータが進化しました。

　HDFファイルは、複雑な形式のデータファイルですが、見方を変えれば HDF ファイルも、TNTmips のプロジェクトファイルも、よりデータを扱いやすくするために一つのファイルの中にオブジェクトをまとめていく方向性を選んだ似たもの同士のデータ形式ともいえます。

　今後とも、HDFとの相互データ利用をひとつの目標として TNTmips をより発展させていきたいと考えております。


本ページ作成時の環境は、Windows 98SE,Me(TNTmips 6.4)

このページ内の 目 次
①HDFの概要
　HDFファイルとは		 ②mipsで直接インポート
　mipsを起動してインポート		 ③他のインポート方法
　ver.6.2以前のmipsはどうするのか？




　

　HDFの概要


まず、そもそもHDFフォーマットファイルとは
どのようなものなのか解説します。
その中で具体的な階層構造の中身にも触れ
どのような情報が書き込まれているか紹介します
HDFとは、「Hierarchical Data Format」、日本語で訳すと、「階層構造を持ったデータ形式」と表現できます。

　現在、人工衛星に搭載されたセンサーが、多種多様化し、様々な観測画像が、まとまった形で提供されています。　それらを、一つ一つバラバラに提供することもできるのですが、何十もの種類のデータをそれぞれインポートし、利用するには限界があります。　またデータそのものも、2次元情報から3次元情報へとデータの構造も変化するなど、より複雑になりつつあります。

　このような状況で、米国イリノイ州立大学に設置されたNCSA (National Center for Supercomputing Applications) は、様々なフォーマットのデータを扱うことができるフォーマットとしてHDFを開発しました。　階層構造を持つとは、具体的にはフォルダのような入れ物を組み込めるようにして、それぞれのデータの種類ごとに、また、高さごとに整理すること等が可能なデータファイル構造なのです。


　さて、本題であるASTERについてですが、ASTERもまた、バンド数が合計14バンド+後方視であり、15枚もの画像データを同時に生成しております。
参考までにまとめますと、このようになります。

　可視・近赤外域　 　VNIR　 　0.52-0.86μm　 　3バンド+後方視　
　短波長赤外域　 　SWIR　 　1.60-2.43μm　 　6バンド　
　熱赤外域　 　TIR　 　8.125-11.65μm　 　5バンド　

　観測しているセンサーも、波長域も、解像度も、それぞれの画像ごとに異なり、データに対するコメントや、基礎データといったメタデータも付与した形で提供できるのであれば、使用する側もまた利用しやすいことになります。

このようなデータの特性上、分類して格納できるHDFフォーマットという形式が向いているのです。

　下の図は、ASTERのレベル1Aという処理がされた、HDFフォーマットファイルの中身です。単なる画像の集合体ではなく、細かなメタデータ等が複合されて、設計されているのがわかると思います。複雑なデータの集合体ではあるものの、センサーごとにディレクトリのような入れ物に分類されているなど、使う側の配慮がされています。



引用 ERSDAC(1998):ASTR LEVEL1 DATA PRODUCTS SPECIFICATION(GDS Version) ver1.2
Fig.2.2-1 Physical Data of Level 1A Data Product



ASTERのHDFフォーマットのデータ構造が、イメージできましたでしょうか。


問題は、ここからです。

　これらHDFフォーマットの中でも、さら細かく見ると、ASTERはさらにHDF-EOSというタイプのフォーマットで提供されています このHDF-EOSはEOSデータの表示を効率良く実行するためにHDF機能を拡張したものであり、ECS(EOSDIS Core System)規則、データ・タイプ、及びメタデータを追加しています。
ちなみに、EOSDISとは、NASAの地球観測データ情報システム(EOS Data and Information System)のことをいいます。また、そもそもEOSとは、地球観測システム(Earth Observing System)を意味します。
　利点としては、地理データ(ポイント、グリッド、及びスワッス)を追加しているため、地球面上の位置と時間をキーとして、所望のデータを検索することができます。

　しかし、HDFに機能拡張が加わっているため、厳密な意味でHDF-EOSフォーマットのインポートには、独自の処理が必要となります。


　TNTmips ver6.3、6.4でのインポート( ver.6.2 より前のものは未対応です )では、HDF の ver4.1 Release 3 というタイプをサポートしております。つまり、HDF-EOSフォーマットには、対応しておりません。機能拡張の部分を含めて、完全な形でのインポートは行えず、基本的なデータ構造のみのインポートとお考えください。


　HDFは、現在もNCSAで開発がされております。今までの話は、すべてHDF4というタイプについての説明でした。最新のHDFは、HDF5というタイプになります。ASTERやTRMMなどはHDF4で提供されているものの、今後新たに提供されるプロダクトや、これから打ちあがる衛星は、おそらく、HDF5かそれ以降のHDFを採用する可能性が高いのではないでしょうか。

　そういった意味では、単にHDFファイル対応と表記してある場合でも、HDF4なのかHDF5なのか、また、バージョンとリリースはいくつなのか、更に、EOS用に機能拡張されているかなど、細かな注意が必要になってくると考えられます。

ちなみに、HDF5では次のような改良がされています。
●2Gbyteを超えるファイルを扱えるようになった
●オブジェクトの数制限がなくなった(今までは、最大20000オブジェクトまで)
●多次元配列をサポート
●その他、より柔軟になった




　

　Mipsでインポート


　いよいよ Mips で ASTER の HDF ファイルを
　インポートしましょう。　但しこの機能は
　TNTmips ver.6.3 以降の対応となります。
　ver.6.2以前のTNTmipsをお使いの方は、
　他のソフトでのインポートをご覧ください。

▼TNTmipsを起動して、Process / Import/Export を選択します。



▼入出力用ダイアログが現れるので、 Raster(左上) , Import(右上)を選択して、中央に表示されているリストの中から、「HDF4.1」をクリックし、左下の「Import...」ボタンを押します。



▼どのファイルを読むか聞いてくるので、CD-ROMドライブを指定し、一番ファイルサイズの大きいファイルを選択します。
通常のASTER CD-ROMには、.hdf というファイル名ではなく、.dat というファイル名で、提供されています。また、拡張子の付いていない場合も確認しております。どちらにしても、ファイルサイズの大きいファイルを指定してください。ファイルの一覧が現れない場合は、「Files of Type」を All に変更してみてください。



▼次に、パラメータのダイアログが現れますので、
●「Create Pyramid Tiers」のチェックボックスをオン
ImageDataフォルダ内のラスタに表示用ピラミッドレイヤーを自動作成します

●「Compress」をオン
ディスクスペースを有効に使う

●「Attempt to import Georeference」をオン
自動的にジオリファレンスを行うはずです。しかし、残念ながら機能していないようです。
にして、左下の、「Import」ボタンをクリックしてください。



▼今度は保存先を指定しますが、ここで注意してほしいことがあります。

　既に説明したとおり、HDFファイルは、そのファイル内に複雑な構造を持っております。このファイルの中身を一度に開くわけですから、多くのオブジェクトが作成されます。それら一つ一つについて、名前を付けていくことは大変であるため、特殊な事情がない限り、左下の「Auto-Name...」 ボタンを押して、自動的にオブジェクト名を割り振ることと思います。

　しかし、オブジェクトの保存先を見ればわかる通り、指定したプロジェクトファイルの下に作成するよう設定されてしまいます。

　前置きが長くなりましたが、結論を述べます。
HDFファイルをインポートする際には、一つのHDFファイルに対して、一つのプロジェクトファイルを当ててください。
複数のHDFファイルを、一つのプロジェクトファイルに保存しようとすると、複雑な階層が混ざり合い、区別できなくなる可能性があります。


整理すると、
●まず、上のボタンを押して、
　インポート用の新しいプロジェクトを作成し、

●次に、左下のボタンを押して、
　作成されるオブジェクトに対して、自動的に名前を付け、

●左下の、「OK」ボタンをクリックしてください。



▼これで自動的に、ファイルが読み込まれていきます。



▼ちょっと気になりますが、インポート中の表示でラスターの数が増えていくと、全ラスター数を超えてしまい、「52 of 26」といった表示が現れ不安にさせられます。しかし、現在のところ、この点に関して、異常は報告されていませんので、ひとまず、ご安心ください。
おそらく、同じラスターデータを２回インポートしていることが、表現されているものと思われます。



▼以上、正常に終了すると、このようなポップアップが現れます。



▼しかし、何故かその後に、TNTdisp のエラーが現れてきます。これについては MicroImages がパッチを出しました。しかし、ver6.5 用のパッチですので、インポート処理そのものは、確実に終了していますので、問題ありません。
　しかし、いくら関係ないとはいえ、このようなエラーメッセージが現れるのは精神的によくありませんね。



以上で、HDFファイルのインポート作業は、一通り終了です。
お疲れ様でした。




▼あとは、正しくインポートされているか、確認をしてみる必要があります.
画像ファイルの格納されている場所がわからない方は、次の解説を参考にしてください。
東京湾 レインボーブリッジ付近のVNIR画像





▼ASTERのHDFファイルをインポートすると、プロジェクトファイルには、下図の場所に、画像データが保存されます。画像は、同じものが2箇所に保存され、特に、ImageDataxxフォルダには、表示用のピラミッドレイヤーも加わった形で、保存されています。一方で、各センサーごとにもまとまっており、こちらは、自分でピラミッドレイヤーを作成する必要があります。





▼画像データ以外のメタデータは細かいフォルダに分類され、データベースファイルとして保存されております。これらの中身を確認したい場合は、メインメニューから、「 Edit/Attribute Datebases 」を選択し、データベースファイルを選択して、中身を確認してください。また、EXCELで読めるようなデータベースファイルとして保存する場合は、メニューのTable/Save As.. から Format を dBASE III に設定して、保存してください。
詳しい解説は、こちらをご覧ください。



▼最近までは、エラーが発生してなかなかインポートすることができませんでした。マイクロイメージ社へ報告した結果、ようやくバグがとれ Windows でも Mac でもインポートが可能となりました。但し、どちらも最新版のパッチをあてる必要があります。




　

　他のソフトでインポート


　直接 HDF ファイルを読み込める TNTmips は
　ver6.3 以降。 ver6.2 以前の TNTmips では
　ASTER データのインポートが困難です。
　そこで参考までにフリーソフトを介して
　TNTmips へインポートしてみました。

ASTERが採用しておりますHDF-EOSデータを、完全にサポートしているソフトは、HDF-EOSファイルの表示、検査、及び検証用のツールであるEOSViewしかないそうです(2001.4.27現在)。

　しかし、標準のHDF表示ソフトウエアでもHDF-EOSを表示することはできます。この場合、HDF-EOSの特徴である地理的サブセッティング機能を使用することはできません。HDFを表示できるソフトウェアについては、ERSDACのツール紹介ページに詳しく説明してありますので、ご参考ください。



今回はその中でも、比較的Windowsでのインストール作業が簡単だった、NCSA Java HDF Viewer(JHV) を使用してみました。

ソフトウェアのダウンロードページはこちら



インストールの手順はこれだけです。

▼zipファイルをダウンロードして、一時フォルダに保存します
▼WinzipやLhasaなどのソフトウェアでzipファイルを解凍します
▼解凍したファイルの中にあるSetup.exeを実行します
▼インストールが終了したら、一度コンピューターを再起動します
▼スタートメニュー / プログラム / NCSA JHV2.6 / NCSA JHV2.6 で起動します

エラーメッセージが現れたときは、C:/Program Files/ncsa/jhv/bin/jhv.bat　を右クリックし、プロパティを選択してメモリのタグの、環境変数の初期サイズを4096に変更すると動くようです。しかし、それでも動かない場合は、一度アンインストールしてから、再度インストールすると、動くことがありました。
▼JHVが起動すると、このような画面になります。ASTERのHDFファイルを開くと、ちゃんと画像が表示されました。また、対象範囲をマウスでドラッグすると、赤い枠とともに、範囲のline column値が右側に表示され、画像の切り出しに利用できます。



▼画像の出力は、HDFとASCII形式の２種類選べます。右下の Image か Spreadsheet で、出力する画像を表示して、メニューから、Save As Textを選択すれば出力できます。今回は、Spreadsheetを選択して画像をASCIIのテキストラスターに出力してみましょう。

　但し、VNIR画像は解像度が細かいため、メモリが足りず(それでも256Mbytes搭載機で実行)、すべての範囲を出力することはできませんでした。ちなみにTIRや、SWIR画像は、全範囲を出力することができました。VNIR画像は、必要な場所のみを切り出す形での利用となります。



▼それでは、右下の「View Option」で「Spreadsheet」を選択して、OKボタンを押すと、このように、ピクセルの値が表示されますので、メニューの「 File / Save As Text 」を選択すると、ASCIIのテキストラスター形式で出力できます。

　TNTmipsへの、テキストラスター形式のインポート方法は、こちらをご覧ください。
その際は、必ず出力したラスターの Line 数 と Column 数 をメモしてから、インポート作業を行ってください。




Home　|　Titles　|　Head

2001.7.10更新
㈱オープンGIS
〒130-0001東京都墨田区吾妻橋1-19-14
電話(03)3623-2851 FAX(03)3623-3025
info@opengis.co.jp