Gemini: Spatial_understanding_3d 実行メモ

こんにちは、Naoya です。

Gemini の空間理解能力のデモンストレーションとして公開されている Google Colab Notebook Spatial_understanding_3d.ipynb を実行してみたので、要点や私の解釈、補足情報をまとめました。

今回紹介するサンプルは、生成AI論文をわいわい読む会 #2 x Build with AI もくもく会 のもくもく会で使用予定です。参加者の方は、こちらのポストは補足資料としてお使いください。もくもく会で使用する Notebook の方は、原典のニュアンスを尊重する形で日本語化しているため、文章での記述が多く、要点がわかりにくいかもしれません。このポストで概要や要点を把握した上で Notebook を実行して頂くと、より理解が深まるかもしれません。

大前提

この Colab Notebook が紹介する Gemini の 2D/3D の空間理解は、Experimental な機能です。"Bounding box detection" の公式ドキュメントには、以下のように記載されています。プロジェクトで使用する際はこの点を十分に考慮してください。

Experimental

This feature is subject to the "Pre-GA Offerings Terms" in the General Service Terms section of the Service Specific Terms. Pre-GA features are available "as is" and might have limited support. For more information, see the launch stage descriptions. ^[1]

Notebook の実行

• Google AI Studio の API Key で実行できます。課金設定 (Vertex AI) はなくても実行できるようです。
• gemini-2.0-flash がデフォルトで使用されていますが、 Gemini 2.5 系でももちろん実行できます。 (認識精度の差については検証できていません。)
• 基本的に上からセルを実行していけば、エラーなく実行できます。
  • 一部、画像のリサイズに Image.thumbnail() が使用されています。以下のように、Image.resize() を使用する実装に置き換えてください。

- img = Image.open("room.jpg")
- img = img.thumbnail((800, 800))
+ img = Image.open("room.jpg")
+ img = img.resize((800, int(800 * img.size[1] / img.size[0])), Image.Resampling.LANCZOS)

コンテンツの構成

大きく以下の 2つの項目で構成されています。

• Pointing to items using Gemini: 2D 上で画像内のオブジェクトの配置などの理解力を体感するサンプル
• Analyzing 3D scenes with Gemini 2.0 (Experimental): 2D 画像上のオブジェクトの配置を 3次元的に理解する能力のサンプル

それぞれのサンプルについて、(1) Gemini に画像を入力してオブジェクトの位置などを取得、(2) シンプルな HTML+CSS+JS で構成されたインタラクティブな UI 上で可視化して出力を確認するという流れで進んでいきます。余談ですが、可視化のコードの中を見ると、これほどシンプルな構成でこれほど表現力のあるインタラクティブな UI が作れるのかと驚きました。

Pointing to items using Gemini (2D空間の理解)

画像中の物体を Bounding Box ではなく、点 (point) として検出し、検出した物体に対する推論を行うサンプルが紹介されています。このサンプルを通して、Gemini がどのように 2D空間を理解できるのかを学ぶことができます。

テキストのみを入力とするモデルであれば、「キッチンに置かれている赤いタオルは何に使いますか？」と言ったように、ユーザが明示的にオブジェクトに言及することで、モデルにオブジェクトに対する質問などが可能になります。しかし、マルチモーダルモデルであれば、画像と「画像内で検出したアイテムの使い方を教えて」といったプロンプトを入力することで、画像内のオブジェクトへの明示的な言及がなくとも、モデルが画像内にあるオブジェクトとそのコンテキストなどを認識し、質問に答えることができます。

プロンプトの例 (Pointing)

Point to no more than 10 items in the image, include spill.
The answer should follow the json format: [{"point": <point>, "label": <label1>}, ...]. The points are in [y, x] format normalized to 0-1000.

各サブセクションの概要 (Pointing)

Analyzing 3D scenes with Gemini 2.0 (Experimental)

Gemini の 3次元空間把握能力に関する 2つのサンプルです。1つ目のサンプルは、マルチビュー解析です。これは、同じシーンを異なる視点から撮影した複数の画像において、各視点間での対応するオブジェクトのペアを推論する能力をデモンストレーションします。2つ目のサンプルでは、モデルがシーン内のオブジェクトを 3D bounding box として検出する様子を見ることができます。

これらのサンプルを通して、Geminiが 2D の画像入力からでも、シーンを立体的に理解する能力を獲得していることを実感できます。

プロンプトの例 (3D Bounding Box Detection)

Detect the 3D bounding boxes of no more than 10 items.
Output a json list where each entry contains the object name in "label" and its 3D bounding box in "box_3d"
The 3D bounding box format should be [x_center, y_center, z_center, x_size, y_size, z_size, roll, pitch, yaw].

各サブセクションの概要 (3D)

テクニカルに重要なポイント

物体検出を行う際のプロンプト

同じ物体を出力し続けること (looping) を防ぐため、(1) 温度パラメータ (Temperature) は 0 より大きい値を設定し、(2) 出力する物体数に制限を加えることが推奨されています。以下は、温度パラメータ 0.5、最大10個の検出に制限した例。温度パラメータは、生成されるテキストのランダム性と多様性を制御するパラメータです。

image_response = client.models.generate_content(
    model=MODEL_ID,
    contents=[
        img,
        # (2) 検出数を最大10個に制限 ("no more than 10 items" の部分)
        """
          Point to no more than 10 items in the image, include spill.
          The answer should follow the json format: [{"point": , "label": }, ...]. The points are in [y, x] format normalized to 0-1000.
        """
    ],
    config = types.GenerateContentConfig(
        temperature=0.5  # (1) 温度パラメータを0より大きな値に設定
    )
)

座標・Bounding Box の推奨フォーマット

モデルが最もよく知っているフォーマットがあるため、そのフォーマットを使用することが推奨されています。

2D Point (座標) ・ 2D Bounding Box のフォーマット^[1:1]

# Point (2D上の点)
[y, x]

# 2D Bounding Box
[y_min, x_min, y_max, x_max]

以下、注意点です。

• 正規化された値 (0-1000) で座標が表現
  • 画像左上が (y, x) = (0, 0)、右下が (y, x) = (1000, 1000) に対応。Xは水平方向、Yが縦方向。
  • 元の画像に結果をオーバーレイするためには、画像の座標系へ変換することが必要。
• 座標の値の順番が、(x, y) ではなく (y, x) の順 (Y座標が先に来る) が推奨
  • よく使用される (X, Y) の順番とは逆になるので、扱いには注意が必要

Spatial_understanding.ipynb などのサンプルをみると、フォーマットを明示的に指定しない場合は、上記のフォーマットが適用される模様です。

3D Bounding Box のフォーマット

[x_center, y_center, z_center, x_size, y_size, z_size, roll, pitch, yaw]

• x_center, y_center, z_center: カメラフレームにおけるオブジェクトの中心座標。(単位: m)
• x_size, y_size, z_size: オブジェクトのサイズ。(単位: m)
• roll, pitch, yaw: オイラー角 (単位: degree)

(注) 公式のドキュメントではこの3D Bounding Box のフォーマットに関する記述は確認できませんでした。もし公式の情報をご存知の方は教えてください。

まとめ

Spatial_understanding_3d.ipynb で紹介されている内容の要点を中心にまとめました。Colab 実行時の助けになると嬉しいです。繰り返しにはなりますが、Bounding Boxの検出や Pointing などは GA ではなく Experimental な機能になります。使用する際は十分に注意してください。

補足: データセット

モデルやタスクを理解する上で、学習に使われたデータセットを理解することが重要だと個人的に思っています。よって、マルチモーダルモデルを学習・評価するために使われるデータセットをざっくり調べました。詳細は書きませんが、興味があればリンクから中身を確認してみてください。また、ここにリストアップされているもの以外で重要なデータセットがあればコメント欄から教えていただけると嬉しいです。

事前学習用データセット

• LAION-5B: An open large-scale dataset for training next generation image-text models
• ALIGN: Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision

Supervised Fine Tuning (SFT)^[2]

• LLaVA-Instruct (Hugging Face) ... Single-Image + Text
• MMIU (Hugging Face) ... Multi-Image + Text

ベンチマーク^[3]

• MMMU (Hugging Face)
• MMBench (Hugging Face)