PictSure：視覚埋め込みの力でFew-Shot分類に挑む新手法

LLM-Paper 2025年07月17日

3つの要点
✔️ PictSureは画像のみを使ったICL手法で、埋め込みの事前学習が精度向上に不可欠であると示した
✔️ ResNetやViTの事前学習済みモデルを凍結して使用することで、高いFew-Shot分類性能を実現
✔️ 特に医療や農業など言語情報が乏しい分野で、従来手法よりも優れた汎化性能を発揮

PictSure: Pretraining Embeddings Matters for In-Context Learning Image Classifiers
written by Lukas Schiesser, Cornelius Wolff, Sophie Haas, Simon Pukrop
(Submitted on 16 Jun 2025)
Comments: 15 pages, 10 figures
Subjects: Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI)

code：

概要

近年、画像分類の分野において、少数のサンプルから新しいクラスを識別する「Few-Shot Image Classification（FSIC）」が注目を集めています。

特に、テスト時にラベル付き画像を数枚与えるだけで学習せずに推論できる「In-Context Learning（ICL）」手法は、柔軟性と効率性の面で有望です。しかしこれまでの研究では、ICLにおける画像特徴量（埋め込みベクトル）の前処理や学習方法が分類精度に与える影響については、十分に検討されてきませんでした。

本研究では、視覚情報のみを使うICLモデル「PictSure」を提案し、埋め込みモデルの構造・事前学習方法・学習タイミングといった要素がFSIC性能にどう影響するかを体系的に分析。その結果、特に事前学習済みの埋め込みモデルを用いた場合、PictSureは従来手法を大きく上回る精度を示すことが分かりました。

これは、意味的な言語情報に依存せずとも、視覚的特徴の質だけで高精度な分類が可能であることを示唆しています。

提案手法

提案された「PictSure」は、画像のみを用いて少数ショット分類を行うICLモデルであり、入力されたサポートセット（画像とそのラベル）とクエリ画像の文脈から、クエリのラベルを予測するTransformerベースのアーキテクチャです。Transformerの入力には、画像埋め込みとラベル埋め込みを結合したトークン列を与え、特別に設計された非対称なアテンションマスクにより、クエリがサポートに依存する構造が実現されています。

また、本モデルの特徴は、視覚埋め込みの質に強く依存している点です。埋め込みモデルとしてはResNetやVision Transformer（ViT）を採用し、ImageNetなどで事前学習させた後に固定もしくは微調整しながら使用します。

特にViTでは、通常の分類損失に加えてTriplet Lossを導入することで、より構造的な埋め込み空間を得られることが確認されました。これにより、視覚的に類似した画像同士が近くに配置されるため、ICLにおけるラベル予測が安定しやすくなります。

PictSureは、自然画像に限らず、医療や農業など言語情報に乏しいドメインでも強力な汎化性能を発揮する設計となっています。

実験

本研究では、PictSureの有効性を検証するため、in-domain（学習データに近い）およびout-of-domain（異なる分布）データセットを用いたfew-shot分類タスクを実施。実験は5-way 1-shotおよび5-way 5-shot設定で行われ、PictSureの性能はベースラインであるKNNや、CLIPベースのICL手法CAMLと比較されました。

その結果、ResNetやViTを用い、事前学習を施した上で凍結した埋め込みモデルを使ったPictSureは、特に医療画像や特殊な画像分野（例：Brain Tumor, OrganCMNIST）において、他手法を大きく上回る精度を示しました。

対照的に、CLIPを利用するCAMLは、自然画像では高精度を出せた一方で、医療領域では精度が低下しました。これは、CLIPの言語ベース事前学習が視覚的な細部の識別に適していないことを示唆しています。

また、PictSureでは、サポートセットの枚数（コンテキスト長）を増やすことで精度が向上する一方、8枚以降は性能の頭打ちが見られるなど、過学習に強く安定した学習挙動が確認されました。