マルチモーダル検索
マルチモーダル検索とは、テキスト、画像、音声、動画など複数の形式の入力を1つのクエリに組み合わせて行う検索方法です。キーワードの一致に頼る従来の検索とは異なり、異なる形式の入力を意味に基づいて比較し、答えを見つけます。
マルチモーダル検索は、複数の入力形式を1つのクエリに統合します。たとえば、写真を撮って、同時にテキストで質問する、といった使い方です。
Googleは、テキストと画像を組み合わせる multisearch を、2022年4月に米国英語版ベータとして公開しました。その裏側では、MUM AIモデルが処理の大部分を担っています。
この核となる考え方は、写真、音声、テキストを、形式ではなく意味に基づいて共通の埋め込み空間で比較することです。
In the era of AI searchの時代では、画像のalt text、キャプション、structured data、そして周囲の文脈が、モデルが実際に読み取るシグナルになります。
画像の解像度やOCRの判読性が低い場合、モデルが視覚トークンを誤読し、その結果としてハルシネーションを起こすことがあります。
マルチモーダル検索とは、テキスト、画像、音声、動画など異なる形式の入力を単一のクエリにまとめ、意図を理解して答えを見つける検索方法です。たとえば、気に入ったドレスがあるとします。それを写真に撮り、「green」という単語を追加すると、検索エンジンは両方の入力をまとめて解釈し、同じデザインのグリーン版を表示します。従来の検索との決定的な違いは、正確なキーワードを入力する必要があったのに対し、言葉にしにくいものでも、見せたり話したりするだけで見つけられる点です。
この変化を支える技術的基盤が、MUM（Multitask Unified Model）です。Googleは2021年5月にこれを発表しました。MUMは75言語で学習され、テキスト、画像、動画といった複数形式の情報を一度に理解できるよう設計されています。2021年9月のSearch Onイベントでは、Google Lensと組み合わせたマルチモーダル検索をデモし、2022年4月7日には米国英語ユーザー向けベータ版として multisearch を公開しました。Googleアプリでは、Lensで写真を撮ったあと、「+ Add to your search」でテキストを追加し、視覚検索とテキスト検索を1つに統合できます。
従来の検索との違い
最も大きな違いは、入力形式とマッチング方法です。従来の検索はテキストキーワードが一致するかを確認しますが、マルチモーダル検索は形式の異なる入力を意味の単位に変換し、それらを比較します。
項目 | 従来の（キーワード）検索 | マルチモーダル検索 |
|---|---|---|
入力形式 | テキストキーワード | テキスト、画像、音声、動画の組み合わせ |
マッチング方法 | キーワードおよび文字列の一致 | 共有埋め込み空間における意味ベースの比較 |
検索例 | 「グリーンのドレス」 | ドレスの写真 + 「green」というテキスト |
最適な用途 | 対象を言葉で正確に説明できる場合 | 言葉で説明しにくい対象を、見せる、または話すことができる場合 |
代表的な技術 | 逆インデックス、ランキングアルゴリズム | MUM などのマルチモーダル AI モデル、マルチモーダル埋め込み |
実例とエビデンス
Google が公式ブログや Search On のプレゼンテーションで示した例は、マルチモーダル検索の用途を具体的にしています。たとえば、気に入ったドレスを別の色で見つけること、ダイニングテーブルを撮影して「コーヒーテーブル」と追加し、それに合う家具を見つけること、見慣れない植物を撮影して手入れの仕方を知ることなどです。Search On 2021 のデモでは、Google は見慣れない自転車部品の写真を撮って「どうやって直すの？」と尋ねる例も示し、システムはその画像を動画の正確な瞬間と照合して修理方法を表示しました。別のデモでは、シャツの柄を撮影して同じ柄の靴下を探しました。その後 Google は、カメラ越しに見えた商品を近隣の店舗で見つける「multisearch near me」機能も追加しました。
AI 検索が日常的になるにつれ、マルチモーダル検索は画像、動画、音声アセットをどのように最適化するかという問題へと広がっています。2025 年 12 月の記事で、Search Engine Land の Myriam Jessier は、AI システムが画像を「visual tokens」に変換するとき、解像度が低いとそれらのトークンが誤読され、幻覚につながる可能性があると説明しています。同記事によると、画像内のテキストを OCR で読み取るには、文字の高さは少なくとも 30 ピクセル、コントラストはおおむね 40 グレースケール値以上が必要で、強く装飾されたフォントは OCR の妨げになるとされています。さらに彼女は、alt textは単なるアクセシビリティ用テキストを超えており、モデルがあいまいな視覚トークンの意味を特定するのに役立つ「意味の標識」として機能すると強調しています。
実行チェックリスト
すべての主要画像に、主題と文脈を具体的に捉えたalt textを記述します（装飾的な画像は例外です）。
十分な画像解像度を確保し、画像内テキストについては文字高さ 30 ピクセル以上、コントラスト 40 以上を目安にします。
画像や動画の周囲に説明的なキャプションと本文コンテキストを配置し、モデルが読み取れるテキストシグナルを追加します。
Apply 商品と画像に構造化データ（schema）を適用して、形式と関係性の情報を明示します。
動画にはキャプション、タイムスタンプ、主要シーンの説明を追加し、特定の瞬間を照合できるようにします。
信頼性の高い出典を示すためにオリジナル画像を使用し、重複画像や盗用画像は避けます。