防犯や店舗運営のために設置したカメラの映像を、日々の改善にまで活かしきれていない現場は少なくありません。録画した映像を人が見返すには手間がかかり、見落としも避けられません。さらに、映像からわかるのは「何が起きたか」までで、「なぜ起きたか」まではわからないことがほとんどです。
この「なぜ」に迫る手段として注目されているのが、映像・音声・テキスト・数値などの複数のデータを組み合わせて理解する「マルチモーダルAI」です。この記事では、マルチモーダルAIの基本から、カメラ映像と他のデータを組み合わせた活用シーン、効果的に使うためのポイントまでを解説します。
この記事でわかること
- マルチモーダルAIの基本と、従来のAIとの違い
- カメラ映像と他のデータを組み合わせるとわかること、効果的に使うためのポイント
- 「OPTiM AI Camera Analytics」は映像のデータ化から、天候や施策と掛け合わせたレポート出力まで対応
1. マルチモーダルAIとは？ 複数の情報を組み合わせて理解するAI
マルチモーダルAIとは、テキスト・画像・音声・映像・センサーの数値など、種類の異なる複数のデータを組み合わせて理解・処理するAIです。人が目で見て、耳で聞いて、言葉で説明を受けて状況を判断するように、複数の情報を突き合わせることで、1種類の情報だけではわからない文脈まで捉えられる点が特徴です。
1-1. 「モダリティ」とは：AIが扱うデータの種類
マルチモーダルの「モーダル」は、モダリティ（modality）に由来する言葉で、データの種類や形式を指します。代表的なものは、テキスト、画像、音声、映像（動画）、センサーなどの数値データです。
同じ出来事でも、モダリティによって記録される内容は異なります。たとえば店舗で「レジが混んだ」という出来事は、映像には行列の様子として、POSデータには会計件数として、入店センサーには入店人数として残ります。マルチモーダルAIは、こうした別々の記録を一つの出来事として扱えるようにするものです。
1-2. マルチモーダルAIの強み：データ同士が弱点を補い合う
1種類のデータだけを扱うAIは「シングルモーダルAI」と呼ばれます。シングルモーダルAIは、担当するデータの外側にある情報を判断に使えません。映像を解析するAIは「人が何人いたか」を数えられても、その時間帯の売上や外部情報は判断材料に入りません。マルチモーダルAIは、複数のデータをまとめて扱うことで、より実際の状況に近い判断を目指すものです。
複数のデータを組み合わせる強みは、1種類のデータでは見えない部分を、別のデータが補えることにあります。たとえば映像は、暗い場所やカメラの死角では状況をつかめませんが、物音や機械の異音といった音の情報があれば、何が起きたのかを判断する手がかりになります。また、売上データには「何が売れたか」は残っても、「なぜ売れなかったか」は残りません。売場の前で立ち止まった人数といった映像の情報を重ねることで、その理由を考える材料が得られます。
この補い合う考え方は、身近な生成AIにも取り入れられています。文章を扱う大規模言語モデル（LLM）が画像や音声も扱えるようになったものは「マルチモーダルLLM」とも呼ばれます。人が文章で指示を出し、画像や映像の内容を答えてもらうという使い方が、ビジネスの現場でも広がりつつあります。
2. 映像と数字はそのまま混ぜられない？ AIが種類の違うデータをつなぐ考え方
映像は画素の集まり、売上は数字、音声は音の波形と、データの種類によって形式はまったく異なります。種類の違うデータは、そのままでは並べることも比べることもできません。マルチモーダルAIは、この違いを埋める工夫によって成り立っています。
2-1. 映像を「数字」に置き換えると、他のデータと並べられる
「映像をAIに読み込ませる」と聞くと難しく感じるかもしれませんが、やっていることは、映像の中から必要な情報を数字として取り出すことです。たとえば売場のカメラ映像から、「14時台に売場の前を通った人は120人、そのうち立ち止まった人は18人」といった数字を取り出すイメージです。
映像のままでは、売上の表と並べて比べることはできません。しかし一度数字にしてしまえば、「14時台の売上」と同じ行に並べられます。映像を数字として扱える状態にすることが、他のデータと組み合わせるための入り口です。
これは映像に限りません。音声なら「大きな物音が何回あったか」、センサーなら「室温が何度だったか」というように、マルチモーダルAIはそれぞれのデータを比べられる形に置き換えてから組み合わせています。
2-2. データを統合するタイミングの違い
データをまとめるタイミングには、大きく2つの考え方があります。1つは、早い段階で複数のデータを一つにまとめてから分析する方法です。データ同士の細かな関係を捉えやすい一方、すべてのデータが同じ時点でそろっている必要があります。
もう1つは、映像は映像、売上は売上と、それぞれを個別に分析してから結果を統合する方法です。既存の仕組みを活かしやすく、一部のデータが欠けても運用を続けやすい点が特長です。現場で取り組む場合は、まず個別に分析できる状態を作り、その結果を掛け合わせるところから始めると現実的です。
3. 現場のマルチモーダルAIは「カメラ映像」が起点になる
店舗や施設、工場など、人やモノが動く現場でもっとも多くの情報を記録しているのはカメラ映像です。誰がどこに、どれだけいたのかを、相手に機器を持たせることなく連続して記録できるのは、カメラ映像ならではの特長です。
AIがカメラやセンサーで現実の状況を捉え、自ら判断して動く「フィジカルAI」については、別記事「2026年に注目の「フィジカルAI」を解説｜注目される理由と活用事例を解説」も参考にしてください。
一方で、映像からわかることには段階があります。ここでは「人の目で確認する場合」「AIで映像を解析する場合」「他のデータと組み合わせる場合」の3段階で整理します。
3-1. 人の目で確認する場合：「何が起きたか」はわかるが、全部は見きれない
録画映像を人が見返せば、「レジに行列ができていた」「棚の前で立ち止まる人がいた」といった出来事は確認できます。ただし、カメラ1台でも1日分の映像は24時間あり、台数が増えれば確認にかかる時間はさらに膨らみます。結果として、トラブルがあったときだけ見返す使い方になりがちです。
また、人の目による確認では、見る人や時間帯によって判断にばらつきが出ます。「いつもより混んでいた気がする」という印象は残っても、何人いたのかを数字として残せないため、日ごとや店舗ごとに比べることが難しいのが限界です。
3-2. AIで映像を解析する場合：「どれだけ起きたか」まで数えられるが、「なぜ」はわからない
AIで映像を解析すると、人数のカウントや滞在時間の計測、属性の推定などを自動で行えます。人が見きれなかった時間帯も含めて、出来事を「量」として記録できるのが人の目との大きな違いです。曜日や時間帯ごとの来店者数、売場ごとの滞在傾向など、比較できるデータが手に入ります。
ただし、映像だけを解析してもわかるのは「どれだけ起きたか」までです。たとえば「土曜の午後に売場Aの滞在者が減った」とわかっても、それが天候のせいなのか、販促を変えたからなのか、近隣のイベントの影響なのかは、映像の中には映っていません。AIによる画像解析の基本は、別記事「AI画像解析とは？仕組みと活用事例をわかりやすく解説」で詳しく解説しています。
3-3. 他のデータと組み合わせる場合：「なぜ起きたか」に迫れる
映像から得た数値を、売上や天候、施策の実施期間といった他のデータと並べると、変化の理由に近づけます。「雨の日は入店者数が減るが、入店した人の滞在時間は長い」「値引き施策の期間中、売場前を通る人は増えたが、立ち止まる人は増えていない」といったように、映像だけでは見えなかった理由の手がかりが得られます。
これが、現場でマルチモーダルAIの考え方を活かす意味です。段階が上がるごとに、わかることは次のように広がっていきます。
■ 段階ごとにわかることと限界
| 人の目で確認 | AIで映像を解析 | 他のデータと組み合わせる | |
|---|---|---|---|
| わかること | 何が起きたか | どれだけ起きたか（人数・滞在時間など） | なぜ起きたか（変化の理由の手がかり） |
| 限界 | 全部は見きれない／数字で残せない | 映像の外にある原因はわからない | データの形式・時刻・場所をそろえる準備が必要 |
4. カメラ映像×他のデータでわかること｜組み合わせ別の活用シーン
ここでは、カメラ映像と他のデータを組み合わせた場合に考えられる活用シーンを、組み合わせ別に紹介します。いずれもマルチモーダルAIの一般的な活用の方向性として整理したもので、特定のサービスの機能や導入実績を示すものではありません。
4-1. 映像×POSデータ：店内での立ち寄りと購買のギャップがわかる（小売）
POSデータからは「何が、いつ、いくつ売れたか」がわかりますが、「見たけれど買わなかった人」の情報は残りません。映像から得た売場前の通過人数や立ち止まった人数と組み合わせると、「よく見られているのに売れていない商品」「立ち寄りは少ないが購入率は高い商品」といった違いが見えてきます。
この差がわかれば、陳列位置を変えるべき商品と、POPや価格を見直すべき商品を切り分けることが期待できます。売上の数字だけでは判断できなかった売場づくりの打ち手を検討しやすくなります。動線データの活用方法は、別記事「動線分析（ヒートマップ）の活用方法｜店舗レイアウト改善に役立てる」で詳しく解説しています。
4-2. 映像×センサーデータ：温湿度や設備の稼働と、人の動きの関係がわかる（施設・製造）
温湿度計や設備の稼働ログなどのセンサーデータは、環境や機械の状態を数値で記録します。ここに映像から得た人の動きを重ねると、「室温が上がる時間帯に特定のエリアの滞在者が減る」「設備が停止した時間帯に作業者がどこに集まっていたか」といった関係を捉えることが考えられます。
施設であれば空調や座席配置の見直し、製造現場であれば設備トラブル時の作業の流れの改善など、環境と人の動きを一緒に見直す材料になります。
4-3. 映像×音声：異常や危険の検知精度が上がる（製造・セキュリティ）
映像だけで異常を判断しようとすると、カメラの死角や照明の変化によって、見逃しや誤検知が起こることがあります。ガラスが割れる音や機械の異音、大きな物音といった音の情報を組み合わせると、映像と音の両方から状況を判断できるため、検知の精度を高めることが期待されます。
たとえば、映像で人が倒れているように見えた場面に、直前の大きな物音が重なっていれば、優先して確認すべき事象と判断できます。監視の負担を減らしつつ、本当に対応が必要な場面に集中しやすくなるのが利点です。
4-4. 映像×テキスト（LLM）：映像の中身を言葉で検索・要約できる
マルチモーダルLLMを使うと、映像の内容を文章で要約させたり、「台車が通路をふさいでいた場面」のように言葉で映像を探したりする活用も考えられます。長時間の録画から必要な場面を探す手間が減るため、人が映像を見返す作業の負担軽減につながります。
また、日報や点検記録などのテキストと映像を照らし合わせれば、記録に残っている出来事が実際にどう起きていたかを確認しやすくなります。LLMと映像解析の関係は、別記事「AIで動画解析はどう変わる？LLMが精度向上を支える方法」で詳しく解説しています。
5. カメラ映像をマルチモーダルAIで効果的に使うためのポイント
映像と他のデータを組み合わせる取り組みは、データを集めるだけでは成果につながりません。ここでは、カメラ映像を起点にマルチモーダルAIの考え方を活かすためのポイントを紹介します。
5-1. まず「知りたい『なぜ』」を決める
「とりあえずデータを集めておけば何かわかるだろう」という進め方では、組み合わせるデータが際限なく増え、分析も止まりがちです。最初に「雨の日に売上が落ちる理由を知りたい」「午後に作業効率が下がる理由を知りたい」など、答えを出したい問いを一つ決めることで、必要な映像とデータが絞り込めます。
5-2. 映像を数値にして、他のデータと形式・粒度をそろえる
2章で触れたとおり、映像はそのままでは他のデータと並べられません。人数や滞在時間などの数値として取り出した上で、「1時間ごと」「1日ごと」といった集計の単位を、売上やセンサーのデータとそろえる必要があります。単位が合っていないと、比較しても意味のある傾向は見えてきません。
5-3. 時刻と場所をそろえて記録する
どの映像が、どの時間帯の売上や、どのエリアのセンサー値と対応しているのかがわからなければ、データは掛け合わせられません。機器ごとに時刻がずれていないか、カメラの撮影範囲と売場やエリアの区分が対応しているかを、データを集める段階から確認しておくことが大切です。
5-4. データ量と処理コストを見積もる
映像は他のデータに比べてデータ量が大きく、すべてをクラウドに送って解析すると、通信や保存のコストが膨らむことがあります。現場の端末で解析し、必要な数値だけを送る「エッジAI」という選択肢も含めて、解析する場所と保存する範囲を検討しましょう。エッジ側で解析する考え方は、別記事「エッジAIカメラとは？ 仕組みやクラウドAIとの違い、活用例などを解説」で詳しく解説しています。
5-5. AIの判断を人が確かめる仕組みを残す
AIは人数を数え間違えたり、映像の内容を誤って説明したりすることがあります。特に生成AIは、もっともらしい誤り（ハルシネーション）を出力する場合があるため、分析結果をそのまま意思決定に使うのは避けるべきです。気になる結果が出たときに元の映像を確認できる状態を残し、最終的な判断は人が行う運用にしておくと安心です。
5-6. プライバシーに配慮した設計にする
カメラ映像には人の姿が映るため、個人情報の取り扱いに注意が必要です。他のデータと組み合わせることで、個人を特定しやすくなる場合もあります。利用目的の明示や、個人を識別しない形での集計など、設計の段階から配慮しておくことが求められます。カメラ映像と個人情報の関係は、別記事「【2026年改正個人情報保護法】カメラ映像の「どこから」が個人情報？ 該当するデータの境界線と企業リスク」で詳しく解説しています。
6. 映像のデータ化から掛け合わせ分析まで｜「OPTiM AI Camera Analytics」
カメラ映像を他のデータと組み合わせて活かすには、まず映像を数値として取り出し、比べられる形で蓄積することが出発点になります。
「OPTiM AI Camera Analytics」は、撮りためた映像データをAIで解析し、人数のカウントや属性分析、長時間滞在やエリアへの侵入の検知などを行うAIによる動画解析サービスです。人が映像を見返さなくても、現場で起きた出来事を数値として把握できます。解析対象の人物を匿名化して表示する機能も備えているため、プライバシーに配慮した運用が可能です。
さらにレポート機能では、カメラ映像から得た定量的な情報と、AIが取得した天候データ、ダッシュボード上で管理している施策（施策の内容と実施期間）を掛け合わせたレポートを出力できます。天候による来店者数の変化や、施策の期間中に売場前の人数がどう推移したかなど、映像だけではわからなかった変化の理由を、複数のデータを並べて検討する第一歩として活用できます。
録画した映像を「録っておくだけ」から、改善の根拠となるデータへ変えたいご担当者さまは、「OPTiM AI Camera Analytics」をご確認ください。