【IT】EdgeのCopilotでWeb画像の一部(スクリーンショット)から検索する方法

EdgeのCopilotで画像の一部から検索

Edgeの定期更新

2024年2月、Edgeを立ち上げると更新画面が出てきた。

年に何度か見かけるやつだ。

Edgeの更新通知

いつも通り、セキュリティ強化や機能追加が行われた模様。

EdgeにAIチャット(旧 Bing AI)が実装されて早1年、Microsoft社のCopilot(コパイロット)は日進月歩で進化している。

今回はCopilotの新機能を1つ紹介したい。

画像の一部を使った検索

例えばこのようにWebサイトに掲載された建物がどこの何かを調べたいとする。

風景写真

こんな時、画像を範囲選択してAIチャットに問いかけられるのが新機能。

まず右上のCopilotボタンを押す。

Copilotを起動

いつからかMicrosoftアカウントのサインインは必須ではなくなったようだ。

チャット欄にあるハサミボタンを押す。

Add a screenshotを押す

マウスのドラッグで範囲選択。

完了ボタンを押す。

対象を範囲選択して完了ボタンを押す

選択範囲の画像がチャット欄に追加される。

画像が質問欄に追加される

画像に対する質問を入力。

「これはどこの景色ですか?」でOK。

質問を入力

10秒ほどしてCopilotが回答を提示。

これは日本の "宮島(厳島)" の景色です。写真には「厳島神社の大鳥居」が映っています
AIの回答が表示される

すごい。

思ったよりも識別能力が高いようだ。

追加検証

景色以外の画像でも試してみた。

Amazonの「鬼滅の刃」単行本23巻の表紙の一部を切り取って「このキャラクターが登場する漫画は何ですか?」と質問。

このキャラクターが登場する漫画は何ですか?
このキャラクターは竈門炭治郎という名前の主人公で吾峠呼世晴による日本の漫画作品『鬼滅の刃』に登場します

これも正解。

今度はAmazonにある「機動戦士ガンダムSEED」のフィギュアを画像選択してモビルスーツの名前を聞いてみた。

このモビルスーツの名前は何ですか?
このモビルスーツはストライクフリーダムガンダムと呼ばれています。

惜しい。

これはストライクフリーダム(ZGMF-X20A)ではなくフリーダム(ZGMF-X10A)だ。

しかし間違った回答をした事で、Amazonの商品タイトルをそのまま表示している訳ではないことが証明された。

学習が進めば精度は向上するだろう。

進化し続けるAI

Wikipediaが世界中のボランティアによって整備され、情報源として確立したように。

世界中のユーザーがAIを育てれば、誰もが頼る存在になるはずだ。

現時点でも、カメラ付きスマホをかざせば情報を出せる程度の技術は確立している。

花の画像分析

利用範囲が広がる日はそう遠くない。

「この宝石はイミテーション(模倣品)です」「このイチゴの品種はあまおうです。賞味期限は3日後です」のように。

広い分野で、深い情報が得られるようになると思う。

多種多様なカテゴリ

小説・イラスト・論文等の審査ではネットの盗作でないかかどうかをAIが調べたり、

オリジナル性の調査

防犯カメラの映像をAIが精査したり。

映像分析

AIが進化する度に「無数のビジネスチャンス」が生まれる反面、既存の商売が成り立たなくなる可能性がある。

AI教師、AI声優、AI画家、AI歌手、AIプログラマ……電車の運転も、病気の診断も、あれもこれもAIに置き換わりそうで怖い。

これから世に出る若者はAIと競うのではなく、AIに使われるでもなく、AIを使いこなせるかどうかが成功のカギになるだろう。

将棋の藤井壮太名人のように。