[Google Cloud Next '24 Las Vegas] BigQueryでベクトル検索とマルチモーダルエンベディングを解き放つ

2024.04.21 Yudai Imai

Google Cloud Next '24 Las Vegasとは

Google Cloud Next '24は、2024年4月9日から4月11日の3日間、アメリカ・ラスベガスのMandalay Bayにおいて開催されるGoogleのクラウドサービスに関する世界最大級のイベントです。開発者、エンジニア、IT専門家、業界リーダーが集結し、3日間にわたり技術の最前線を駆け巡ります。特に今年のイベントは、AI/ML（人工知能・機械学習）にフォーカスが当てられ、セッションの約4割がAI/ML関連となり、その最新情報が発表されることが強く期待されています。

私たち日本情報通信株式会社も、Google Cloudに精通した専門家として、技術イノベーションの最新動向を取り入れ、顧客に対するソリューション提供に活かしていくことを目指して参加しています。

このような貴重な機会ですので、現地からいち早くブログで最新情報や熱量を発信してまいります。

本記事で紹介するセッション概要

講演日時：2024年4月10日 11:30 - 12:15 GMT-7
セッションタイトル：Unleash the power of vector search and multimodal embeddings in BigQuery
登壇者
- Jeff Nelson
  - グーグルクラウドのデベロッパー
- Márton Kodok
  - REEA.netのシニアソフトウェアアーキテクト
セッション内容のサマリ
- BigQueryでは、複雑な前処理を行うことなく、マルチモーダル埋め込みを生成し、データ上で直接ベクトル検索を実行できます。関連データの検索、パターンや傾向の特定、類似オブジェクトのクラスタリングなどのプロセスを簡素化します。マルチモーダル入力（テキスト、画像、音声）に対して、使い慣れたBigQuery SQL構文を使用してエンベディングを生成する方法を学びます。また、BigQueryのベクトル検索機能を使用して、新しい革新的な方法でデータを探索し、より迅速な意思決定と洞察力の向上につなげる方法を確認します。

このセッションで期待できること

BigQueryでテキスト、画像、ビデオ、オーディオなどのデータを使ったベクトル検索とマルチモーダルエンベディングについて知ることができます。
BigQueryの「ml.generate_embedding」関数を使用して様々なデータに対してマルチモーダルエンベディングを行い直接ベクトル検索を実行できること、そして、この機能により伝統的なデータベースの限界を超えて処理できることを知ることができます。

セッション内容

本ブログでは私が現地でセッションを聴講していて特に興味深いと感じた内容を抜粋してご紹介させていただきます。

BigQueryでのマルチモーダルエンベディング

本セッションではマルチモーダルが重要となるため、その中でも重要なマルチモーダルエンベディングが紹介されました。「マルチモーダルエンベディング」とはテキストや画像、動画などのデータを一緒くたにベクトルに変換し、セマンティック検索により異なるデータであっても比較や検索を行うことができるようになる技術です。この技術により、テキストによる画像検索やテキストからビデオへの検索など、異なるモーダルのデータ間での検索が行えるようになるという利点があります。

BigQueryでは「ml.generate_embedding」関数によりマルチモーダルエンベディングを行うことができます。この関数と慣れ親しんだSQL構文を利用して、GCSに存在するテキスト、画像、動画ファイルに対してマルチモーダルエンベディングを行うことが可能になり、その結果をBigQueryのテーブルとして書き出すことができるようになります(動画ファイルのマルチモーダルエンベディングは今後対応するとのことでした)。

BigQueryでのベクトル検索

BigQueryでは、マルチモーダルベクトルエンベディングで作成したベクトルインデックスに対して、効率的な検索を可能にするベクトル検索機能がプレビューで提供されています。このインデックスに対して、ユーザーはBigQueryの慣れ親しんだSQL構文を使用して大規模なマルチモーダル対応のベクトル検索クエリを実行できます。

BigQueryでのマルチモーダルエンベディングとベクトル検索の活用方法

セッションでは、BigQueryでのマルチモーダルエンベディングとベクトル検索を活用して実現できる機能が4つ挙げられました。

リコメンデーション
- CRMのデータをベースとした顧客への製品のリコメンド
クラシフィケーション
- マルチモーダルなデータのクラス・グループ分け
情報の管理
- 従業員がシンプルな検索で横断的なデータへアクセスできるようになる
外れ値の検出
- ユーザーのクリックストリームを過去のパターンと比較することで異常な行動や詐欺行為を検知する

これらの4つの機能は、特段珍しい機能ではないと思いますが、何よりも重要なことはBigQueryの中だけでこの4つの機能を実現できることです。これらの機能を実現する際に、他に必要なソリューションが存在しないことはセッションの中でも念押しして説明されていました。

おまけ：BigQueryとLangChainの連携機能

セッションではBigQueryとLangChainの連携機能についても言及があったので、最後に紹介いたします。

LangChainはベクトルインデックスに対してベクトル検索を行うことで、質問への応答やテキスト生成などの機能を統合することができるオープンソースフレームワークです。BigQueryとLangChainの連携機能では、BigQueryのベクトルインデックスを利用して関連した情報を取得し、これを大規模な言語モデルに投入することで、よりリッチなコンテンツや具体的な答えを生成することができます。また、一番のユースケースであるRAGを構築することにより、文書から関連情報を抽出しそれを基にモデルが回答を生成する流れを自動化することが可能になります。このLangChainとの連携機能を利用することで、BigQueryでの分析結果をさらに活用する新たな道を拓くことができるようになると紹介されていました。

会場の様子

Google Cloudの一番人気だと思われるBigQueryを使ってのベクトル検索やマルチモーダルエンベディングのセッションだったため、セッション会場には多くの方が詰めかけていたように思います。ただ、3日目ということもあり、全体的に落ち着いてきていた印象を受けました。

セッションでは、紹介された技術を利用したアプリケーションのデモも行われていましたが、想定されていた結果が生成されないといったハプニングもあったりして、まだまだ発展途上の技術であることが見て取れました(会場では笑いが起こっていました)。

まとめ・感想

BigQueryでのベクトル検索とマルチモーダルエンベディングについての基礎的な内容が紹介された良いセッションだったと思います。Vertex AI Searchといった簡単にRAGを構築する機能がGoogle Cloudには存在しますが、そういったサービスを利用せずにBigQuery上でも構築する方法はあるということを学べたと思います。

BigQuery自体には慣れている方は多くいると思いますので、今回のセッションで紹介されていた活用方法からなにか得られている方がいれば幸いです。私個人としては「外れ値の検出」の活用方法がBigQueryで実現する機能として面白そうだなと感じてました。

ここまでご覧になってくださり、ありがとうございました。