[Google Cloud Next '25 Las Vegas] セッション参加レポート: AIエージェントによるBQデータパイプラインの自動化

gcn25

Google Cloud Next '25 Las Vegasとは

Google Cloud Next '25は、2025年4月9日から4月11日の3日間、アメリカ・ラスベガスのMandalay Bayにおいて開催されるGoogleのクラウドサービスに関する世界最大級のイベントです。「今回は、これまでで一番多彩なデベロッパーコンテンツを用意します。デベロッパー専用のエクスペリエンスやコンテンツを充実させ、アプリ開発や AI のほか、スケーラブルで安全なデータ駆動型アプリケーションの学習や開発に役立つ重要なトピックを網羅します。」と銘打っており、AIコンテンツで大いに盛り上がった昨年や一昨年にも勝るとも劣らないイベントとなることが期待されます。

私たち日本情報通信株式会社も、Google Cloudに精通した専門家として、技術イノベーションの最新動向を取り入れ、顧客に対するソリューション提供に活かしていくことを目指して参加しています。

このような貴重な機会ですので、現地からいち早くブログで最新情報や熱量を発信してまいります。

本記事で紹介するセッション概要

講演日時：2025年4月10日
セッションタイトル：Automate data pipelines with AI agents in BigQuery
セッション内容のサマリ

データラングリングやパイプラインのメンテナンスといった日常的なタスクは、データチームによる価値の高い分析やインサイトに基づく意思決定の妨げとなることがよくあります。このセッションでは、BigQuery のインテリジェントデータエージェントが複雑なデータエンジニアリングタスクの自動化にどのように役立つかを紹介します。自然言語プロンプトを使用して、データの取り込みから変換、データのクリーニング、フォーマット、BigQuery テーブルへの結果の読み込みといったデータエンジニアリングタスクを効率化し、データパイプラインの構築と検証にかかる時間を短縮する方法を学びます。

このセッションで期待できること

キーノートで取り上げられているように、今回は多くの「エージェント」が注目されています。これを、Google Cloudでも利用頻度の高いサービスであるBigQueryで活用できるのは、多くのユーザーにとって大きな恩恵となるでしょう。従来の「自然言語によるクエリ記述」を超えて、エージェントがどこまでのことをできるようになったのかを知る良い機会です。

セッション内容

本セッションでは、データエンジニアリングエージェントを「ユーザーに代わって目標を追求し、タスクを完了し、理想的にはプロアクティブにそれを行うもの」と簡潔に定義しました。現時点では、多くのエージェントはコード支援型または半自律型ですが、将来的には自律的な動作が期待されています。

具体的には以下のような機能を目指しています

言及されていたのはものを抜粋すると

組織内でのパイプラインの記述方法を理解し、その知識を新しいパイプラインに適用する。
数千ものパイプラインのスケーラブルな管理、トラブルシューティング、プロアクティブなチューニングを支援する。
自然言語によるパイプラインの構築を可能にする。
パイプラインの失敗ジョブを分析し、失敗理由を特定して修正方法を提案する。
既存のパイプラインの構築方法を学習し、同様のパイプラインを大量に生成するための指示を生成する。

といったものです。

なお、これらの機能は現状では主にデータエンジニア向けですが、将来的にはデータアナリストやデータ利用者向けにも拡張され、多くのデータ業務従事者の助けとなることを目指しているとのことです。

IMG_0110-1

現時点ではデータエンジニアリングエージェントは一般公開されておらず、トライアル版が近日中に利用可能になる予定です。

パイプライン構築デモ

デモでは、BigQuery Studio上で自然言語プロンプトを使用してパイプラインを構築する様子が示されました。具体的な処理内容は以下の通りです。

Google Cloud Storage (GCS) からのデータの取り込み
データのクリーニング（トリムなど）
異なるデータソースとの結合

直感的で分かりやすい操作で簡単にパイプラインを構築できることが確認できました。また、取り込んだデータのクリーニング（スペースのトリムなど）はエージェントが自動的に処理していました。

さらに追加のトリミングやデータクリーニングが必要な場合も、自然言語での指示をエージェントが受け付けて実行してくれます。

IMG_0112-1

パイプラインの書く処理が何をしているかもわかりやすく画面出力されています。

ただし気になったこととして「テーブルジョインしてほしい」という指示に対して、Left JOINかInner JOINかと訊き返される場面がありました。まだ完全にSQLの理解なしでパイプラインを構築できる段階には至っていないようです。

大量のパイプラインを一括で構築したい場合には、コマンドラインからの構築も可能であることが示されました。

また、ライブデモではありませんでしたが、パイプラインの失敗に対してエージェントが調査を行い修正方法を提示する機能も示されました。

まとめ・感想

今回デモで紹介されたパイプラインの構築は比較的シンプルなものでした。そのため、実際にエージェントがどこまでタスクを完結できるかは未知数ですが、多くの役割をエージェントに任せられる日の訪れは近いと感じました。コードを書くことなく柔軟にパイプラインを構築できる様子は、従来のノーコード／ローコードの完全上位互換と言えるでしょう。

今後に期待したい点としては、データアナリストやデータ利用者向けのエージェントの準備です。AIが部分的にシステム化されるだけでなく、データ活用業務全体にAIエージェントが介在することを前提として再構築することで、大きなイノベーションが生まれると期待しています。

引き続きデータエンジニアリングエージェントの動向を追いかけてまいりますので、アップデートがあればご紹介してまいります。