[Google Cloud Next '24 Las Vegas] AI Coaching

2024.05.02 XIMIX 重永

Google Cloud Next '24 Las Vegasとは

Google Cloud Next '24は、2024年4月9日から4月11日の3日間、アメリカ・ラスベガスのMandalay Bayにおいて開催されるGoogleのクラウドサービスに関する世界最大級のイベントです。開発者、エンジニア、IT専門家、業界リーダーが集結し、3日間にわたり技術の最前線を駆け巡ります。特に今年のイベントは、AI/ML（人工知能・機械学習）にフォーカスが当てられ、セッションの約4割がAI/ML関連となり、その最新情報が発表されることが強く期待されています。

私たち日本情報通信株式会社も、Google Cloudに精通した専門家として、技術イノベーションの最新動向を取り入れ、顧客に対するソリューション提供に活かしていくことを目指して参加しています。

このような貴重な機会ですので、現地からいち早くブログで最新情報や熱量を発信してまいります。

AI Coaching

IMG_0558-1

Google Cloud Next 2024 Las Vegasで、ひときわ目を引いたのは「AI Coaching」のデモブースでした。

このブースでは、サッカーボールのキックアクションをすぐに分析し、リアルタイムのフィードバックを提供するAIが展示されています。

プレイヤーがサッカーボールを目標へと蹴った瞬間から、AIが動き出します。「パワー」「正確性」「姿勢」の3つの要素を99点満点の評価基準で各々評価します。そして最も重要なのは、AIがどの要素が改善の必要があるか、そして具体的にどのように改善すればよいのかをアドバイスとして提供します。

このアドバイスは、文字と音声の両方で提供され、生成AIを利用しています。視覚的または聴覚的にフィードバックを理解し、適用することが可能になります。

そして、AIはプレイヤーのキックの瞬間の映像を自動的にキャプチャし、Imagenという技術を用いて写真の加工も行います。

このデモブースで体験できるAIを利用した主な機能は、以下の通りです。

パフォーマンスの評価（パワー、正確性、姿勢）
アドバイスの生成
音声の生成
動画から特定のシーンの画像の切り出し
画像の加工

「AI Coaching」はスポーツの練習をより具体的で効果的なものへと進化させる一端を担っています。

これがAIの持つ真の革新的な力の一例だと感じました。

AI Coachingの流れ

「AI Coaching」の体験は、以下の6ステップで進行します。

プレイヤーはまず、ターゲットに向かってサッカーボールを3回キックします。
次に、AIが各キックを「パワー」「正確性」「姿勢」の3つの要素で評価します。それぞれが99点満点の評価基準で採点されます。
3回のキック後、AIは全体の評価と改善に向けたアドバイスを提供します。これらのフィードバックは、文字と音声の両方で提供されます。
加工したいキックの瞬間のイメージと、適用したい各エフェクトをAIに指示します。
AIはあなたの指示に基づいて複数の加工画像を出力します。ここから、一つの最終画像を選択します。
最後に、選択した加工画像をQRコードを読み取ることで簡単にダウンロードします。

では、実際に体験をしたので、写真と一緒に流れを見ていきましょう。

①②キックアクションのスコアリング

IMG_0491-1

「hiKARU」という名前でこの体験を試してみました。結果は以下のとおりです。
まず、サッカーボールを3回蹴り、それぞれのキックについて"パワー（Pow）"、"正確性（Acc）"、そして"姿勢（Sty）"という3つの要素が評価されました。
パワーについては３回全て99点を獲得し、1回目と3回目にはボールがターゲットに直接当たったため正確性も99点となりました。しかし「姿勢」については評価が50点及び75点と、他の要素に比べ平均的なスコアとなりました。この結果から、「姿勢」の改善が今後の課題とされ、アドバイスの主題となりそうです。

IMG_0492-1

ちなみに、体験終了時点での順位は17位でした。

③キックアクションのアドバイス

IMG_0493-1

ここからはタッチパネルでの操作となります。

生成されたアドバイスは、音声と文字の両方で提供され、以下の内容でした。

Hi hiKARU, right then, lef's have a look at those penalty kicks and see how you can get you scoring more consistently. First kick, that was a rocket! Absolutely blasted It but it went a bit low and towards the left side of the goal, Good technique though, keep that up. Second kick, another powerful shot, but it sailed a bit high and to the right. We might need to work on keeping your technique consistent under pressure. Third kick, brilliant! Another powerful shot with great accuracy, but again, it went mid-height and to the lelt. Let's focus on getting those shots up a bit higher to really challenge the keeper, Overall, your power is fantastic, you're really putting some welly behind those kicks! Let's work on aiming for the top corners and keeping your technique consistent. Remember, focus on where you're striking the ball and try to get a bit of sidespin to curl it into those top corners. Keep practicing, and you'll be burying those penalties in no time

簡潔に言えば、「驚異的なシュート力は評価されているものの、得点を安定的に挙げるためにはシュートの精度と一貫性、特に球の高さとdirection への調整が必要。さらにボールを上隅にカールさせるテクニックの習得と練習が推奨されています。」となります。

④加工する画像とエフェクトの選択

IMG_0494-1

加工する画像とエフェクトをタッチパネルの画面で選択すると、生成AIに指示するプロンプトが生成されます。

エフェクトの種類は多数ありましたが、今回は「cosmic striker」を選択しました。生成されたプロンプトは以下の通りです。

A cosmic striker unleashes a supersonic kick, launching a glowing comet across the zero gravity pitch. The force of the kick ignites a supernova of geometric shapes triangles, squares, and pentagons that ripple through the cosmic dust. These neon constellations erupt from the player's boot, warping and stretching like the fabric of spacetime itself. The comet streaks forward, leaving a blazing trail of stardust in its wake. Flecks of vibrant energy dance across the inky blackness, adding to the electrifying spectacle.

適用するエフェクトの内容が事細かに記述されています。

⑤⑥画像生成とダウンロード

IMG_0495-1

画像加工結果の候補がいくつかでてきました。今回は上段真ん中の写真を選択しました。

IMG_0497-1

生成された画像は上記の通りで、タッチパネルに表示されたQRコードを読み込むことで、簡単にダウンロードできます。

以上で、AI Coachingが終了しました。

AI Coachingの仕組み

AI Coachingの仕組みは同ブースのデジタルサイネージで紹介されていました。

IMG_0553-1

AI CoachingはVertex AIを用いて実現しています。

キックアクションの分析とアドバイス文の生成は「Gemini」、プレイヤーカードの生成は「Imagen 2」、アドバイス音声の生成は「Custom Text-to-speech」、ボールとゴールの追跡は「Auto ML」を使用し、アプリケーションからVertext AI SDKを通じて、各機能を呼び出しています。

キックアクションの録画と分析準備

IMG_0554-1

Webクライアント端末の操作により、Cloud Firestoreで管理しているレコーディングフラグがstartまたはstopに更新されると、複数の録画用Android端末が録画を開始/終了し、録画ファイルをCloud Storageにアップロードします。

IMG_0555-1

Cloud Storageに録画ファイルが配置されると、Cloud Functionsが起動し、キックアクションの分析がスタートします。

キックアクションの分析とアドバイス文の生成（Gemini）

IMG_0550-1

映像ファイルの配置をトリガーにして、Cloud Functionsを起動し、Gemini in Vertexにキックアクションのスコアリングとその根拠の生成を指示し、Cloud Firestoreに出力結果をアップロードしてます。

キックアクションの正確性とスピードの計算（Auto ML）

IMG_0556-1

録画ファイルのアップロードをトリガーにしてCloud Functionsを起動し、動画を画像フレームに変換し、事前にトレーニングされたVertext AI AutoML Visionのカスタムモデルを使用して、それぞれの画像フレームに対してスコアの計算とビジュアライゼーションの生成をし、Cloud FirestoreとCloud Storageに計算結果と画像ファイルを格納します。

リーダーボード上での分析結果の表示

IMG_0557-1

ブース上部にあるリーダーボードに、直近5回のキックアクションのスコアが表示されてました。

Cloud Firestoreにキックアクションの分析結果が格納されると、Cloud Functionsが起動し、BigQueryに分析結果が挿入され、リーダーボードに表示します。

アドバイス音声の生成（Custom Text-to-speech）

IMG_0551-1

Cloud Firestoreへのデータ配置をトリガーにして、Cloud Funtionsを起動して、Gemini in Vertext AIに生成されたキックアクションの分析結果とその根拠からアドバイス文を生成するように指示し、生成したアドバイス文を音声に変換するようText-to-Speech API on Vertex AIに指示し、アドバイス音声を出力します。

プレイヤーカードの生成（Imagen 2）

IMG_0552-1

タッチパネルのWebアプリケーションからCloud FunctionsをHTTPリクエストで呼び出し、Imagen 2 on Vertex AI で画像を加工し、加工した画像ファイルをCloud Storageにアップロードします。

まとめ

「AI Coaching」はいかがでしたでしょうか。

この体験は、AIとスポーツがいかにシームレスに結合する可能性を持っているかを示しています。

AI Coachingは、プレイヤーがサッカーボールをキックするたびに「パワー」、「正確性」、「姿勢」という3つの要素をリアルタイムで評価します。評価は99点満点で行われ、改善点やアドバイスは音声および文字として提供されます。さらに、プレイヤーがキックした瞬間の映像をキャプチャして加工する機能も用意されています。

自身も体験をする中で、パワー評価は高得点であったものの、姿勢と正確性の改善が課題となった結果から、スポーツ練習におけるAIの具体的な応用例を見ることができました。また、生成されたアドバイスは視覚的、聴覚的に理解しやすく、実際の練習にすぐ取り入れられる具体性を持っていました。

これまで人間のコーチが行ってきた役割をAIが補完し、スポーツ練習の質を向上させる可能性を感じた体験でした。また、その過程で生成される映像も個々の記録として保存し、視覚的な記録としても活用できます。

今後、より多くのスポーツがこのようなAI技術を活用することで、トレーニングの方法やアプローチが大きく変わっていくでしょう。これらの技術は、スポーツだけでなくその他多くの分野におけるトレーニングや練習の改善にも十分応用できると感じました。急速に進展するAIの世界、これからがますます楽しみです。