VertexAI StudioのGeminiではマルチモーダルを利用して音声や動画ファイルをプロンプトに入れて実行することもあるかと思います。しかし、音声や動画ファイルはかなり多くのトークンを利用します。複数回音声や動画ファイルを使い回すたびに大量のトークンを利用してしまい、そのたびに料金がかかってしまいます。
そういった課題を解決するために「コンテキストキャッシュ」という機能を利用することでトークン数を削減することが可能となります。
今回はコンテキストキャッシュの具体的な使い方についてご紹介します。
コンテキストキャッシュは、繰り返し利用される大規模なテキストや音声、動画をキャッシュに保存し、再利用することでコストを削減する機能です。大量のコンテンツをキャッシュに保存することで、プロンプトリクエストで同じコンテンツを再度利用する際に多くのトークンを消費する必要がなくなります。
コンテキストキャッシュの最小サイズは32,768トークンであり、mp3などの音声やmp4形式の動画などを指定できます。コンテキストキャッシュは、広範なシステム指示を持つチャットボット、長時間の動画ファイルの分析、頻繁なコードリポジトリの分析などに適しています。キャッシュ保存により、全体的な運用コストが削減されるため、頻繁に使用されるデータを効率的に扱うことができます。
それではコンテキストキャッシュの使い方を説明します。まずはコンテキストキャッシュを利用しない例です。import datetime出力結果は下記になります。
import vertexai
from vertexai.preview.generative_models import GenerativeModel
from vertexai.generative_models import Part
vertexai.init(project="{プロジェクトID}", location="asia-northeast1")
model = GenerativeModel(
"gemini-1.5-flash-002",
)
generation_config = {
"max_output_tokens": 8192,
"top_p": 1,
"temperature": 0,
}
audio = Part.from_uri(
mime_type="audio/mp3",
uri="{GCSのファイルパス}",
)
start_time = datetime.datetime.now()
response = model.generate_content([audio, "音声ファイルには2つのおとぎ話が含まれています。どんな話かそれぞれ簡潔に説明してください。"])
print(response.usage_metadata)
end_time = datetime.datetime.now()
elapsed_time = end_time - start_time
print(f'処理時間: {elapsed_time}')prompt_token_count: 39142
candidates_token_count: 362
total_token_count: 39504
処理時間: 0:00:11.569370
次にコンテキストキャッシュを利用したやり方をご紹介します。赤字部分が追記箇所です。import datetime出力結果は下記になります。
import vertexai
from vertexai.preview.generative_models import GenerativeModel
from vertexai.preview import caching
from vertexai.generative_models import Part
vertexai.init(project="ci2-kitawaki-study", location="asia-northeast1")
generation_config = {
"max_output_tokens": 8192,
"top_p": 1,
"temperature": 0,
}
audio = Part.from_uri(
mime_type="audio/mp3",
uri="gs://dev-minutes/fairyTale.wav",
)
'''
キャッシュ処理
'''
cache = caching.CachedContent.create(
model_name="gemini-1.5-flash-002",
display_name="fairy tale", # キャッシュを識別するための表示名
contents=[audio],
ttl=datetime.timedelta(minutes=10),
)
start_time = datetime.datetime.now()
model = GenerativeModel.from_cached_content(cached_content=cache)
response = model.generate_content(["音声ファイルには2つのおとぎ話が含まれています。どんな話かそれぞれ簡潔に説明してください。"])
print(response.usage_metadata)
end_time = datetime.datetime.now()
elapsed_time = end_time - start_time
print(f'処理時間: {elapsed_time}')prompt_token_count: 39142
candidates_token_count: 273
total_token_count: 39415
cached_content_token_count: 39121
処理時間: 0:00:09.039997
「cached_content_token_count」が追加されていることがわかります。これは入力トークンのうちキャッシュから利用されたトークン数になります。音声ファイルがキャッシュされて利用されていることがわかります。
具体的に料金がどの程度変わるのか確認します。1時間の音声の料金で比較します。
コンテキストキャッシュありのほうが料金が高くなってしまいました。
このように1度だけ利用するようなケースではコンテキストキャッシュを利用すると割高となってしまいます。ですが、複数回利用する場合は、コンテキストキャッシュの場合は「キャッシュに入力された料金」し掛からないため、割安になります。
プロンプトとして10回音声を利用する場合の比較をしていきましょう。
本ブログでは、VertexAIの「コンテキストキャッシュ」機能を活用して、トークン数を削減しコストを効果的に削減する方法について紹介しました。
コンテキストキャッシュは、繰り返し利用される大規模なテキストや音声、動画をキャッシュに保存することで、再利用の際に消費するトークン数を削減できる便利な機能です。特に、音声や動画ファイルのように大量のトークンを消費するコンテンツを頻繁に利用する場合に有効です。また、料金面においても、コンテキストキャッシュを利用すると1回だけの利用では割高になるものの、複数回利用する場合には総コストを大きく削減できることが示されました。
このように、VertexAIのコンテキストキャッシュを活用することで、音声や動画ファイルを含むプロンプトを効率的に利用し、コストを削減することが可能です。複数回利用するケースでは、特に有効な手段となりますので、ぜひ活用してみてください。
Google Cloud、Google Workspaceに関する お問い合わせはこちら