Foundry Toolkitのモデルプレイグラウンド

Foundry Toolkitのプレイグラウンドは、生成AIモデルを実験するための対話型環境を提供します。さまざまなプロンプトをテストしたり、モデルパラメータを調整したり、異なるモデルからの回答を比較したり、さまざまな種類の入力ファイルを添付してマルチモーダル機能を探索したりできます。

プレイグラウンドでのモデルのテスト

プレイグラウンドへのアクセス方法

• Foundry Toolkitビューで、Developer Tools > Build > Model Playgroundを選択します。
• モデルカタログのモデルカードからTry in Playgroundを選択します。
• MY Modelsからモデルをダブルクリックして、プレイグラウンドで開きます。

プレイグラウンドでモデルをテストするには、次の手順に従います。

1. Model Preferences（モデル設定）で、ドロップダウンリストからモデルを選択します。
2. 必要に応じて、System Prompt（システムプロンプト）を追加して、モデルの回答をガイドします。
3. 必要に応じて、選択したモデルで使用可能なモデルパラメータを設定します。
4. チャット入力ボックスにチャットプロンプトを入力します。

プレイグラウンドでのローカルモデルの実行

Foundry Toolkitは、プレイグラウンドでのローカルモデルの実行をサポートしています。Model Preferencesパネルのモデルドロップダウンリストからローカルモデルを選択できます。

GitHubの従量課金制モデルのサポート

Foundry ToolkitはGitHubの従量課金制モデルをサポートするようになったため、無料枠の制限を超えた後も作業を継続できます。

• GitHubのモデル使用制限に達すると、Foundry Toolkitは警告を表示し、GitHubの有料利用に関するドキュメントへのリンクを提供します。

  

• GitHubの設定でモデルの課金を有効にします（GitHubアカウントへのサインインが必要です）。

• 課金を有効にした後は、ワークフローを変更することなく、プレイグラウンドやエージェントビルダーでモデルの使用を継続できます。

モデル設定

Model Preferencesパネルでは、プレイグラウンドでの対話に使用するモデルの選択、モデルの動作をガイドするシステムプロンプトの設定、選択したモデルのパラメータ構成が行えます。

モデルの選択

Model Preferencesパネルのドロップダウンリストには、Foundry Toolkitに追加したモデルが表示されます。Browse Modelsを選択してモデルカタログを開き、さらにモデルを追加できます。

システムプロンプト

システムプロンプトは、モデルの動作や回答のスタイルを導くための事前定義された指示です。入力テキストエリアでシステムプロンプトを追加、編集、または削除して、モデルがどのように回答を生成するかに影響を与えることができます。

推論パラメータの構成

利用可能なパラメータは、モデルの種類と発行元によって異なります。一般的なパラメータは以下の通りです。

• Temperature（温度）: モデルの出力のランダム性を制御します。値を小さくすると出力はより決定的になり、大きくすると多様性が増します。
• Top P: 選択されたトークンの累積確率を制限することで、出力の多様性を制御します。値を小さくすると焦点の絞られた回答になり、大きくすると多様な出力が可能になります。
• Max Response Length（最大回答長・トークン）: モデルの回答におけるトークンの最大数を設定します。これにより、生成されるテキストの長さが制限されます。
• Frequency Penalty（頻度ペナルティ）: モデルが回答内で同じトークンを繰り返す可能性を低減します。値を大きくすると繰り返しが抑制されます。
• Presence Penalty（存在ペナルティ）: モデルが回答内に新しいトピックや概念を導入するように促します。値を大きくすると生成テキストの多様性が促進されます。

リソース使用量の表示

ローカルモデルには、Show resource usage（リソース使用量の表示）という追加オプションがあります。これを有効にすると、回答ごとにリソース使用量が表示されます。

チャットプロンプト

チャットプロンプトは、モデルに提供する入力テキストです。質問、ステートメント、またはモデルに応答してほしいテキストを入力できます。モデルは、提供されたプロンプトと、構成されたシステムプロンプトおよびパラメータに基づいて回答を生成します。

チャットプロンプト入力ボックスで利用可能な機能

• Send（送信）: チャットプロンプトをモデルに送信して処理します。
• Clear（クリア）: チャットプロンプト入力ボックスをクリアします。
• File Attachment（ファイル添付）: マルチモーダルモデル用に、チャットプロンプトへファイルを添付します。
• Image Attachment（画像添付）: マルチモーダルモデル用に、チャットプロンプトへ画像を添付します。
• Web Search（Web検索）: Web検索を実行して、チャットプロンプトに関連する情報を探します。
• Mode Switch（モード切替）: AI機能を使用するためのモードを切り替えます。

モードの切り替え

チャットプロンプト入力ボックスで異なるモードを切り替えることができます。

• Use native supported AI features from a model（モデルのネイティブAI機能を使用）: このモードでは、Web検索やファイル添付など、選択したモデルのネイティブな機能を使用できます。
• Use all AI features（すべてのAI機能を使用）: このモードでは、モデルのネイティブ機能に関係なく、Foundry Toolkitによって実装されたAI機能（ファイルの添付など）を使用できます。

選択したモデルまたはFoundry Toolkitで機能がサポートされていない場合は、チャットプロンプト入力ボックスの上に警告が表示されます。この警告では、その機能をサポートする別のモデルへの切り替えが推奨されます。

モデルの回答

モデルの回答は、チャットプロンプト入力ボックスの上に表示されます。チャットプロンプトを入力する前は、プレイグラウンドの利用を開始するための3つのスタータープロンプトを含むウェルカム画面が表示されます。

モデル回答エリアで利用可能な機能

• Copy Response（回答をコピー）: モデルの回答テキストをクリップボードにコピーします。
• Regenerate Response（回答の再生成）: 同じプロンプトに基づいてモデルの回答を再生成するか、別のモデルで回答を再生成します。
• Copy Code（コードをコピー）: 回答内の生成されたコードをクリップボードにコピーするか、新しいファイルに挿入します。
• Rendering（レンダリング）: プレイグラウンドは、コードスニペット、画像、Markdown、LaTeX、およびモデルの回答に含まれるその他のコンテンツのレンダリングをサポートしています。
• Token Count（トークン数）: モデルの回答で使用されたトークン数を表示します。これは、モデルのコストとパフォーマンスを理解するのに役立ちます。

リソース使用量

ローカルモデルでShow resource usageが有効な場合、回答ごとに使用量の概要が表示されます。Usage detailsを選択して、Profiling（プロファイリング）の詳細に切り替えることもできます。

ツールバー

プレイグラウンドのツールバーでは、さまざまなアクションや機能に素早くアクセスできます：

• New Playground: 新しいプレイグラウンドセッションを作成します。
• History: チャット履歴の表示、名前変更、削除、切り替えを行います。
• Automatic Naming: チャットセッションの名前が、ユーザーのプロンプトに基づいて自動的に生成されます。
• Compare: 異なるモデルからの回答を並べて比較します。
• View Code: LLM統合からチャットプロンプトに対して生成されたコードを表示します。

モデルの回答の比較

Compare機能を使用すると、異なるモデルからの回答を並べて比較できます。これは、同じプロンプトに対する異なるモデルのパフォーマンスを評価するのに便利です。

モデルの回答を比較するには

1. ツールバーのCompareボタンを選択します。
2. ドロップダウンリストから比較したいモデルを選択します。
3. 入力ボックスのいずれかに同じチャットプロンプトを入力します。プロンプトは他の入力ボックスにもコピーされます。
4. Sendを選択して、選択したすべてのモデルにプロンプトを送信します。
5. 各モデルからの回答が並んで表示され、簡単に比較できます。

比較している各モデルに対して、以下の操作が可能です。

• 回答テキストをクリップボードにコピーする。
• 選択したモデルのモデルパラメータを構成する。
• 選択したモデルでチャットを継続する。

学んだこと

この記事では、以下の方法を学びました。

• Foundry Toolkitプレイグラウンドを使用して、生成AIモデルと対話します。
• プレイグラウンドでモデルをテストし、システムプロンプトとパラメータを構成し、ファイルを添付してマルチモーダル機能を探索します。
• Compare機能を使用して、同じプロンプトに対する異なるモデルのパフォーマンスを評価し、回答を並べて表示します。
• チャットプロンプト入力ボックスを使用して、プロンプトの送信、ファイルや画像の添付、Web検索、およびAI機能のモード切り替えを行います。
• モデルの回答を表示し、回答をコピーまたは再生成し、コードスニペット、画像、Markdown、LaTeXをレンダリングします。
• モデルの回答内のトークン数を追跡して、コストとパフォーマンスを把握します。
• Model Preferencesパネルを使用して、モデルの選択、システムプロンプトの設定、推論パラメータの調整を行います。
• ツールバーを使用して、新しいプレイグラウンドセッションの作成、チャット履歴の表示と管理、セッションの自動命名、モデルの比較、生成されたコードの表示を行います。
• セッションの表示、名前変更、削除、切り替えを含むチャット履歴を管理します。