Foundry Toolkitでモデルを探索する

Foundry Toolkitは、さまざまな生成AIモデルを包括的にサポートします。

モデルカタログ内で、複数のホスティングソースからモデルを探索し、利用できます。

  • Llama3、Phi-3、MistralなどのGitHubでホストされているモデル。従量課金制オプションも含まれます。
  • OpenAIのChatGPT、AnthropicのClaude、GoogleのGeminiなど、発行元から直接提供されるモデル。
  • Microsoft Foundryでホストされているモデル。
  • Foundry Local、Ollama、ONNXなどのリポジトリからローカルにダウンロードされたモデル。
  • Bring-Your-Own-Model (BYOM) 統合を介してアクセスできる、カスタムの自己ホスト型または外部デプロイ型モデル。

モデルカタログ内からFoundryにモデルを直接デプロイすることで、ワークフローを効率化します。

注意

Foundry Toolkitに追加されたMicrosoft Foundry、Foundry Local、およびGitHubモデルをGitHub Copilotで使用します。詳細については、「チャットのモデルを変更する」を参照してください。

Foundry Toolkit model catalog displaying various generative AI models

モデルを見つける

モデルカタログでモデルを見つけるには

  1. アクティビティバーでFoundry Toolkitビューを選択します

  2. 開発者ツール > 検出 > モデルカタログ を選択してモデルカタログを開きます

  3. フィルターを使用して、利用可能なモデルのリストを絞り込みます。

    • ホスト元: Foundry Toolkitは、モデルのホスティングソースとして、Microsoft Foundry、Foundry Local、GitHub、ONNX、OpenAI、Ollama、Anthropic、Google、NVIDIA NIM、MiniMax、Kimi、GLM、Windows AI APIをサポートします。
    • 発行元: Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AIなどのAIモデルの発行元。
    • 機能: Text Attachment (テキスト添付)、Image Attachment (画像添付)、Web Search (ウェブ検索)、Structured Outputs (構造化出力) など、モデルがサポートする機能。
    • モデルタイプ: CPU、GPU、NPUでリモートまたはローカルで実行できるモデルをフィルターします。このフィルターは、ローカルの利用可能性に依存します。
    • ファインチューニングのサポート: ファインチューニングを実行するために使用できるモデルを表示します。
  4. 以下のような異なるカテゴリのモデルを参照します

    • 人気のモデルは、さまざまなタスクやドメインで広く使用されているモデルの厳選されたリストです。
    • Microsoft Foundryホスト型モデルは、Microsoft Foundryでホストされている人気のモデルに簡単にアクセスできます。
    • GitHubモデルは、GitHubでホストされている人気のモデルに簡単にアクセスできます。高速なプロトタイピングや実験に最適です。
    • ローカルモデルは、Windows上のMicrosoft FoundryまたはOllamaでホストされているモデルを選択し、GGUF量子化を介してCPUをサポートします。
  5. または、検索ボックスを使用して、名前または説明で特定のモデルを検索します。

モデルを追加する

開始点に応じて、Foundry Toolkitでモデルを追加するための異なるフローがあります。

カタログからモデルを追加する

モデルカタログからモデルを追加するには

  1. モデルカタログで追加したいモデルを見つけます

  2. モデルを追加するフローは、プロバイダーによって若干異なります

    • Microsoft Foundry: Microsoft Foundryプロジェクトにモデルをデプロイします。詳細な手順については、「Microsoft Foundryにモデルをデプロイする」を参照してください。

    • カスタムモデルはリモートでホストされ、APIキーが必要で、OpenAIチャット補完互換のエンドポイントURLを持っています。詳細な手順については、「カスタムモデルを追加する」を参照してください。

    • Foundry Local: Foundry Localはモデルをダウンロードして実行します。インターネットの速度によっては数分かかる場合があります。モデルはlocalhostページで利用可能になり、Foundry Toolkitに追加されます。詳細については、「Foundry Localとは?」を参照してください。

    • Ollama: モデルはOllamaからダウンロードされ、Foundry Toolkitに追加されます。詳細な手順については、「Ollamaモデルを追加する」を参照してください。

    • GitHub: Foundry Toolkitは、モデルリポジトリにアクセスするためにGitHubの資格情報を要求します。認証されると、モデルは直接Foundry Toolkitに追加されます。

      注意

      Foundry Toolkitは現在、GitHub従量課金モデルをサポートしているため、無料利用枠の制限を超えても作業を続けることができます。

    • ONNX: ONNXモデルを追加するには、まずモデル変換ツールを使用してFoundry Toolkitモデル形式に変換します。変換後、モデルをFoundry Toolkitに追加します。

モデルが追加されると、ツリービューのMY RESOURCES/モデルの下に表示され、PlaygroundまたはAgent Builderで使用できます。

Microsoft Foundryにモデルをデプロイする

Foundry Toolkitから直接Microsoft Foundryにモデルをデプロイします。モデルをクラウドで実行し、エンドポイント経由でアクセスします。

  1. モデルカタログから、デプロイしたいモデルを選択します。

  2. 以下のスクリーンショットに示すように、ドロップダウンメニューまたはDeploy to Microsoft Foundryボタンから直接、Microsoft Foundryにデプロイを選択します

    Screenshot of the Foundry Toolkit interface showing the model catalog with a model selected and the Deploy to Microsoft Foundry button highlighted.

  3. 以下のスクリーンショットに示すように、モデルのデプロイタブで、モデル名、説明、その他の設定など、必要な情報を入力します

    Screenshot of the Foundry Toolkit interface showing the model deployment tab with fields for model name, description, and additional settings.

  4. Microsoft Foundryにデプロイを選択して、デプロイプロセスを開始します。

  5. 詳細を確認し、デプロイを選択してデプロイを確定します。

  6. デプロイが完了すると、モデルはFoundry ToolkitのMY RESOURCES > お客様のプロジェクト名 > モデルセクションで利用可能になり、プレイグラウンドまたはエージェントビルダーで使用できます。

カスタムモデルを追加する

OpenAI互換のエンドポイントを持つ、インターネットからアクセス可能な自己ホスト型またはデプロイ型モデルの場合、Foundry Toolkitに追加してプレイグラウンドで使用できます。

  1. カスタムモデルを追加するには2つの方法があります

    • モデルカタログで、+ Bring Your Own Modelボタンを選択します

      Screenshot of the Foundry Toolkit interface showing the model catalog with the Bring Your Own Model button highlighted.

    • モデルカタログで「カスタムモデルの追加」セクションまでスクロールし、カスタムモデルを追加ボタンを選択します。

      Screenshot of the Foundry Toolkit interface showing the model catalog with the Add a custom model button highlighted.

  2. OpenAI互換のエンドポイントURL、モデル名、APIキー、その他の必要な情報の入力を促すダイアログが表示されます。

    Screenshot of the dialog requesting the URL of the custom remote model.

Ollamaモデルを追加する

Ollamaを使用すると、多くの人気のある生成AIモデルをGGUF量子化を介してCPUでローカルに実行できます。Ollamaがローカルマシンにインストールされ、Ollamaモデルがダウンロードされている場合、それらをFoundry Toolkitに追加してモデルプレイグラウンドで使用できます。

Visual Studio Code拡張機能のMicrosoft Foundry ToolkitでOllamaモデルを使用するための前提条件は、Ollama (Ollama v0.4.1でテスト済み) です。

Foundry ToolkitにローカルOllamaを追加するには

  1. 前述のエントリポイントのいずれかから、Ollamaモデルを追加を選択します。

    • MY RESOURCES > ローカルリソースで、モデルの隣にある+ボタンを選択します。

      Screenshot of the plus button next to models in local resources.

      これにより、モデル追加セレクターが開きます。「Ollamaモデルを追加」を選択します。

      Select model type to add

    • モデルカタログで「ローカルモデル」セクションまでスクロールし、「Ollama」タブを選択します。そこにリストされているモデルの隣にある追加ボタンを選択するか、独自のモデルを追加を選択します。

      Screenshot of the plus button next to models in local resources.

  2. Ollamaがサードパーティのモデルプロバイダーであることの確認を読んだ後、続行を選択します。

    SCreenshot of Ollama acknowledgement.

  3. 次に、Ollamaライブラリからモデルを選択を選択します。これにより、Ollamaにインストールされているモデルが表示されます。チェックボックスを使用して、Foundry Toolkitで使用したいモデルを選択します。

    Select model type to add

    注意

    Foundry Toolkitは、Ollamaに既にダウンロードされており、Foundry Toolkitにまだ追加されていないモデルのみを表示します。Ollamaからモデルをダウンロードするには、ollama pull <model-name>を実行します。Ollamaがサポートするモデルのリストを確認するには、Ollamaライブラリを参照するか、Ollamaドキュメントを参照してください。

    または、異なるエンドポイントでOllamaランタイムを開始する場合は、カスタムOllamaエンドポイントを指定を選択してOllamaエンドポイントを指定します。

  4. これで、ツリービューのモデルリストに、選択されたOllamaモデルが1つ以上表示されるはずです。

    注意

    Ollamaモデルではまだ添付ファイルはサポートされていません。Foundry ToolkitはOpenAI互換エンドポイントを使用してOllamaに接続しており、まだ添付ファイルをサポートしていません。

テスト用のモデルを選択する

プレイグラウンドでチャット補完のためにモデルをテストできます。

モデルカタログのモデルカードにあるアクションを使用します

  • Playgroundで試す: 選択したモデルをPlaygroundにロードしてテストします。
  • Agent Builderで試す: 選択したモデルをAgent BuilderにロードしてAIエージェントを構築します。

モデルを管理する

Foundry ToolkitサイドバーのMY RESOURCES/モデルセクションでモデルを管理できます。

  • Foundry Toolkitに追加されたモデルのリストを表示します。

  • モデルを右クリックすると、次のようなオプションにアクセスできます

    • Playgroundにロード: Playgroundにモデルをロードしてテストします。
    • モデル名をコピー: モデル名をクリップボードにコピーして、コード統合などの他のコンテキストで使用します。
      • 更新: モデル設定を更新して、最新の設定であることを確認します。
      • 編集: APIキーやエンドポイントなど、モデル設定を変更します。
      • 削除: Foundry Toolkitからモデルを削除します。
      • このモデルについて: 発行元、ソース、サポートされている機能など、モデルに関する詳細情報を表示します。
  • ONNXセクションタイトルを右クリックすると、次のようなオプションにアクセスできます

    • サーバーを起動: ONNXサーバーを起動して、ONNXモデルをローカルで実行します。
    • サーバーを停止: 実行中の場合はONNXサーバーを停止します。
    • エンドポイントをコピー: ONNXサーバーのエンドポイントをクリップボードにコピーして、コード統合などの他のコンテキストで使用します。

ライセンスとサインイン

一部のモデルでは、発行元またはホスティングサービスのライセンスとアカウントにサインインする必要があります。その場合、モデルプレイグラウンドでモデルを実行する前に、この情報の提供を求められます。

学んだこと

この記事では、以下の方法を学びました。

  • Foundry Toolkitで生成AIモデルを探索および管理します。
  • Microsoft Foundry、Foundry Local、GitHub、ONNX、OpenAI、Anthropic、Google、Ollama、カスタムエンドポイントなど、さまざまなソースからモデルを見つけます。
  • ツールキットにモデルを追加し、Microsoft Foundryにデプロイします。
  • OllamaやOpenAI互換モデルを含むカスタムモデルを追加し、プレイグラウンドまたはエージェントビルダーでテストします。
  • モデルカタログを使用して、利用可能なモデルを表示し、AIアプリケーションのニーズに最適なものを選択します。
  • フィルターと検索を使用して、モデルをすばやく見つけます。
  • 人気、GitHub、ONNX、Ollamaなどのカテゴリ別にモデルを参照します。
  • モデル変換ツールを使用して、カスタムONNXモデルを変換して追加します。
  • MY RESOURCES/モデルでモデルを管理します。これには、編集、削除、更新、詳細の表示が含まれます。
  • ONNXサーバーを起動および停止し、ローカルモデルのエンドポイントをコピーします。
  • 一部のモデルでは、テストする前にライセンスとサインインの要件を処理します。
© . This site is unofficial and not affiliated with Microsoft.