AI Toolkitでモデルを探索する
AI Toolkitは、Small Language Models (SLMs) と Large Language Models (LLMs) の両方を含む、さまざまな生成AIモデルを幅広くサポートしています。
モデルカタログ内では、複数のホスティング元からモデルを探索し、利用できます。
- Llama3、Phi-3、Mistralなど、GitHubでホストされているモデル。
- OpenAIのChatGPT、AnthropicのClaude、GoogleのGeminiなど、パブリッシャーから直接提供されるモデル。
- OllamaやONNXなどのリポジトリからローカルにダウンロードされたモデル。
- Bring-Your-Own-Model (BYOM) 統合を介してアクセス可能な、カスタムの自己ホスト型または外部デプロイ型モデル。
モデルを検索する
モデルカタログでモデルを検索するには
-
アクティビティバーでAI Toolkitビューを選択します
-
モデル > カタログを選択して、モデルカタログを開きます
-
フィルターを使用して、利用可能なモデルのリストを絞り込みます
- ホスト元: AI Toolkitは、モデルのホスティング元としてGitHub、ONNX、OpenAI、Anthropic、Googleをサポートしています。
- パブリッシャー: Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AIなど、AIモデルのパブリッシャー。
- 機能:
テキスト添付
、画像添付
、Web検索
、構造化出力
など、モデルでサポートされている機能。 - モデルタイプ: リモートまたはローカルでCPU、GPU、NPUで実行できるモデルをフィルターします。このフィルターは、ローカルでの利用可能性に依存します。
- ファインチューニングサポート: ファインチューニングを実行するために使用できるモデルを表示します。
-
以下のようなさまざまなカテゴリでモデルを閲覧できます
- 人気モデルは、さまざまなタスクやドメインで広く使用されているモデルの厳選されたリストです。
- GitHubモデルは、GitHubでホストされている人気モデルへの簡単なアクセスを提供します。高速なプロトタイピングと実験に最適です。
- ONNXモデルは、ローカル実行に最適化されており、CPU、GPU、またはNPUで実行できます。
- Ollamaモデルは、Ollamaでローカルに実行できる人気モデルで、GGUF量子化によりCPUをサポートします。
-
または、検索ボックスを使用して、名前または説明で特定のモデルを検索します
カタログからモデルを追加する
モデルカタログからモデルを追加するには
-
モデルカタログで追加したいモデルを見つけます
-
モデルカードの追加を選択します
-
モデルを追加する手順は、プロバイダーによって若干異なります
-
GitHub: AI Toolkitは、モデルリポジトリにアクセスするためにGitHubの認証情報を要求します。認証されると、モデルはAI Toolkitに直接追加されます。
-
ONNX: モデルはONNXからダウンロードされ、AI Toolkitに追加されます。
-
Ollama: モデルはOllamaからダウンロードされ、AI Toolkitに追加されます。
ヒント後でモデルを右クリックして編集を選択することでAPIキーを編集でき、暗号化された値は
${HOME}/.aikt/models/my-models/yml
ファイルで確認できます。 -
OpenAI、Anthropic、Google: AI ToolkitはAPIキーの入力を求めます。
-
カスタムモデル: 詳細な手順については、「カスタムモデルを追加する」セクションを参照してください。
-
追加すると、モデルはツリービューのマイモデルの下に表示され、PlaygroundまたはAgent Builderで使用できます。
カスタムモデルを追加する
外部でホストされている、またはローカルで実行されている独自のモデルを追加することもできます。いくつかのオプションがあります
- OllamaライブラリまたはカスタムOllamaエンドポイントからOllamaモデルを追加します。
- 自己ホスト型モデルやクラウドサービスで実行されているモデルなど、OpenAI互換のエンドポイントを持つカスタムモデルを追加します。
- Hugging FaceなどのカスタムONNXモデルは、AI Toolkitのモデル変換ツールを使用して追加します。
AI Toolkitにモデルを追加するには、いくつかのエントリーポイントがあります
-
ツリービューのマイモデルから、カーソルを合わせて
+
アイコンを選択します。 -
モデルカタログから、ツールバーの+ モデル追加ボタンを選択します。
-
モデルカタログのカスタムモデルの追加セクションから、+ 独自のモデルを追加を選択します。
Ollamaモデルを追加する
Ollamaは、GGUF量子化を介して多くの人気のある生成AIモデルをCPUでローカルに実行できるようにします。ローカルマシンにOllamaをインストールし、Ollamaモデルをダウンロードしている場合、AI Toolkitに追加してモデルプレイグラウンドで使用できます。
AI ToolkitでOllamaモデルを使用するための前提条件
- AI Toolkit v0.6.2以降。
- Ollama (Ollama v0.4.1でテスト済み)
ローカルOllamaをAI Toolkitに追加するには
-
上記のエントリーポイントのいずれかから、Ollamaモデルを追加を選択します。
-
次に、Ollamaライブラリからモデルを選択を選択します
Ollamaランタイムを異なるエンドポイントで起動する場合は、カスタムOllamaエンドポイントを提供するを選択してOllamaエンドポイントを指定します。
-
AI Toolkitに追加したいモデルを選択し、OKを選択します
注AI Toolkitは、Ollamaに既にダウンロードされており、まだAI Toolkitに追加されていないモデルのみを表示します。Ollamaからモデルをダウンロードするには、
ollama pull <model-name>
を実行します。Ollamaでサポートされているモデルのリストについては、Ollamaライブラリを参照するか、Ollamaドキュメントを参照してください。 -
これで、選択したOllamaモデルがツリービューのモデルリストに表示されるはずです。
注Ollamaモデルでは、アタッチメントはまだサポートされていません。これは、OpenAI互換のエンドポイントを使用してOllamaに接続しており、このエンドポイントがまだアタッチメントをサポートしていないためです。
OpenAI互換のエンドポイントを持つカスタムモデルを追加する
インターネットからOpenAI互換のエンドポイントでアクセスできる自己ホスト型またはデプロイされたモデルがある場合、それをAI Toolkitに追加してプレイグラウンドで使用できます。
- 上記のエントリーポイントのいずれかから、カスタムモデルを追加を選択します。
- OpenAI互換のエンドポイントURLと必要な情報を入力します。
自己ホスト型またはローカルで実行中のOllamaモデルを追加するには
- モデルカタログで+ モデルを追加を選択します。
- モデルのクイックピックで、Ollamaまたはカスタムモデルを選択します。
- モデルを追加するために必要な詳細情報を入力します。
カスタムONNXモデルを追加する
カスタムONNXモデルを追加するには、まずモデル変換ツールを使用してAI Toolkitモデル形式に変換します。変換後、モデルをAI Toolkitに追加します。
テストするモデルを選択する
チャット補完のためにプレイグラウンドでモデルをテストできます。
モデルカタログのモデルカードのアクションを使用する
- Playgroundで試す: 選択したモデルをPlaygroundにロードしてテストします。
- Agent Builderで試す: 選択したモデルをAgent BuilderにロードしてAIエージェントを構築します。
モデルの管理
AI Toolkitビューのマイモデルセクションでモデルを管理できます。ここでは、次のことができます。
-
AI Toolkitに追加したモデルのリストを表示します。
-
モデルを右クリックすると、次のようなオプションにアクセスできます。
- Playgroundにロード: モデルをPlaygroundにロードしてテストします。
- モデル名をコピー: モデル名をクリップボードにコピーして、コード統合などの他のコンテキストで使用します。
- 更新: モデル設定を更新して、最新の設定が適用されていることを確認します。
- 編集: APIキーやエンドポイントなど、モデルの設定を変更します。
- 削除: AI Toolkitからモデルを削除します。
- このモデルについて: モデルに関する詳細情報(パブリッシャー、ソース、サポートされている機能など)を表示します。
-
ONNX
セクションタイトルを右クリックすると、次のようなオプションにアクセスできます。- サーバーを起動: ONNXサーバーを起動して、ONNXモデルをローカルで実行します。
- サーバーを停止: ONNXサーバーが実行中の場合は停止します。
- エンドポイントをコピー: ONNXサーバーのエンドポイントをクリップボードにコピーして、コード統合などの他のコンテキストで使用します。
ライセンスとサインイン
一部のモデルでは、パブリッシャーまたはホスティングサービスのライセンスとアカウントでのサインインが必要です。その場合、モデルプレイグラウンドでモデルを実行する前に、この情報の提供を求められます。