モデルのファインチューン

AI モデルのファインチューンは、カスタムデータセットを使用して、GPU を備えたコンピューティング環境で事前トレーニング済みモデルに対してファインチューンジョブを実行できるようにする一般的な手法です。AI Toolkit は現在、GPU を搭載したローカルマシンまたは GPU を搭載したクラウド (Azure Container App) での SLM のファインチューンをサポートしています。

ファインチューンされたモデルは、ローカルにダウンロードして GPU で推論テストを実行したり、量子化してローカル CPU で実行したりできます。ファインチューンされたモデルは、リモートモデルとしてクラウド環境にデプロイすることもできます。

VS Code 用 AI Toolkit (プレビュー) を使用して Azure で AI モデルをファインチューンする

VS Code 用 AI Toolkit は、モデルのファインチューンを実行し、クラウドで推論エンドポイントをホストするための Azure Container App のプロビジョニングをサポートするようになりました。

クラウド環境のセットアップ

1. リモートの Azure Container Apps 環境でモデルのファインチューンと推論を実行するには、サブスクリプションに十分な GPU 容量があることを確認してください。アプリケーションに必要な容量をリクエストするには、サポートチケットを送信してください。GPU 容量の詳細情報

2. HuggingFace アカウントを持っていること、および HuggingFace のプライベートデータセットを使用している場合、またはベースモデルがアクセス制御を必要とする場合は、アクセストークンを生成していることを確認してください。

3. Mistral または Llama をファインチューンする場合は、HuggingFace でライセンスに同意してください。

4. VS Code 用 AI Toolkit でリモートファインチューンおよび推論機能フラグを有効にする

   1. ファイル -> プリファレンス -> 設定 を選択して、VS Code の設定を開きます。
   2. 拡張機能 に移動し、AI Toolkit を選択します。
   3. 「Azure Container Apps でのファインチューンと推論の実行を有効にする」 オプションを選択します。

   

   1. 変更を有効にするには、VS Code をリロードします。

ファインチューンプロジェクトをスキャフォールドする

1. コマンドパレット (⇧⌘P (Windows、Linux Ctrl+Shift+P)) で AI Toolkit: ツールビューにフォーカス を実行します。
2. ファインチューン に移動して、モデルカタログにアクセスします。ファインチューンするモデルを選択します。プロジェクトの名前を割り当て、マシン上の場所を選択します。次に、「プロジェクトの構成」 ボタンをクリックします。
3. プロジェクト構成
   1. 「ローカルでファインチューン」 オプションを有効にすることは避けてください。
   2. Olive 構成設定がプリセットのデフォルト値で表示されます。必要に応じて、これらの構成を調整して入力してください。
   3. プロジェクトの生成 に進みます。この段階では WSL を活用し、Dev Container を含む将来のアップデートに備えて新しい Conda 環境をセットアップします。
   4. 「ワークスペースでウィンドウを再起動」 を選択して、ファインチューンプロジェクトを開きます。

Azure リソースのプロビジョニング

開始するには、リモートファインチューン用の Azure リソースをプロビジョニングする必要があります。コマンドパレットから AI Toolkit: ファインチューン用の Azure Container Apps ジョブをプロビジョニング を検索して実行します。このプロセス中に、Azure サブスクリプションとリソースグループを選択するように求められます。

出力チャネルに表示されるリンクを介して、プロビジョニングの進行状況を監視します。

ファインチューンの実行

リモートファインチューンジョブを開始するには、コマンドパレットで AI Toolkit: ファインチューンを実行 コマンドを実行します。

拡張機能は、次の操作を実行します。

1. ワークスペースを Azure Files と同期します。

2. ./infra/fintuning.config.json で指定されたコマンドを使用して、Azure Container App ジョブをトリガーします。

QLoRA がファインチューンに使用され、ファインチューンプロセスでは、推論中に使用するモデルの LoRA アダプターが作成されます。

ファインチューンの結果は Azure Files に保存されます。Azure ファイル共有内の出力ファイルを確認するには、出力パネルに表示されるリンクを使用して Azure portal に移動できます。または、Azure portal に直接アクセスして、./infra/fintuning.config.json で定義されているストレージアカウント名 STORAGE_ACCOUNT_NAME と、./infra/fintuning.config.json で定義されているファイル共有名 FILE_SHARE_NAME を見つけることもできます。

ログの表示

ファインチューンジョブが開始されると、Azure portal にアクセスして、システムログとコンソールログにアクセスできます。

または、VSCode 出力パネルでコンソールログを直接表示することもできます。

Azure でのログの表示とクエリ

ファインチューンジョブがトリガーされたら、VSCode 通知から [Azure Portal でログを開く] ボタンを選択して、Azure でログを表示できます。

または、Azure Portal をすでに開いている場合は、Azure Container Apps ジョブの [実行履歴] パネルからジョブ履歴を見つけてください。

ログには、[コンソール] と [システム] の 2 種類があります。

• コンソールログは、stderr および stdout メッセージを含む、アプリからのメッセージです。これは、ストリーミングログセクションですでに見たものです。
• システムログは、サービスレベルイベントのステータスなど、Azure Container Apps サービスからのメッセージです。

ログを表示およびクエリするには、[コンソール] ボタンを選択し、すべてのログを表示してクエリを記述できる Log Analytics ページに移動します。

Azure Container Apps ログの詳細については、Azure Container Apps のアプリケーションログを参照してください。

VSCode でのストリーミングログの表示

ファインチューンジョブを開始した後、VSCode 通知の [VS Code でストリーミングログを表示] ボタンを選択して、Azure でログを表示することもできます。

または、コマンドパレットで AI Toolkit: 実行中のファインチューンジョブのストリーミングログを表示 コマンドを実行することもできます。

実行中のファインチューンジョブのストリーミングログが出力パネルに表示されます。

ファインチューンされたモデルでの推論

アダプターがリモート環境でトレーニングされたら、シンプルな Gradio アプリケーションを使用してモデルと対話します。

Azure リソースのプロビジョニング

ファインチューンプロセスと同様に、コマンドパレットから AI Toolkit: 推論用の Azure Container Apps をプロビジョニング を実行して、リモート推論用の Azure リソースをセットアップする必要があります。このセットアップ中に、Azure サブスクリプションとリソースグループを選択するように求められます。

デフォルトでは、推論用のサブスクリプションとリソースグループは、ファインチューンに使用したものと一致する必要があります。推論では、同じ Azure Container App 環境を使用し、ファインチューンステップ中に生成された Azure Files に保存されているモデルとモデルアダプターにアクセスします。

推論用のデプロイ

推論コードを修正したり、推論モデルをリロードしたりする場合は、AI Toolkit: 推論用にデプロイ コマンドを実行してください。これにより、最新のコードが ACA と同期され、レプリカが再起動されます。

デプロイが正常に完了すると、モデルはこのエンドポイントを使用して評価できるようになります。VSCode 通知に表示される [推論エンドポイントに移動] ボタンを選択すると、推論 API にアクセスできます。または、Web API エンドポイントは、./infra/inference.config.json の ACA_APP_ENDPOINT および出力パネルにあります。

高度な使用法

ファインチューンプロジェクトコンポーネント

Azure Container Apps でのファインチューン用のシークレットの構成

Azure Container App シークレットは、HuggingFace トークンや Weights & Biases API キーなど、Azure Container Apps 内の機密データを安全に保存および管理する方法を提供します。AI Toolkit のコマンドパレットを使用すると、プロビジョニングされた Azure Container App ジョブ (./finetuning.config.json に保存) にシークレットを入力できます。これらのシークレットは、すべてのコンテナーで環境変数として設定されます。

手順

1. コマンドパレットで、「AI Toolkit: ファインチューン用の Azure Container Apps ジョブシークレットを追加」と入力して選択します。

   

2. シークレット名と値を入力します。シークレットの名前と値を入力するように求められます。 たとえば、プライベート HuggingFace データセットまたは Hugging Face アクセス制御が必要なモデルを使用している場合は、HuggingFace トークンを環境変数 HF_TOKEN として設定して、Hugging Face Hub での手動ログインの必要性を回避します。

シークレットを設定したら、Azure Container App で使用できるようになります。シークレットは、コンテナーアプリの環境変数に設定されます。

ファインチューン用の Azure リソースプロビジョニングの構成

このガイドは、AI Toolkit: ファインチューン用の Azure Container Apps ジョブをプロビジョニング コマンドを構成するのに役立ちます。

構成パラメーターは、./infra/provision/finetuning.parameters.json ファイルにあります。詳細を以下に示します。

既存の Azure リソースの使用

ファインチューン用に構成する必要がある既存の Azure リソースがある場合は、./infra/provision/finetuning.parameters.json ファイルでそれらの名前を指定し、コマンドパレットから AI Toolkit: ファインチューン用の Azure Container Apps ジョブをプロビジョニング を実行します。これにより、指定したリソースが更新され、不足しているリソースが作成されます。

たとえば、既存の Azure コンテナー環境がある場合、./infra/finetuning.parameters.json は次のようになります。

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentParameters.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
      ...
      "acaEnvironmentName": {
        "value": "<your-aca-env-name>"
      },
      "acaEnvironmentStorageName": {
        "value": null
      },
      ...
    }
  }

手動プロビジョニング

Azure リソースを手動でセットアップする場合は、./infra/provision フォルダーにある提供されている Bicep ファイルを使用できます。AI Toolkit コマンドパレットを使用せずに、すべての Azure リソースをすでにセットアップして構成している場合は、finetune.config.json ファイルにリソース名を入力するだけで済みます。

例

{
  "SUBSCRIPTION_ID": "<your-subscription-id>",
  "RESOURCE_GROUP_NAME": "<your-resource-group-name>",
  "STORAGE_ACCOUNT_NAME": "<your-storage-account-name>",
  "FILE_SHARE_NAME": "<your-file-share-name>",
  "ACA_JOB_NAME": "<your-aca-job-name>",
  "COMMANDS": [
    "cd /mount",
    "pip install huggingface-hub==0.22.2",
    "huggingface-cli download <your-model-name> --local-dir ./model-cache/<your-model-name> --local-dir-use-symlinks False",
    "pip install -r ./setup/requirements.txt",
    "python3 ./finetuning/invoke_olive.py && find models/ -print | grep adapter/adapter"
  ]
}

テンプレートに含まれる推論コンポーネント

Azure リソースプロビジョニングの構成

このガイドは、AI Toolkit: 推論用の Azure Container Apps をプロビジョニング コマンドを構成するのに役立ちます。

構成パラメーターは、./infra/provision/inference.parameters.json ファイルにあります。詳細を以下に示します。

既存の Azure リソースの使用

デフォルトでは、推論プロビジョニングは、ファインチューンに使用されたものと同じ Azure Container App 環境、ストレージアカウント、Azure ファイル共有、および Azure Log Analytics を使用します。推論 API 専用の個別の Azure Container App が作成されます。

ファインチューンステップ中に Azure リソースをカスタマイズした場合、または推論に独自の既存の Azure リソースを使用する場合は、./infra/inference.parameters.json ファイルでそれらの名前を指定します。次に、コマンドパレットから AI Toolkit: 推論用の Azure Container Apps をプロビジョニング コマンドを実行します。これにより、指定されたリソースが更新され、不足しているリソースが作成されます。

たとえば、既存の Azure コンテナー環境がある場合、./infra/finetuning.parameters.json は次のようになります。

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentParameters.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
      ...
      "acaEnvironmentName": {
        "value": "<your-aca-env-name>"
      },
      "acaEnvironmentStorageName": {
        "value": null
      },
      ...
    }
  }

手動プロビジョニング

Azure リソースを手動で構成する場合は、./infra/provision フォルダーにある提供されている Bicep ファイルを使用できます。AI Toolkit コマンドパレットを使用せずに、すべての Azure リソースをすでにセットアップして構成している場合は、inference.config.json ファイルにリソース名を入力するだけで済みます。

例

{
  "SUBSCRIPTION_ID": "<your-subscription-id>",
  "RESOURCE_GROUP_NAME": "<your-resource-group-name>",
  "STORAGE_ACCOUNT_NAME": "<your-storage-account-name>",
  "FILE_SHARE_NAME": "<your-file-share-name>",
  "ACA_APP_NAME": "<your-aca-name>",
  "ACA_APP_ENDPOINT": "<your-aca-endpoint>"
}