モデルをONNX形式に変換する

AI Toolkitは、モデルをローカルで実行するために、Open Neural Network Exchange（ONNX）形式をサポートしています。ONNXは、機械学習モデルを表現するためのオープンスタンダードであり、一般的なオペレーターセットとファイル形式を定義することで、さまざまなハードウェアプラットフォームでモデルを実行できるようにします。

Azure AI FoundryやHugging Faceなどの他のカタログのモデルをAI Toolkitで使用するには、まずONNX形式に変換する必要があります。

このチュートリアルでは、Hugging FaceモデルをONNX形式に変換し、AI Toolkitにロードする方法を説明します。

環境をセットアップする

Hugging FaceまたはAzure AI Foundryからモデルを変換するには、Model Builderツールが必要です。

環境をセットアップするには、以下の手順に従います。

1. AnacondaまたはMinicondaのいずれかがデバイスにインストールされていることを確認します。

2. Model Builder専用のconda環境を作成し、必要な依存関係（onnx、torch、onnxruntime_genai、およびtransformers）をインストールします。

   conda create -n model_builder python==3.11 -y
   conda activate model_builder
   pip install onnx torch onnxruntime_genai==0.6.0 transformers
   

   注：Phi-4-miniなどの一部の新しいモデルでは、GitHubから直接最新の開発バージョンのtransformersをインストールする必要がある場合があります。

   pip install git+https://github.com/huggingface/transformers
   

Hugging Faceモデルにアクセスする

Hugging Faceモデルにアクセスする方法は複数あります。このチュートリアルでは、モデルリポジトリの管理を示す例として、huggingface_hub CLIを使用します。

注：続行する前に、Python環境が正しくセットアップされていることを確認してください。

Hugging Faceからモデルをダウンロードするには

1. CLIをインストールする:

   pip install -U "huggingface_hub[cli]"
   

2. モデルリポジトリをダウンロードする.

3. ダウンロードされたリポジトリ内のすべてのファイルは、変換中に使用されます。

ディレクトリ構造を作成する

AI Toolkitは、作業ディレクトリからONNXモデルをロードします。

• Windows: %USERPROFILE%\.aitk\models
• Unix系システム（macOS）: $HOME/.aitk/models

モデルが正しくロードされるように、AI Toolkitの作業ディレクトリ内に必要な4層のディレクトリ構造を作成します。例：

mkdir C:\Users\Administrator\.aitk\models\microsoft\Phi-3.5-vision-instruct-onnx\cpu\phi3.5-cpu-int4-rtn-block-32

この例では、4層のディレクトリ構造はmicrosoft\Phi-3.5-vision-instruct-onnx\cpu\phi3.5-cpu-int4-rtn-block-32です。

モデルをONNX形式に変換する

モデルをONNX形式に変換するには、次のコマンドを実行します。

python -m onnxruntime_genai.models.builder -m $modelPath -p $precision -e $executionProvider -o $outputModelPath -c $cachePath --extra_options include_prompt_templates=1

モデルをONNX形式に変換するための完全なコマンド例を次に示します。

python -m onnxruntime_genai.models.builder -m C:\hfmodel\phi3 -p fp16 -e cpu -o C:\Users\Administrator\.aitk\models\microsoft\Phi-3-mini-4k-instruct\cpu\phi3-cpu-int4-rtn-block-32-acc-level-4 -c C:\temp --extra_options include_prompt_templates=1

精度と実行プロバイダーの詳細については、これらのチュートリアルを参照してください。

• 精度の基本
• 実行プロバイダーの基本

AI Toolkitにモデルをロードする

変換後、ONNXモデルファイルを新しく作成したディレクトリに移動します。AI Toolkitは、アクティベーション時にこのディレクトリからONNXモデルを自動的にロードします。

モデルはMY MODELSビューで見つけることができます。モデルを使用するには、モデル名をダブルクリックするか、TOOLS > Playgroundを開き、ドロップダウンリストからモデルを選択して操作を開始します。

注：AI Toolkitは、手動で追加されたモデルを直接削除することをサポートしていません。モデルを削除するには、そのディレクトリを手動で削除してください。

変換がサポートされているモデル

次の表は、AI ToolkitでONNX形式への変換がサポートされているモデルを一覧表示しています。