GPU での手動モデル変換

この記事では、ローカルの Nvidia GPU を使用して LLM モデルを変換する手動ワークフローを紹介します。必要な環境設定、実行手順、および Qualcomm NPU を搭載した Windows Copilot+ PC で推論を実行する方法について説明します。

LLM モデルの変換には Nvidia GPU が必要です。Model Lab でローカル GPU を管理する場合は、モデル変換の手順に従ってください。それ以外の場合は、この記事の手順に従ってください。

GPU での手動モデル変換の実行

このワークフローは qnn_config.json ファイルを使用して設定され、2 つの異なる Python 環境が必要です。

• 最初の環境は GPU アクセラレーションによるモデル変換に使用され、onnxruntime-gpu や AutoGPTQ などのパッケージが含まれます。
• 2 番目の環境は QNN 最適化に使用され、特定の依存関係を持つ onnxruntime-qnn などのパッケージが含まれます。

最初の環境のセットアップ

Python 3.10 x64 Python 環境で Olive がインストールされている場合、必要なパッケージをインストールします。

# Install common dependencies
pip install -r requirements.txt

# Install ONNX Runtime GPU packages
pip install "onnxruntime-gpu>=1.21.0" "onnxruntime-genai-cuda>=0.6.0"

# AutoGPTQ: Install from source (stable package may be slow for weight packing)
# Disable CUDA extension build (not required)
# Linux
export BUILD_CUDA_EXT=0
# Windows
# set BUILD_CUDA_EXT=0

# Install AutoGPTQ from source
pip install --no-build-isolation git+https://github.com/PanQiWei/AutoGPTQ.git

# Please update CUDA version if needed
pip install torch --index-url https://download.pytorch.org/whl/cu121

⚠️ 環境をセットアップし、パッケージをインストールするだけです。この時点では olive run コマンドを実行しないでください。

2 番目の環境のセットアップ

Python 3.10 x64 Python 環境で Olive がインストールされている場合、必要なパッケージをインストールします。

# Install ONNX Runtime QNN
pip install -r https://raw.githubusercontent.com/microsoft/onnxruntime/refs/heads/main/requirements.txt
pip install -U --pre --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple onnxruntime-qnn --no-deps

qnn_config.json の /path/to/qnn/env/bin を、2 番目の環境の Python 実行可能ファイルが含まれるディレクトリのパスに置き換えます。

設定の実行

最初の環境をアクティブにしてワークフローを実行します。

olive run --config qnn_config.json

このコマンドが完了すると、最適化されたモデルは ./model/model_name に保存されます。

⚠️ メモリ不足により最適化が失敗する場合は、設定ファイル内の calibration_providers を削除してください。

⚠️ コンテキストバイナリの生成中に最適化が失敗した場合は、コマンドを再実行してください。プロセスは最後に完了したステップから再開されます。

手動推論サンプルの実行

最適化されたモデルは、ONNX Runtime QNN Execution Provider と ONNX Runtime GenAI を使用して推論に利用できます。推論は Qualcomm NPU を搭載した Windows Copilot+ PC で実行する必要があります。

arm64 Python 環境での必須パッケージのインストール

QNN Execution Provider を使用したモデルコンパイルには、onnxruntime-qnn がインストールされた Python 環境が必要です。Olive がインストールされた別の Python 環境で、必要なパッケージをインストールします。

pip install -r https://raw.githubusercontent.com/microsoft/onnxruntime/refs/heads/main/requirements.txt
pip install -U --pre --extra-index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple onnxruntime-qnn --no-deps
pip install "onnxruntime-genai>=0.7.0rc2"

インターフェースサンプルの実行

提供されている inference_sample.ipynb ノートブックを実行します。この arm64 Python 環境に ipykernel を選択します。

⚠️ 6033 エラーが発生した場合は、./model/model_name フォルダー内の genai_config.json を置き換えてください。