はじめに
このコンテンツでは、OpenVINO™ Toolkit と OpenVINO™ Notebooks をインストールする手順についてご紹介します。
本コンテンツ内容は執筆時点 (2024/7/5) で最新の LTS バージョンである OpenVINO™ Toolkit 2023.3 LTS をターゲットとして記載しております。
今回は、 OS としてUbuntu 22.04 LTS を使用し、ハードウェアは弊社取り扱い製品の ADLINK社 SMARC を使用しました。
この手順は、下記 Intel® Distribution of OpenVINO™ Toolkit と OpenVINO™ Notebooks の github の ULR を参考にしています。
参考：
- Intel® Distribution of OpenVINO™ Toolkit
- OpenVINO™ Notebooks の github
- Intel® 第 6 世代 Atom® x6000 プロセッサ (Elkhart Lake) を搭載した ADLINK社 SMARC LEC-EL での Ubuntu 22.04 LTS の環境の構築
＜今回使用した弊社取り扱い製品＞
-
I-Pi SMARC Elkhart Lake (I-Pi SMARC Plusキャリア、ADLINK社 SMARC LEC-ELモジュール, 4GB LPDDR4, 64GB eMMC)
インテル®第6世代Atom® x6000プロセッサベースのI-Pi SMARC開発キットです
１．事前準備
STEP 1-1 :
Ubuntu 22.04 をインストールし、apt-get update と apt-get upgrade を実行します。
sudo apt-get update
sudo apt-get upgrade
STEP 1-2 :
UbuntuにPython3.10とvenvの仮想環境をインストールします。
sudo apt install python3.10-venv
２．OpenVINO™ Toolkit 2023.3 LTS のインストール
Intel® Distribution of OpenVINO™ Toolkit のリンクを参考にして OpenVINO™ のダウンロード＆インストールします。
今回は一番簡単にインストール出来る PIP での方法を実行してみますので、下のキャプチャのように選択します。
Package : OpenVINO Base Package
Version : 2023.3 LTS
Operating System : Linux
Distribution : PIP
選択した Package、Version、Operating System、Distribution に合わせて、下記画面のように必要なコマンドが表示されますので、コピー&ペーストして実行します。
STEP 2-1 : 仮想環境を作成します。
python3 -m venv openvino_env
STEP 2-2 : 仮想環境をアクティベートします。
source openvino_env/bin/activate
STEP 2-3 : pip を最新版にアップグレードします。
python -m pip install --upgrade pip
STEP 2-4 : バージョンを指定して Development Tools のダウンロードとインストールをします。
pip install openvino-dev==2023.3.0
下記のように、コマンド実行後にメッセージが表示されますが、エラーが発生していなければ環境構築は完了です。
なお、ターミナルウインドウを閉じてしまった場合は、再度 STEP 2-2 を実行して、OpenVINO™ の仮想環境をアクティベートします。
source openvino_env/bin/activate
３．OpenVINO™ Notebooks のインストールと実行
OpenVINO™ Notebooks github の Ubuntu のリンクを参考にして、OpenVINO™ Notebooks をインストールします。
STEP 3-1 : OpenVINO™ の仮想環境ディアクティベートし、追加のライブラリをインストールします。
deactivate
sudo apt-get install python3-venv build-essential python3-dev git-all libgl1-mesa-dev ffmpeg
STEP 3-2 : OpenVINO™の 仮想環境をアクティベートします。
source openvino_env/bin/activate
STEP 3-3 : レポジトリをクローンします。
git clone --depth=1 https://github.com/openvinotoolkit/openvino_notebooks.git
STEP 3-4 : cd コマンドで openvino_notebooks ディレクトリへ移動します。
cd openvino_notebooks
STEP 3-5 : 依存関係等のパッケージをインストールします。
pip install wheel setuptools
pip install -r requirements.txt
STEP 3-6 : 全ての notebooks をまとめて起動する方法です。
jupyter lab notebooks
無事起動出来ました。画面左側のサイドバーから notebook を選んで使用します。
各 notebook は notebooks ディレクトリ内のサブディレクトリ内にあります。
STEP 3-7 : "PyTorch to OpenVINO" の例ですが、１つの notebooks を指定して起動することもできます。
jupyter lab notebooks/pytorch-to-openvino/pytorch-to-openvino.ipynb
無事起動出来ました。
STEP 3-8 : Notebook の実行
基本的には、上部にある (Run) をクリックするだけで、各ステップを実行できます。
上から６番目のコードまで実行したときの結果です。
Pytorch モデルをそのまま使ったときの推論結果と推論時間です。
上から１１番目のコードまで実行したときの結果です。
Pytorch モデルから OpenVINO モデルへ変換後に、OpenVINO モデルを使って推論した結果と推論時間です。
推論精度はそのままで推論時間が速くなっていることが判ります。
上から１６番目のコードまで実行したときの結果です。
Pytorch モデルから OpenVINO モデルへ変換後に、OpenVINO モデルを使って推論した結果と推論時間です。
先ほどとの違いは、Dynamic Input Shape ではなく Static Input Shape でモデルを変換しています。
Static Input Shape にすることで、さらに推論時間が速くなっていることが判ります。
まとめ
用意されている notebooks が多いのですが、下記リンクを参考にお試し下さい。
参考：