Windows 11とNPUで実現するWindowsのAI

Windows 11とNPUで
実現するWindowsのAI
木澤朋和
Microsoft MVP for Windows and Device for IT
windows-podcast.com
2023年2月25日 .NETラボ勉強会

自己紹介
• 木澤朋和(きざわともかず)
• 某メーカー系でエンジニアをやっています
• Microsoft MVP for Windows and Devices for IT
(2022/7~2023/6)
• ブログの執筆
• ポッドキャスト番組の配信、動画(YouTube)の配信
Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 2

ポットキャスト番組
• 「WoodStreamのデジタル生活」
• マイクロソフトの製品や技術をお話しする番組
• windows-podcast.com/podcast
• 各種音声配信サービスとYouTubeで毎週配信
• 配信 13年 / 668回
Google
Podcasts
Spotify

YouTube
• YouTube動画も毎週更新しています。
• https://www.youtube.com/@windows-podcast

ご注意
• 本セッションは2023年2月21日時点の情報からお話ししていま
す。
• 今後、マイクロソフト及び各プロセッサメーカーの動向で
内容は変更されることがあります。

本日の内容
• WindowsのAI機能にNPUがなぜ必要か?
• 各プロセッサメーカーとWindowsの動向
• Windows Studio Effectsとは?
• ニューラルネットコンピューティングとNPU
• WindowsのAI機能の展開
• 各プロセッサメーカーの対応

Windows 11の
Windows Studio Effects

Windows Studio Effects
• 背景ぼかし
• カメラに映っている人物の背景をぼかす。
• 人物の映像をリアルタイムに検出して、背景をぼかす。
• アイコンタクト(視線の補正)
• カメラに映っている人物の「目」がカメラ目線になるように
映像を補正する。(次ページ)
• 自動フレーミング
• カメラに映っている人が移動するした場合に、人に合わせて画面の枠(フレー
ム)を移動させ、常に人を追うようにする。
• 音声フォーカス
• 「喋っている人の声」以外を除去する。近くにいる他の人の喋り声や騒音な
どを除去して鮮明でクリアな音声を入力する。

アイコンタクト
• カメラ目線にする
画像:マイクロソフトより

自動フレーミング
• 人に合わせてフレームを移動
移動
枠が移動

Windowsすべてのカメラ/音声入力で利用可
• 特定のアプリケーション向けではなく
• Windowsのカメラ入力、音声入力の機能で利用可
• Teamsだけではなく
• Zoom
• Webex
• その他カメラと音声入力をする
すべてのアプリケーションから使うことができる。

Windows Studio Effectsを
実現するためにNPUが活躍
• 映像と音声をリアルタイムに識別して補正する処理が必要
• Windows Studio EffectはNPUを搭載したデバイスでないと機
能しない。
• 現時点ではArmプロセッサのQualcomm Snapdragonと
Microsoft SQ3のみが対応

NPUとは?

ニューラルコンピューティング
• 人間の脳細胞を模したもの
• 脳内の神経細胞(ニューロン)とニューロン同士を接続するつな
がりであるシナプスから構成
• 図の丸がニューロン、線がシナプス
左側が情報の入力、
中間が推論過程、
右側が答え
https://www.ac-illust.com/ より

ニューラルコンピューティング
• 入力した情報(例えば画像)から
条件を抽出してそれらの関連性のかさみ付け答えを導きだす
https://www.ac-illust.com/ より
85%で「犬」
いろいろ推論

実現するには
• 沢山の情報から判定する必要がある。
• 「複数の処理を同時に」行わなければならない。
• この過程で複雑な数値計算は必要としない
大抵は「行列計算」であり
実際は「加算」か「乗算」を行う。
• 浮動小数点演算のような機能ではなく
単精度の整数演算で十分

Windows Studio Effectsからの利用
• 背景ぼかし
• 背景ぼかしをするために「人の形」を見極めて、映像の中のどこまでが人で
どこからが背景なのかを割り出す。
• 映像から「人」である部分を推論。
• アイコンタクト/自動フレーミング
• 映像の中から動いている人を割り出す。
• 人の瞳を特定する
• ノイズキャンセリング機能
• 主に話している人の声とバックの騒音、他の人の会話を分けなければなりま
せん。
• リアルタイムに行う
• 同時に入ってくる沢山の情報を同時に処理する

処理するプロセッサ
• CPU
• Central Processing Unit
• Intel Coreプロセッサ
• AMD Ryzenプロセッサ
• Qualcomm Snapdragon
• GPU
• Graphics Processing Unit
• NVIDIA GeForceシリーズ
• AMD RADEONシリーズ
• NPU
• Neural Processing Unit

CPU
• CPUは原則、シーケンシャルな処理をする。
• 入力があって、計算をして、出力する。
• この処理を順番に一つ一つ行っていきます。
• 複雑で高度な計算を行います。
• 同時処理
• マルチコア、マルチスレッドでも、数十個くらいです。
• 最新の第13世代CoreプロセッサのCore i9-13900でも32スレッド
• 映像や音声などの非常に多くの複数の情報の同時に限界

GPU
• 映像にしたい情報入力して、
画像にするために計算をして、
画像の情報にして出力
• 同時処理
• 複数の処理をする単位としては(注:超乱暴な言い方をすると)
NVIDIAのGeForce RTX4090は16,384の同時処理を行う。
• CPUほど高度な計算を行うわけではない。
• そういう意味ではニューラルネットワークなどのAI的な処理に向いて
いる。(現実的に扱われている)
• 演算内容としては高精度な浮動小数点演算も行う。
• 同時に消費電力も高くなる。
• AIの処理としてはそこまでの演算能力は必要としない

NPU
• NPUはGPU同様に複数の情報を同時に処理する仕組みを持った
AI処理に特化したプロセッサ
• 32ビット浮動小数点演算ではなく16ビットや8ビットの
整数演算を高速に処理
• 複雑な計算を行うこともなくGPUほど消費電力が高くない
• 「行列計算」に最適化されたプロセッサとして誕生

だからNPU
• ニューラルコンピューティングはCPUとGPUで賄えていた
• 更に効率よく低消費電力で処理するNPUを適用
• CPUとGPUにもそれぞれ仕事がある
その他のAI的な処理はNPUに任せるというトレンド
• 特にスマートフォンの世界ではカメラ機能や各種認識機能を
はじめとしてNPUが活躍している。

モバイル系NPUの特徴
• ニューラルコンピューティング
• 「トレーニング」と「推論」というフェーズに分かれている
• 特にモバイル系では「推論」の機能に注力
• トレーニング済みの学習情報を持っており、
そこから推論する動き。

Windows 11の展開

Windows Studio Effectsは公開
• 「Windows Studio Effectsは特定のハードウェアSnapgradon
8cx Gen3(Microsoft SQ3のベース)で動いている。
他のOEMやハードウェアベンダーとも連携する。
デバイスとWindowsエコシステムを構築し続けるためにも
Windows Studio Effects は公開する。」
• Ignight 2022の動画より
MicrosoftのGroup Program managerのFred Balsigerさん

各種NPUへの対応
• 「将来、有望なNPUにWindows Studio Effectsを採用する計画
もある。
したがって、業界全体の将来の技術がこれらのNPUを活用し、
すべてのWindowsマシンでWindows Studio Effectsのますます
広範囲なエコシステムが見られるようになるでしょう」
• Ignight 2022の動画より
MicrosoftのGroup Program managerのFred Balsigerさん

各種NPUの対応
• NPUを活用するライブラリが必要
• 現時点ではQualcommのSnapdgragonに特化した仕組みとなっ
ている
• 「Windowsの場合、QualcommはSnapdragonのNeural処理エ
ンジンAPIを利用できるようにしている。これでNPUで直接処
理できるようになっている。とはいえ、特定のハードウェア
アーキテクチャを抽象化して、開発者向けのより包括的なソ
リューションに取り組んでいる。これについては来年のBuild
までに情報を提供していく。」(Fred Balsigerさん)

各プロセッサメーカーの対応

Qualcomm
• Snapgragon
• QualcommのSOC Snapdrgon 8cx Gen3にはトレーニング情報があ
る
• ここからデータを入力して推論させてWindows Studio Effectsな
どに適用
• 「オートフレーミング」「ノイズキャンセル」「音声アクティ
ベーション」「顔検出」「ジェスチャートラッキング」などを
サポート

Qualcomm
• QualcommはMicrosoft SQ1の段階でWindows Studio Effects
のアイコンタクトの機能を実装
• Snapdragon 8cx => Microsoft SQ1にNPU搭載済み
https://developer.qualcomm.com/blog/ai-accelerated-experiences-security-windows-snapdragon

Intel
• Intel
• インテルは「XPU」という考え方でCPU、GPU、NPUを統合を
計画
• インテルでは第10世代Coreプロセッサ(Ice Lake)でIntel
GNA(Gaussian & Neural Accelerator)としてAIアクセラレータ
を投入
• OpenVINOとしてAIソリューションとしてSDKの公開
• Windows Studio Effectsには未適用

Intel
• 第14世代CoreプロセッサにあたるMeteor Lake、第15世代Core
プロセッサと想定されるLuner Lakeには「Integrated AI
Accelaration」としてAI処理の特化したNPU相当の機能が入る
ことが発表されている。

Intel
• CES2023の直前に発表
• インテルは第13世代CoreプロセッサのノートPC対応版の発表
• NPU(インテルではVPU(Visual Processing Unit))を外付けにす
ることを可能としていることを発表
• 第14世代Coreプロセッサへの
NPU(VPU)に内蔵に向けての
布石と言える。

AMD
• AMDはZen4,Zen5アーキテクチャでAIE(AI Engine)と呼ばれる
旧Xilinx(AMDが買収)の技術が適用されようとしている。

AMD
• CES2023でRyzen AI EngineでWindows Studio Effectsに正式
対応を発表
https://www.youtube.com/live/OMxU4BDIm4M?feature=share&t=1416

Apple Siliconはどうなる?
• 2/17にマイクロソフトが正式に対応を承認
http://bit.ly/3XQbR4E

YouTubeでも解説しています
https://www.youtube.com/@windows-podcast/
ポッドキャスト番組
https://windows-podcast.com/podcast/

Windows 11とNPUで実現するWindowsのAI

More Related Content

What's hot

Similar to Windows 11とNPUで実現するWindowsのAI

More from Tomokazu Kizawa

Windows 11とNPUで実現するWindowsのAI