Macで独立型のWebカメラ背景ぼかし XSplit VCam

Pocket

オンライン会議で部屋の背景を見られたくないみなさんこんにちは!

私もワークデスクの後ろはすぐ壁なんですが、そこに作業デスクを追加設置してかなりゴチャゴチャしてきているので、ちょっとそのまま見せるのはどうかという感じです。最近のオンライン会議ツール(Zoom/Teams/Meetなど)には当たり前のようにバーチャル背景がついていますが、個人的には品質はイマイチだと思っています。人物と背景の境界線処理が雑。また業務で使うブラウザベースのオンラインインタビューツールなんかだとバーチャル背景のような高級な機能は含まれておらず、そのまま参加してしまうとインタビュー相手はもとより見学にきた多数のクライアントに部屋が丸見えになってしまいます…

そこで私はNVIDIAがリリースしているNVIDIA Broadcastを愛用していました。これは同社のグラフィックボードRTXシリーズ(20×0シリーズと30×0シリーズ)の処理性能を使って背景をボカしたり、フェイストラッキングをしたり、音声面では強力なノイズ除去も利用できるフリーソフトウェアです。これのためにRTX dGPUが搭載されたノートPCに買い換えたほどです。

ところが最近M1Max搭載のMacBook Pro 16′ 2021を購入し、やはり仕事のオンライン会議ツールでそちらも活用したくなります。音声のノイズキャンセルについてはAudio Hijack + Loopbackというツールでほぼ不満は解消されました。

しかし背景交換については良い案がなく、結局ほとんどの場面でWindowsデスクトップを使っていました。

■ハードウェア処理できるOBSBot Meetは来年春まで出ない

まず目に付いたのは超小型のAI人物追跡機能付きWebカメラOBSBot Tinyで有名なOBSBot社のクラウドファンディング中の新型OBSBot Meetがあります。

(ちなみにOBSBot Tinyは最近手に入れてとても良いカンジなので近々改めてレビューしたいと思います。)

OBSBot Meetはカメラ内でAI処理をして背景を消したりボカしたりできるという触れ込みで、PC/Macにはボカし済みの映像が最初から届くので、専用ソフトのインストールもいらないし画像処理の負荷がないのが特長です。しかし今予約しても届くのは来年2022年の3月。クラウドファンディングとはいえ海外購入したものが、将来的に国内代理店でサポートが受けられるのかも不透明。故障時に本国送りとかになるくらいなら多少高くても国内販売後でもいいかと思ってしまいます。

■そこでXSplit VCamですよ

もうハードでもソフトでもいいからウェブ会議ソフトから独立して仮想カメラとして機能する背景交換ツールがないのかなぁ。そうWindowsでいうXSplit VCamみたいな…などと調べていたところ、当のVCamが今年8月にMac対応していたことを知りました。M1対応については明記がないですが、アクティビティモニターでみると種類が「Apple」になってるのでM1(Appleシリコン)対応済みのようです。

なんだよはやく言ってくれよ!XSplitはOBS Studioの競合となる配信ソフトXSplit Broadcasterなどで有名なところで映像処理技術には定評があります。国内ではソースネクストがパッケージ版、ダウンロード版ともに販売していますが、Mac版はまだないっぽいです。Mac版が必要な人はXSplit公式サイトから購入しましょう。

公式の購入ページ(投稿時点)

こんな感じの画面になるんじゃないでしょうか。英語なので簡単に説明します。Vcamは一番左のグリーンのところです。隣のPresenter、Broadcasterは別のソフトなので今回は関係ありません。ただしこれらも抱き合わせしたセットに興味ある場合は一番右のPremium Bundleもチェックしてみると良いでしょう。

Premiumというのが背景ぼかしを含む有料版機能が使えるバージョンなので、今回気にすべきはこのVCam Premiumということになります。

上のLicense Duration(ライセンス期間)のバーで1ヶ月、3ヶ月、12ヶ月のサブスクかLifetime(買い切り)が選べます。12ヶ月が$30、買い切りが倍の$60だったので買い切りにしてしまいました。有料機能を試用したい場合は1ヶ月$8をとりあえず買ってみるのもアリかも知れませんね。

使ってみた

試した感触は上々です。精度面ではNVIDIA Broadcasterと同等レベルと言えるんじゃないかと思います。髪の毛のふちが多少誤爆したりはしますがZoomやTeamsの内蔵機能よりは明らかに上です。手を素早く振っても多少指が欠けたりしますが通常のオンライン会議でそんなことしないので問題ないかなと。遅延は皆無ではないですがオンライン会議なら問題ないかなと。OBS Studioに貼ってみた感じサイズは1280×720までのようです。

機能としては、以下のものを背景に指定でき、そのボカシ量をスライダーで100段階で選ぶことができます。

  • オリジナル(カメラ映像のまま。これにぼかしをかければ背景ぼかしに)
  • 消去(真っ黒)
  • 静止画、動画などローカルのメディアファイル
  • Youtube動画
  • Webページ
  • Unsplashの写真

Youtube動画やWebページを背景にできるのは面白いですね。Unsplashは動画素材サイトのようです。

まあウォーターマーク(透かし)画像を入れられたり、背景映像の明るさコントラスト、サイズなどの調整もできます(「オリジナル」のカメラ映像の背景を独立で調整することはできません)。

更に凝ったことをしたい時は、OBS Studioにいれてそちらで加工するのがいいかなと思います。「消去」を使って黒背景にすると黒髪の日本人だと上手くぬけないので、緑一色(OBSのクロマキーフィルターのデフォルト値に合わせるなら#00ff00)の画像を作って背景にしておくのが良いです。で、OBSで映像ソースに「クロマキー」フィルターを適用すれば綺麗に背景が透明になるので、あとは他の画像を重ねたりサイズを変更したりはし放題です。二重に仮想カメラを通るので遅延は多少ありますが、少なくともM1MaxのMacBook Proなら「気にしてみれば」程度かなと思います。

ひとつ惜しいのはボカシがいまいち綺麗ではないという点。写真は標準の部屋の背景(右側中断)を選択し、ぼかし強度を38にした状態。

なんだか縦横に縞のような模様が目立って気になります。元画像に直線要素があるとそれがやたらと強調される感じ。NVIDIA Broadcastでは気になったことがないので、ブラー処理のアルゴリズムの違いなのかな?と思います。後ろに本棚やキャビネットがあるような環境だと少しうるさく感じるかも知れません。実際ウチの背景ともちょっと相性が悪くて残念です。いっそ背景を写真でとってPhotoshopで綺麗なボケ加工をしたものを静止画として合成しようかな(笑)。

■まとめ

ともあれ現状ググって見付かる唯一、Macで独立型、高画質の背景交換ツールかなと思います。ちなみに往年のChromaCamもM1対応済みだったので試してみましたが数年前から進歩が見られず、切り抜き精度などはZoomなど以下という感じで速攻アンインストールしました。

ようやくこれでMacもオンライン会議案件でバリバリ活用できそうです。

NVIDIA BroadcastのないMacでもWeb会議にノイズキャンセルを使いたい

Pocket

M1MaxのMacBook Proを導入し、自宅デスクトップとしても当面はメインに使うことになりそうなわけです。今のご時世大抵のサービスはWinows/Mac両対応でほぼ問題ないのですが、悩ましいのがWeb会議で活用しまくっていたNVIDIA Broadcastです。NVIDIAのグラフィックボードRTXシリーズのコンピューティングパワーを活かして音声ノイズキャンセルやWebカメラの背景ぼかし処理、オートフレーミング処理などを行ってくれる仮想デバイスツールです。こればっかりは将来に渡ってMac版が提供されることはなさそう。UT実査などでWireless Go2をなどダイナミックマイク系の特性(近くの大きな音だけ拾う)のマイクを使う時はまぁなくてもいいかなと思いますが、自宅のコンデンサマイクはエアコンなどの微細なノイズも拾いまくってしまうので、なんらかのノイズ除去が必要です(ダイナミックマイクをカメラの画角に入ってしまうような口元にマイクスタンドで持ってくるのは避けたい)。これにはNVIDIA Broadcastがうってつけだったのですが、、

■札束で殴る方法は自重

以前から気になっていたのはUNIVERSAL AUDIO(以下UA)のオーディオI/FにC Suite C-Vox Noise & Ambient Reduction(以下C-Vox)プラグインを組み合わせる方法。UA社のオーディオI/FはDSP搭載で各種フィルターをハードウェア処理でかけることができる特長をもっています。そのひとつに超強力なノイズ軽減フィルターであるC-Voxがあります。ほぼ遅延なしで声を削ることなく綺麗にノイズを消せるらしいし、PC側に処理負荷もかからないので良さげなんですが、なにせハードが最低でも数万、C-Voxプラグインが$349もするのでうっかりすると10万円コースです。なかなか日本でのレビューもなく、ちょっとギャンブルでもあるのでなかなか特攻もしづらい。しかも今回はMac本体に多額の出費をしたばかりなのでさすがに自重。

UAのApolloシリーズは値段でDSPコア数が違うんですが、C-Voxをきっちり動かすのに何コアあればいいのかとかも公式サイトみてもよくわからず。基本1つのプラグインは1つのDSPコアがあれば動くんでしょうかね?

■ソフトの力でなんとかしてみる

Audio Hijack

そこで見つけたのがRogue Amoeba社(読めない)のAudio Hijackとうソフトウェア製品です。Web会議用ツールではなく、どちらかといえばソフトウエア・オーディオミキサー?エフェクター?兼レコーダーという感じ。様々な入力ソースはアプリの出力音声に色々なエフェクトをかけて録音したり、別デバイスに出力したりできます。この中に学習型のノイズ低減フィルターが入っており、最大3秒のノイズサンプルを覚えさせることで同種の音を消してくれます。ざっと試した感じノイズ以外の音声の劣化は少なそう。グラフィカルなUIでエフェクターブロックをつないでいく形で構成を作っていきます。エフェクターをかけるごとに遅延は伸びていきますが、低遅延モード(処理が追いつかないと音が飛ぶらしい)にしてNCと音量調整をかける程度ならWeb会議には充分でした(M1 Maxだしというのもあるかも?)。また途中の好きな時点のレコーダーブロックを挿入できるので、例えばエフェクトをかける前の生音をバックアップで録画しておくということがOBSで無駄にソースを増やして例のチェック間違えるとエラいことになるミキサー設定でやりくりしなくて済みます。音声もOBSのマルチトラックで録ってしまうとバックアップトラックが含まれた動画ファイルになってしまい、即渡しには不便になってしまいます。そういう時に万一のバックアップ録音はAudio Hijack側で録っておきつつ完成トラックだけをOBSに渡す、みたいな使い方もできるかなと。NC学習は一瞬ですが毎回環境がかわるような使い方だと地味にひと手間あるかも知れません。でもまぁそれで精度が上がるのならむしろアリかなと(現時点では)思っています。例えば空調音だけでなく打鍵音も除去したければ3秒の学習中にキーをガチャガチャしてやればキーも割と消えます。NVIDIA Broadcastは問答無用で人間の声以外の全てを除去するので、手を叩いたりスイッチを押す音がなくなって場合によっては映像とあわないなんてこともありました。そう考えると、「この音を消せ」とその場で教え込めるのは過不足なくていいのかも知れません。ちなみにグライコやハイパスフィルターなどは普通に揃っているので少し組み合わせてみましたが、結局とNCとボリューム調整だけでいいかなという印象。重ねると遅延も出やすくなりますし。ただDeEsser(サ行の音の余計な成分を消す)があると良かったなと思います(ざっとみて見付からなかっただけで同等のフィルターはあるかも)。

LoopBack

ただしAudio Hijack単体ではエフェクトをかけた後の音声を他ソフトからみた音声入力(仮想マイクデバイス)にアサインすることはできず、更に別のツールを組み合わせる必要があります。同じRogue Amoeba社からはLoopBackというツールが出ています(有償)。フリー昔だとBlackholeというのがメジャーっぽいです。オープンソースでM1にも対応済みだとか。今回はAudio Hijackとバンドル購入ができ、同じソフトハウス同士相性問題もまずないだろうということで安全牌としてLoopBackにしておきました。こういった仮想デバイスなどハードウェアやOSに密接に絡むツールはOSのセキュリティの仕組みが変わるごとに互換性の問題が出たりするので、きちんとサポートが継続されそうなところがいいかなと。実際、インストール手順は少し面倒です。Audio HijackとLoopBackは共通のドライバーレイヤーがACEとかいう名前で独立していて、M1のMacの場合インストールするにはリカバリーモードで起動してセキュリティレベルを落とす(サードパーティの署名付きドライバーを許可する)設定変更が必要になります。こちら英語画面ながらスクリーンキャプチャ付きの紙芝居形式で説明がありわかりやすかった気がします。

Audio Hijackが$65、LoopBackが$109(前者の方が多機能で高そうなイメージあるけど)で、セットで買うと割引きが効いて$143でした。安くはないですが、M1Max買った勢いで少し金銭感覚麻痺してる中で特攻してしまいました。

オススメは一旦Audio HijackをBlackholeで試用してみて不都合なさろうならAudio Hijackのみ購入、ダメならLoopBackとセット購入、という感じですかね。

■カメラの背景ぼかしとフレームトラッキングはどうしよう?

背景ボカシは質を問わなければまぁZoomにもTeams、Meetなどにも一応機能はありますね。ただ個人的にはあの品質はちと許しがたい。こちらもハード製品として気になっているのはOBSBot社のMeet 4K。ソフト処理より綺麗に人物抜き、フレームトラッキングができるようです。カメラのセンサーも今使っているLogicool Brioよりも大きいので画質も良さげ。現在クラウドファンディングで先行予約受付中。ここで安く買うか、日本代理店での発売を待って買うか悩ましいところですが、いずれにせよ最短で来年初頭です…既製モデルをみると日本の代理店は並行輸入品はサポート対象外のようなので、後のことを考えると国内販売を待つ方がいいのかも知れません。

あとはATEM MINI Proでキッチリとグリーンバック用意してガチでクロマキー合成するかとかですね。これ買うか、、、