初期バージョンリリースから13年を経て今更ながら動画眼に検索機能をつけました。今までなかったのかよ！と(笑)。今回Watsonによるテキスト起こしデータを流し込んでみて初めて気付きました。本来は自分でテキストを入力していくものというイメージだったのが、そうでないテキストデータを流し込んでビューワー的に使うコンテクストになって、これは検索ないと不便だぞと。
一応逐次検索と一括全選択（件数報告付き）ができるようにしてみました。
その他、.NET Frameworkを4.7にしてHiDPI（高解像度）なモニタの機種でフォントが綺麗になったかも知れません（実感できておらず）。またWindows10でフォーカス色が濃い青になり黒い文字と相性悪かったので色を薄くして水色にしてみました。
アップデートはCliceOnceでお願いします。手順がよくわからない方はこちらを参考にしてください。証明書は相変わらずついてないです、ごめんなさい。
普段、自分の業務ではあまり必要になったことないんですが、先日業界の飲み会で割とUT記録の書き起こしして、そして苦労してるんだなと感じたので、ちょうどいま別件でWatsonを活用する仕事に関わってるのでAPIの勉強がてらツールをプロトタイピングしてみました。
UTの動画ファイルから音声を分離し、Wasonにアップ、返ってきたJSON形式のテキストを見やすいタブ区切りテキストに変換し、拙作のフリーソフト動画眼（タイムスタンプ付きテキストをクリックすると動画の頭出しをしてくれる）に元の動画といっしょに食わせるところまで成功。
その様子がこちら（文字が読めるよう全画面表示でご覧いただくことをオススメします）。
精度としては感覚的に6割以下ってところですかね。モデレーターの「よろしくお願いします」みたいなはっきりかつ頻出なフレーズはちゃんと拾えるけど、被験者の思考発話は途中で途切れたり文章として成立しない場合も多いので、AI補完が入って語尾が勝手にかわったりしがち。単語も全然違ったりしてます。アスキングのコメントは少しマシですかね。まぁ、それでも、
とか場面を限定すれば実用性はありそう。
費用感ですが、本ツールを無償で公開したとして、WasonのSpeech To Text APIの利用料が（辞書登録など音声モデルのカスタマイズをした場合で）$0.03/分なので、60分のセッションを丸起こしさせたとして200円くらい？音声ファイルの長さで計算されるのか、変換にかかった時間なのか不明あやふやですが、実際変換はほぼ実時間くらいかかるのでどちらでもそう変わらないかと。結果がいまいちで、そのタスクや業界固有の用語を辞書に追加したりして何度かやり直しかけたりしてもまぁそんなにスゴい値段にはならないかと。
以下ざっくりステップ毎に解説。
先日無償化が発表されましたがSpeech-to-Textは対象に含まれず。執筆時点で30日無料体験もあります。
ICレコーダーで録ったならそのまま使える。ビデオカメラやスマホカメラの場合、音声だけ抽出してwavやmp3、ogg、WebM、flacなどにする必要があります。後述のCurlを使うアップロード方法（Sessionless）だと100MBまでしか一度に送れないので、mp3やflacのような圧縮率の高い形式にするのがヨサゲ。可逆の方が精度は出るだろうからflacがいいかも知れない（そういえばFLACで直接録音できるICレコーダーってないのかな？）。まぁコーデックやビットレートでどれくらい差が出るかはちゃんと検証できてないです。
今回は1万円ちょっとするPegasysのTMPGEnc Video Mastering Works 6を使用しましたが、カット編集が不要ならフリーでいくらでもあると思います。＞音声分離
専用ツールを開発しない場合、黒い画面で使うCurlというテキストブラウザが使える（ブラウザからでもできると思うけど一括自動かという意味で）。CurlはmacOSなら標準搭載。Windowsだと自分でダウンロード＆インストールが必要。そしてコマンドラインオプションとして、アップするファイル名、モデルと言語指定、出力ファイル名、タイムスタンプをつけるオプション、話者識別記号をつけるオプションだと、100文字以上の呪文になる（コード例1）ので、今回ツール1として、Windows向けフォームアプリを作成（画面写真1）。ちょうやっつけGUIですが、音声ファイルをドラッグ＆ドロップし、IBM CloudのID&PWを設定したら送信ボタンを押すだけで、結果がテキストファイルに保存されます。認識にはほぼ実時間かかるので、複数ファイルをまとめて逐次処理できるようにしています。
|
1 |
# curl -X POST -u <ユーザ名>:<パスワード> --header "Content-Type:audio/wav --data-binary @<音声ファイル名>.wav "https://stream.watsonplatform.net/speech-to-text/api/v1/recognize?timestamps=true&model=ja-JP_BroadbandModel&speaker_labels=true&word_confidence=false" -o <出力ファイル名>.txt |
コード例1. Curlによる送信例
↑これが↓こう。
CurlのフロントエンドUIを作っただけなので、Sessionlessなままで100MB制限が残る。もうちょっと真面目に作ってSessionあり（常時通信）で実装しなおせばそこら辺はとっぱらえるし、その気になればリアルタイムでテキストが落ちてくるような形もできるはず。
また辞書登録は未実装。WatonのAPIとしては、例えばサンプルでは「安藤」が「＆」に認識いされちゃってるけど、そういうのを狙った表記に寄せられる。また「アイトリプルイー」とか出てきたら「IEEE」と書け、いったことにも使える（とマニュアルに書いてある）。
あと作ってからlibcurlの存在に気付く。これを使う用にすれば別途Curlをインストールすることなしに配布できるのかな？ちょっとライセンス周りを勉強しておきます。C#用のラッパーも見つけました。
Watsonからの戻りデータはWebエンジニアさんにはお馴染みのJSONなので普通に眺めるには辛い。
こんな感じ。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 |
{ "results": [ { "alternatives": [ { "timestamps": [ [ "よろしく", 17.8, 18.16 ], [ "お願い", 18.52, 18.78 ], [ "します", 18.78, 19.06 ] ], "confidence": 0.753, "transcript": "よろしく お願い します " } ], "final": true }, { "from": 17.8, "to": 18.16, "speaker": 0, "confidence": 0.554, "final": false }, { "from": 18.52, "to": 18.78, "speaker": 0, "confidence": 0.297, "final": false } ], "result_index": 1, "speaker_labels": [ { "from": 18.78, "to": 19.06, "speaker": 0, "confidence": 0.297, "final": false }, ] } |
単純にtranscriptを抜き出せば良さそうですが、これにはタイムスタンプがついてきません。ので手前の「よろしく」についてる17.8秒という情報を使います。またそのタイムスタンプで誰がしゃべってるかをspeaker_labelsオブジェクトから探してきて、speakerプロパティを抽出する必要がありました。ちなみにcondidenceは信頼度、つまりWatsonの自信度合いで0〜1の値がつきます。
で、これを自動でタブ区切りテキストに変換するため、ツール2としてC#でコマンドラインツールを作成。Visual Studio for Macで作ってmacOSで動いてますが、まぁ前後ツールの関係で実質はWindowsで使うことになりますかね？ただ自分でWatsonに投げられて、Excelで読めればいいやって向きにはMac版のニーズもあるかも知れません。VS for Macが吐いた.exeファイルをVS無しで単体で実行可能にする方法をまだ調べてない…（それよかツール1をMacに対応させた方が早いかもしれません。Xamarin.Formとか使えば両方で動くものにできるんじゃないかと）
ツール2はコマンドラインツールですが、使い方は変換するファイル名をオプションでつけるだけ。ただ後も先も.txtファイルなのでファイル名をどうしようか思案中。今は末尾に.txtをついかしてるので、hoge.txt.txtみたいになってしまう。動画眼で使うなら動画ファイル名と同名拡張子違いが一番都合がいいので、アップローダーで保存するファイル名を、hoge.watson.txtになるようにして、こっちで.watsonを抜く、とかがいいかな。
Watsonに投げる時に timestamps=true オプションをつけると、上記例の通り単語というか音節ごとにタイムスタンプがついてきます。残念ながら文章単位ではない。そこでひとまとまりの文章の中の最初の固まりの先頭タイムスタンプをとってきて文章とセットにする、という処理をしている。
同様に speaker_labels=trueオプションをつけると話者情報（speaker_label）がついてきます。デモ動画の中では「」の前にある0とか2が話者コードです。最初の登場人物から順に0からふられてくぽい。この動画では二人しか出てこないはずなんですが、なにかが一瞬1と誤認され、以降0さん（被験者）と2さん（モデレーター）になってしまいました。これも文章単位ではなく音節単位でしかも末尾にまとめて付加されるので処理が面倒でした。また全体としては1つの文章として認識してるのに、話者コードが途中で入れ替わることもあります。片方の発話を遮るようにもう一人がしゃべりだしたりするとそうなりがち。結局transcroptionプロパティを捨てて、alternative1つずつを拾ってつないでいきつつ、話者コードを調べて切り替わった時点で手動で文章も切り離すという処理にし、実装にえらい苦労しました…
数字を名前に置換する機能とかあるといいんでしょうけど、認識してみないと誰が何番になるかわからないので、このJSON変換ツールでというより動画眼なり後段階のツールの仕事にするのがいいかなと思っています。
動画眼はタイムコードとメモがタブ区切りペアになったテキストファイルと、動画または音声ファイルをセットで読み込んで、メモ（発話内容や行動）をダブルクリックすると、そのシーンが頭出し再生される、もしくは再生しながらメモを書き込むとタイムスタンプ付きで記録してくれる、というUT見返し用の拙作フリーソフトウェアで、こちらで配布しています。
今回3.のツール2の出力はこれと互換性があるので、元になった動画／音声ファイルとツール2が出力したタブ区切りテキストを読み込ませることで、サンプル動画のようなことが可能になる。なお、青いフォーカス行が移動してるのは手動で操作してるからです。動画の進行にあわせて自動で進んでくわけではありませんのであしからず。
あとこうなってくると検索機能が欲しいよなってことで、初リリースから十余年を経てついに実装しました（何故か考えたことすらなかったw）。近日リリースします。
とまぁ書き起こしてみると大変そうだけれど、一度セットアップしてしまえばそれなりの手軽さでここまでできるよっていう技術デモです。驚愕するほどの認識精度ではないですが、実際にセッションを見ていたモデレーターや見学者が、概要思い出したり、特定のシーンを探す手助けくらいにはなるんじゃないかと。また書き起こしをする際のドラフトに使ったらゼロから手で起こすよりは楽になるんじゃないかとか。精度は録音状態にも大きく左右されますね。今回は10年以上前にとったもので撮影機材は定かではないですが、DVだったような気がします。取り込んだ動画の音声はPCMでしたが途中不可逆圧縮を経たか不明。いずれにせよアップロード段階でMP3にしちゃいました。WAVのままで短い区間で試したサンプルはもうちょいマシだったような気もしますが定量的には比べてないです。別件で携わっている教室のディスカッション起こしは別グループの声とかノイズが多いので話者毎に口元マイクを使って別トラックでとるということをして、精度を追求していますが、UTの実務現場ではなかなか現実的ではないかなと。なるべく高音質に録って、そのままWatsonにいれるのが良さそう。その意味でツール2をセッションレスからセッション通信に再実装して100MB以上のアップができるようにしておきたいところです。
ツール1、2はもう少し整備してから公開しようと思っています。コードが汚いと叩かれそうだけどソースごとGitHubにあげましょうかね。誰かが活用＆改善してくれることを願って。まずは多少のセットアップはいとわないので試してくれるクローズドβテスターさんがいたらお声がけください。
本記事のトライアルにあたっって、羽山さん（@storywriter）の記事を大変参考にさせていただきました。この場を借りてお礼申し上げます。また今度是非Watsonトークしましょう！
以前からセミナー資料とかに使いたかった図解資料を作成しました。絵心がないので、いつか誰かにお願いして描いてもらおうと思ってたんですが、ふと思い立ってとりあえずいらすとやさんのグラフィックを使わせていただきPowerPointの吹き出しパーツでお手軽に。いやぁ、いらすとやさんはなんでもあるなぁ。
ユーザテスト（UT）をしている時に、被験者の人はこんなに様々な不安と負担を追っているんで、モデレーターさんや実験計画立てる人はそれを意識して軽減してあげるよう気配りをしましょう、という啓蒙の図です。解決方法はケースバイケースで、調査目的とのトレードオフを図りながあら考える必要があるので、あえて触れていません。問題提起、問いかけのみです。あなたならどうしますか？
ついでにこちらはモデレーター（進行役）もこんなに同時に色々気にしなくちゃならなくて大変なんです。周りがカバーして負荷分散しましょう的なバージョン。
うっかり16:9で作ってしまいちょっぴり汎用性に難アリですが、とりあえず公開。どうぞご自由にお使いください。出典として「道具眼」をクレジットしてもらえると嬉しいです。また改変、翻訳などもご自由に。いいのが出来たら是非教えてください。
元のパワポデータはGitHubに置いてみました。
前回のエントリーでSENTRY GAMING EYE TRACKERの概要を紹介しましたが、引き続き詳細として録画／配信ツールであるOpen Broadcaster Software (以下OBS）の最新版、OBS Studioを使ったセットアップの概要と注意点を紹介します。
その前に、ごたくはいいからサンプルを、って方の為に最新の録画サンプルを。
前回は出力フォーマットや解像度設定がイケてなかったのでやや低画質のものになりましたが、今回はドットバイドット解像度、mp4出力したものをトリミングして掲載します。時節柄iPhoneのケースを探してみました。あんまりつぶやけなかったので音声は無しです。
今回の知見としては、
など。
まずSENTRY GAMING EYE TRACKER（以下トラッカー）の基本設定を済ませます。そっちも付属マニュアルでは情報が乏しくて、慣れないと苦労しそうですが、それはまた機会があれば別途ということで。概略としては、
たぶんこんな感じだったかと。
たくさん製品名が出てくるのでもう一度まとめておきます。
販売商品としてのアイトラッカー製品の名称です。Tobii社のEyeXトラッカーにSteel Seriesのソフトウェアを組み合わせたパッケージです。
ゲーマー用品ブランドSteel Seriesの統合管理ツール。同社のゲーミングマウスやキーボードなども設定できます。SENTRYGAMING EYE TRACKERも同社製品の１つなので、このSSE3を使ってドライバーなどを管理します。
Tobii製ハードウェアとしての付属ソフトです。SSE3を入れてトラッカーを接続すると自動的にダウンロード／インストールが促されます。ユーザ毎の視線計測のキャリブレーションを行います。またこのツールだけでも画面に視線マーカーを表示することができます。ただそれだとユーザーテスト時に被験者が自分のマーカーをリアルタイムで見てしまうことになりますので、動作確認用という感じです。
なおSSE3もOBS StudioもMac版があるんですが、このEyeXがないばかりに現状Windows専用となっているようです。
トラッカーの設定が終わるとSSE3の上に表示されるアプリです。EyeXが検出した視線を直接画面に表示せずOBSなどの対応ソフトにレイヤーとして渡す役割をもちます。マーカーの見た目の設定などもここが担当です。
通常の画面キャプチャーとSETNRY STREMING OVERLAYからの視線レイヤーを重ねて、録画や配信をするビデオミキサソフトです。上記ツール群との直接の関係はなく、他にも選択肢はあります。ただこちらがフリーで機能も充分そうなので取り上げています。
さて、初期設定が完了したSSE3はこんな感じ↓。SENTRY STREAMING OVERLAYという項目が表示されています。
それを開くと設定画面が現れます↓。
残念ながら「チュートリアルを見る」をクリックしてもNot Foundページが表示されるだけです。「視覚化」のところでマーカーのデザインを選び、左のプレビューで確認できます。
「ゲームキャプチャー」でモニタ全体か特定アプリかを選択します。ここでは「モニター」をチョイス。
「ロゴの配置」では透かしの位置が選べますが、透かし自体不要なので「透かしの無効化」をチェックし、「保存」。
最後に右上の「ストリーミングのオーバーレイ」スイッチをオンにしてウインドウを閉じます。SSE3のウインドウも邪魔なので閉じておきます。
ようやくOBS Studioの準備に入ります。原稿執筆時点のダウンロードページはこんな感じ。左側のWindows用OBS Studioをダウンロードし、インストールします。
初期起動画面はこんな↓。
とりあえず「シーン」は忘れて最初からあるものを使います。その下の「ソース」という部分に画面キャプチャーと視線レイヤーを追加します。まず「ソース」の白枠の中で右クリックし、「追加」から「画面キャプチャ」を選択。
こんなダイアログが出るので、そのまま「OK」。
画面キャプチャの詳細画面が出ます。マルチモニタ環境の時は、トラッカーを取り付けたモニタを選択します。「カーソルをキャプチャ」は文字通りの意味です。ユーザテストなら入れておいが方がいいでしょう。
同様に「ソース」の「追加」から「ゲームキャプチャ」を選びます。今度はわかりやすいように名前を「視線キャプチャ」とでも変更します（しなくてもいいです）。
するとまた「ゲームキャプチャ」の詳細設定画面になります↓。
ここではまず「Mode」を「Capture specific windows」に変更。すると「ウインドウ」欄が選べるようになるので、「[SSOverlay.exe]: SteelSeries Sentry Streaming Overlay」にします。さきほどSSE3上に出ていて、マーカーのデザイン設定をしていたアプリ名ですね。他には「透過を許可」にチェック。こっちでは「カーソルをキャプチャ」はオフでいいでしょう。
ここまで終えると、OBS Studioのメイン画面がこんな感じになっているんじゃないでしょうか↓。「ソース」には「視線キャプチャ」と「画面キャプチャ」が並び、上に視線マーカー入りで画面全体のプレビューが映っている感じ。ソースは重ね順を示していいるので、画面キャプチャより視線キャプチャの方が上にいる必要があります。
また「マイク」は被験者の声のレベル、「デスクトップ音声」はWindows自体が発する音（動画の再生音など）のレベルを示しています。適切にレベル調整しましょう。「シーントランジション」はここでは放置でOKです。
プレビューが正しく表示されない場合は、ここまでの設定を見直してみてください。上手く表示されていたら次は録画や配信の「設定」に進みます。
「映像」設定画面で保存／配信される「出力（スケーリング）解像度」を選択します。基本（キャンバス)解像度」と同じにしておけばドットバイドットです。下のふたつは画質と負荷のトレードオフで色々調整の余地がありますが、とりあえずそのままで。
今回は配信は置いておいて、録画についてだけ。「出力」設定画面に行きます↓。
まぁ、お好みやニーズ次第なんですが、とりあえず「録画フォーマット」は標準のflvよりもmp4が良いでしょう。HLSストリーミングサーバーにアップロードできるm3u8形式もあります。ファイルの保存先として残量が充分にある場所を「録画ファイルのパス」で指定します。
エンコーダーは「x264」、「ハードウェア（QSV）」、「ハードウェア（NVEnc）」などが環境によってあったりなかったりだと思います。ざっと違いを説明すると、
どんな環境でも利用可能。ソフトウェア（CPU）で圧縮します。画質は良いですがCPU負荷が高いです。非力なPCだったり録画対象が高負荷の3Dゲームだったりすると動作に支障が出るかも知れません。発熱量なども増えがちなので長時間安定して稼働できるかしっかり事前に検証しましょう。
ここ数年くらいのIntel製CPU（CoreシリーズやCeleronなど）に搭載されたハードウェア支援機能です。感覚的にはWindows8世代くらいならまず対応してるんじゃないでしょうか。逆にAMD製CPUのPCだったりすると使えません。
こちらもここ何年かのNVidia製グラフィックボード／チップGeForce搭載機で利用できるハードウェア支援機能です。比較的お高い目のものならノートPCでも対応していたりします。まぁ、そういうクラスならそもそもQSVにも対応してますが。もしお使いのデスクトップ機のCPUが古いIntel製だったりAMD製だったりしてなおかつx264では充分な性能が得られない場合、グラフィックボードをNVenc対応のGeForceにしてみるのも手かも知れません。なおGeForceならなんでもいいわけではないのでご注意ください。
ということで、まぁQSVやNVEncが使えるなら使っておいた方がCPUの負荷が抑えられてオススメです、というところです。
さて、ついにここまでで一通りの設定が完了です。OBSは設定を記憶してくれるようなので、最初に設定を決めてしまえば、後は楽だと思います。さぁ後は「録画開始」を押せばOKです。
基本的な設定ができていて視線マーカーも出る時は出るんだけれど、やってるとちょいちょい行方不明になる、という不安定さがある場合は、EyeXでのキャリブレーションに問題があるのを疑ってみます。
タスクトレイのEyeXアイコンが白丸２つの時は両眼がきっちり計測できています↓。
これが白丸１つ（片眼のみ認識）や「××」になってるとトラッカーが目を見つけられていないということになります↓。頻繁にこれが起きてるようだと再調整が必要です。
再調整の入り口はちょっとわかりづらいです（最初はウィザードでなんとなくできてしまうんですが…）。EyeXアイコンをダブルクリックすると、こんな画面がニョキっと出てきます↓。
一番下の濃い黒の部分をクリックすると今度は左にニョキっとサブメニューが出てきます↓。
ここで「Test your calibration」を選び、全画面のテスト画面になったら右下の「Recalibration」を選びます。ここで黒い枠に目を表す２つの円が出ますが、この色がグレーの時は距離が遠いです。くっきり真っ白くなる距離に近づいてみます。また画面をまっすぐに見た時に円の位置が極端に端に寄っている場合はモニタの角度を変えてみると良いようです。視線の向きに対して画面が垂直になるようにしてみてください。普通は液晶って机上面に対して垂直にしがちですが、少し上向けにするか、モニタ自体を高い位置にすると良いでしょう。
ユーザビリティ業界やWeb界隈にいれば、アイトラッカー／アイマークレコーダーについて一度は耳にしたことがあると思います。文字通り視線をセンシングしてモニタのどこを見ているかを判別するデバイスです。心理学レベルでいえば、視線が向いていることと“見て”いることとはまた別なんですが、まぁそれでも「ここのボタンは一瞬たりとも視線が向いてないな」的なことはユーザーテストで調べられるので、UI評価手法として一定の認知度はあります。ただあんまり一般的でない理由として装置がお高い、というのがありました。老舗Tobiiの製品なんかはシステム一式でン百万するんですよね。そのくせソフトが専門的でちょっと難しかったり、なにより出てくるデータの扱いが難しい。視線の座標ログが生で出てきてもHuman Readableではないので、ヒートマップと言われる画面写真に視線対流位置を可視化した映像を出力してくれたりはするんですが、じゃぁそれをどう扱ったらいいか悩ましい。先に書いたように「ここのボタンは一瞬たりとも視線が向いてないな」は見ていて言えるんだけれども、じゃぁ何秒滞留してればいいんだとかあまり根拠のある定量化が難しい。専門でやってる方に言わせればなにかしらの指標があるかも知れませんが、個人的には冒頭に書いたように究極的には身体レベルの視線と認知レベルの注意の相関ってそんなには高くないと思うので、やっぱり「ふーん」位の納得感しか得られないんじゃないかと。そして、この「ふーん」という微妙な納得感にン百万とかなかなか出せないのが実情でした。また、ユーザ毎にキャリブレーションという初期設定作業が必要で、貴重なセッション時間が数分消費されるというデメリットもあります。
σ(^^)も長いユーザビリティ屋人生の中で、アイトラッカーを使った評価は2,3度しか経験がありません。クライアントが持ち込んだ機材を使ってデータはとったけど、あとはクライアントが持ち帰ってゴニョゴニョした、とか、それこそ「ふーん」で終わったもののみです。
ただじゃぁ被験者に「ここのボタン見てました？」って聞くのもビミョーで、見てなかったけど見たって言っちゃったりその逆もあったりと精度に限界があります。これは被験者が故意にウソをつくってことではなく、ヒトの記憶の精度の限界というか、人間はそういうことを正確に思い出して言葉にすることがそもそもあんまり得意じゃないということが心理学的にわかっています。「一昨日のお昼ご飯のメニューを思い出すまでの過程をあまさず説明してください」と言われても難しいですよね。無意識でやってることを言葉で説明するのは大変だし、仮にできてるつもりでも結構あやふやで不正確である、ということを示す心理学研究はたくさんあります。
あとはまぁ、「見てたか否か」のクローズドな再認課題ではなく、「ここになにがあったか」をオープンな再生課題として聞くという手もあります。以前、事後アスキングで肝心な部分にボカしを入れた画面写真を見せて、なにがあったか／なんて書いてあったか、を問うという手法を考案したことがありました。アイトラッカーよりもう少し認知レベルに踏み込んで、理解や記憶も込みで測定できる点が優れていると思います。
ただいつ聞くのかが悩ましいですね。一度聞いたら次から「あ、そういうこと後でテストされるのね。次から意識して憶えとこう」と警戒されてしまうかも知れません。
さてまぁ色々なやり方にそれぞれ一長一短あるわけですが、ともかくアイトラッカーは長年コスパが大きな障壁でした。そこに颯爽と登場したのが今回ご紹介するSteelSeries社のSENTRY GAMING EYE TRACKERというわけです。
サムネイル写真みてもなんだこりゃって感じですが、ありもののモニター下部に貼り付けて使うUSB接続のアイトラッカーデバイスです。SteelSeriesは知る人ぞ知るゲーミングデバイスの海外ブランドです。ガチゲーマー／eスポーツ向けのマウスとかマウスパッドとかマニアックな製品を作っています。そこが入力デバイスの1つとして発売したのが本製品です。ゲーム用品と聞くとオモチャ的な響きがありますが、競技ゲームはミリ秒のレスポンスを競う世界で、マウスにCPU搭載してたり、摩擦抵抗を究極まで減らしたマウスパッドとか、BUFFAL○やサンワ○プライとは次元が違うもの作りをしている界隈です。そんなブランドが出した製品なので、なんとセンシングエンジンやドライバーはあの老舗Tobiiが担当しています。というかたぶんTobii自身が開発社向けに販売していたTobii EyeX ControllerのOEM品にゲーム用ソフトをバンドルしたものでしょう。EyeXはGoogle Glassなどと同じ開発者向けという位置づけでついぞ一般向け販売はされていなかったと記憶しています。その同等品がいつのまにやら日本のAmazonでも気軽に買えるようになっていた、ということで、これはレビューせねばと脊椎反射的に購入してしまいました。
原理的にはKinnectとほぼ同じです。アレの焦点距離が短くなった感じでしょうか。ハードウェアとしてはWindows向けで、USB3.0とCore i5程度の処理性能が必要とされています。逆にいうとそれを満たしていればノートPCでもOKということですね。対応モニタサイズは27インチまでとされています。
ただしソフトウェアは基本ゲーマー向けのもので、即ユーザテストに使えるヒートマップツールが付属しているわけではないので注意が必要です。標準のTobiiドライバーで視線位置を画面上に表示はできますが、それだとユーザテストでは被験者自身にも見えてしまい違和感ありまくりです。こっそり録画または配信する画面にだけ合成するには適切なソフトと組み合わせる必要があります。その辺りは後述。
現在Amazon.co.jpの価格は2.5万円ほど。本家公式では€139.99に値下がりしているようなので、海外取引を厭わない人は個人輸入も有りかも知れません。
背面はこんな感じ↓。中央の膨らんだ部分が斜めになっていて、この面でモニタ下部につきます。つまりレンズが顔を見上げる形になるわけです。実は最初なかなかσ(^^)の目を拾ってくれなかったんですが、モニタがデスクに垂直になっててカメラが顔を向いていませんでした。視線に対して液晶画面が垂直になるくらいにすると、このセンサーも顔の辺りを見てくれるようになるイメージです。
左右の濃い色の部分がマグネットで、付属の金属プレートをモニタ側に貼り付けておけば、簡単につけはずしができます。スリムとはいえ、更にスリムな最近のノートPCの狭額縁液晶では表示部分にかってしまうのは否めません。小さいスタンド穴らしきものが2つありますが規格は不明です。
こちら↓がその金属プレート。裏面に粘着テープ付き。2枚付属。あちこちで使うにはちと心許ないです。まぁいざとなれば両面テープとかでも問題ないと思います。
端子はなんとminiUSB↓（PSPとかPS3コントローラーで使うヤツ）。最近あまり手元にないことが多いですね。できればmicroUSB（AndroidやPS4コントローラーで使うヤツ）にしてほしかった。というかminiUSBでUSB3.0なケーブルなんて存在するんですかね。とりあえず付属ケーブルはかなり長い上に太くて曲がりにくくて扱いづらいです。そして市販品では2本ほど試した限りでは認識しませんでした。付属ケーブルはたぶん無理矢理USB3.0で認識するようカスタマイズされてるのかも知れません。
そして装着した状態ドン↓。机汚いってツッコミは無しで…
27インチまでとのことでしたが34インチ超ワイドでも一応キャリブレーションできました。ただし湾曲モニタなのでマグネット板のくっつきがいまいち。お手持ちのモニタの額縁下部の平滑さをチェックしておくと良いでしょう。たいていロゴバッチがついてるところです。このモニタも結構額縁細いのでちょっとはみ出してる（画面に食い込んでる）感あります。やはり前述のネジ穴を使ったスタンドなど欲しいところです。
ちなみにWindows10に搭載された生体認証基盤のWindows Helloに対応しており、普段は顔認証カメラとしても利用可能です。Windows Helloの顔認証は顔写真で不正アクセスされないよう、立体物としてデプス計測が行えるカメラが必須なので、普通のWebカメラではダメなんですよね。Windows10が出て1年余、ようやく試すことができました。
てことでとりあえずそれっぽい動画を作って見ました。先に書いた通り、録画や配信機能があるソフトが付属されていません。もちろんデータ解析なんかもできません。しかしフリーソフトでもとりあえずこんなことはできますよ、っていうサンプルとして、今回はOpen Broadcaster Software（以下OBS）Classicを使ってみました。詳しい手順やオススメ設定などはもう少し検証してから別途記事にしたいと思います。
OBSはこれまたゲーム配信用のビデオミキサー的なフリーソフトで、こいつからみると本機のドライバーが吐き出すマーカーが透明レイヤーとしてインポートできます。これを画面キャプチャと重ねて配信したり録画したりするわけです。配信はTwitchやYouTube Liveなどに送信したり、自前のRTSPサーバーを用意して使うこともできます。録画はmp4やflvなど配信でよく使う系のフォーマットが選べます。エンコーダーはソフトエンコーダーのx264に加え、Nvidia NVEncやIntel QSVのようなハードエンコダーが使えます。なので、最近めのGeForceやIntel Core系CPUを使っていればCPU性能が劣るノートPCなどでも比較的負荷を抑えて動かすことができるでしょう。フリーなのにスゴい！
お待ちかねの動画がこちら。自分で少しの間適当にWebをブラウジングしたものです。設定間違えてflvで録画したせいか画質がイマイチですが、ボリュームなどのUI部品を操作している時はちゃんとそこを見ていることになってたり、精度はまずまずじゃないでしょうか？一度画面外にバヒューンと飛び出していくのは、そこにある操作パネルを見てしまったからです。それ以外はちゃんと追えてる気がします。ほとんどしゃべってませんが、Windowsが出力する動画再生音と、マイクの音がミックスして録画できています（これって普通の画面録画ソフトでやろうとすると結構面倒くさかったりするんですよね）。
もちろんこれは操作者の画面には表示されていません。録画を開くと入ってるという感じなので、ユーザーテストの被験者にも見えてしまうなんてことはないです。
とりあえず、標準モノで完結はできないものの、追加費用なしでこんな映像は撮れますよ、というデモでした。OBSには最近ゼロから新規で開発されているOBS Studioというバージョンもあったりなので、そこら辺を追々検証していきたいと思います。また今回はCore i7/GeForce GTX1080級のデスクトップ機で試しましたが、より非力なノートPCでも動かしてみたいと思います。乞うご期待。
開発ツールの都合で、動画眼はじめ当サイトで配布するWindows向けツールの配布方法を従来のSetup.exeインストーラーを利用する形式から、ClickOnceというブラウザからインストールする形式にシフトしていこうと思います。そこで、馴染みのない方向けに簡単な説明をば。
ClickOnceはMicrosoftの開発ツールVisual Studioに含まれる配布形態で、以下のような特徴があります。
など双方にメリットがある方法となっています。
動画眼を例にとって説明します。配布ページのインストールリンクを辿っていただくとこんなページが出ると思います。
「インストール」ボタンをクリックするとsetup.exeがダウンロードされ実行されます（ブラウザの設定によっては警告が出ると思いますが、実行を許可してください）。
続いてこれまたWindowsのバージョンやセキュリティ設定、対策ソフトの状況にもよるのですが、未署名配布なので警告がでると思われます。Windows10の場合を例にとると、こんなダイアログが出るはずです。
「詳細情報」リンクをクリックしてもらうと、下のように「実行」ボタンが現れます。
インストーラーであるsetup.exeと、インストール後の実アプリの初回実行時の計２回この操作が発生します。お手数ですがご勘弁ください。２回目の実行を許可していただくと、従来通りの画面が起動すると思います。
アップデート版がサーバーに公開された場合、起動時に「利用可能な更新があります」というダイアログが表示され、「OK」ボタンを押せば最新版がダウンロードされます。いちいちブラウザで当サイトにアクセスして最新版をダウンロードする手間がありません。もちろんそこで「スキップ」もできます。
一度最新版にしたものの不具合があるので前バージョンに戻したいという場合、Windowsのコントロールパネル「プログラムと機能」から１つ前のバージョンに戻すことができます。下のように「道具眼」を右クリックして「アンインストールと変更(U)」を選びます。
そうするとこんなダイアログが出ます。この例では前バージョンが保存されていないのでグレーアウトしてますが、存在する場合は「アプリケーションを以前の状態に復元します。が」が選択可能になっているはずです。
当面、問題が指摘されてない限り、順次このClickOnce方式にしていこうと思います。
昨年共著で機材周りのことを書かせてもらった「マーケティング／商品企画のためのユーザインタビューの教科書」でも「マイクをケチるべからず」ということを強く書かせていただきました。UTにせよインタビューにせよ、（映像はまだしも）音声が聞き取りやすくないと分析のストレスが半端ないです。また実査中の観察者、記録者、翻訳者、クライアント、そして「もっと大きな声で」と言われる被験者、それを言わされるモデレーターと全員が不幸になる。それがマイクです。
たまたま我が家に新しい洗濯乾燥機が届いて、いい感じに乾燥中の音がしていた上に、上面がまだ片付いていたので、機材をありったけ持ち込んでWebページを朗読する声を録り比べて見ました。
声もちょっと歪んでて聴きにくい気がします。
モードはおまかせから会議、音楽など色々なモードがあり、今回はインタビューモードで収録。AGCというレベル自動調整はオン。LPCM録音もできますが今回はMP3/320Kbpsです。
思ったより環境ノイズを拾います。ハイレゾ対応ICレコーダーとしては環境音まで忠実に拾うのは正しい姿ですが、「インタビューモード」としてはもう少し人間の声に絞ってくれるといいなと思います。ただ再生時にはクリアボイスというノイズキャンセル機能があったり、付属のWindowsソフトでも同様の処理をして再生できます。残念ながらノイズを除去した状態で保存はできなそげ（かなり不満）。
さすがに声に歪みはなく聴きやすい方かなと。
SONYのビデオカメラは外部マイクがつなげられるので純正のBluetoothマイクを愛用していますが、これはいつのまにかひっそりバッテリーが切れてて無音状態になりがちなので、それを回避したくて先日SX2000を購入しました。単にバックアップとして録音しておくも良し、CX670はマイク端子もあるので、内蔵マイクの代わりにSX2000をつないでミキシングすることもできます。この辺りの使い勝手は次の実査で試してみたいと思っています。
Windowsノートはもっとずっとヒドいものもあるので、実査に先立ってよくテスト録音してみてください。
やはりゲインは高め。ノートPCのマイクでは拾えない小さい声もしっかり拾います。ただし環境音もそれなりに入りますね。Macで使う場合専用ドライバを使わないので、Windowsでドライバを入れた上で使う場合に比べるとノイズ除去が弱いのかも知れません。ちょっと今回はそこが比べ切れてません。下位機種のc270は相変わらず2,000円しないでコスパ高いので、なかなか予算ないけどWidnows内蔵マイクもちょっと、という人にはまずオススメ。下手なアナログマイクより少なくともゲインの面では有利です。
さすがにノイズカットはほぼ完璧。反響音もせず「狭い部屋で録ってるな」という風景が綺麗さっぱり断絶されています。ビデオカメラCX670と対極の音作りというか、とにかく電話会議専用ですね。これだけ加工しまくってるのに声として不自然さが感じられないのがスゴい。すべてハードウェアで処理しているので、USB通って出てくる音がこの音質で、CPU処理の負荷もないし専用ソフトウェアのセッテイングも不要。できれば後継モデルではこのサイズ感のままアナログ出力をつけてほしいです。そしたらビデオカメラの外部マイクとしても使えるのに。
いかがでしょう？どれも短時間だし原稿が同一なので、一旦内容を把握してしまえばトップダウン認知で聞き取れてしまうとは思いますが、これが長時間になってくると疲労度合いが違ってきたりすると思います。またこれははっきり聴きやすいペースで意識して朗読していますが、たまたま話者の声が小さかったり早口だったりすると更に聞き取りは難しくなると思います。また環境音的に狭くて反響音が入りやすく、”机”自体が盛大にノイズを出しているという劣悪な環境ですが、実際にも空調の音なんかがやたらうるさい会議室で実施することもあったりするので、あながちあり得ないセッティングでもないんじゃないかと思います。
というわけで、個人的イチオシはYAMAHAのPJP-10URです。PCで録画する場合は迷い無くこれ。電源もUSBバスパワーでとれるので、増える荷物はこれとUSBケーブルだけです。ただビデオカメラなどにアナログで入れたい時は使えないので、コストとサイズが問題ならなければ上位機種のYVC-300なんていいんじゃないでしょうか。複数話者の声の大きさも平均化してくれたりするそうで、個人的にもいつか欲しいです。
2009年に購入したHandyCam CX520Vから現行のCX670に買い換えてみました。主な理由はユーザテスト（以下UT）ではAVCHD形式の録画データが扱いづらくMP4で直接録画できるものにしたかった点。画質的に4KはおろかフルHDが必要になる場面もなく、むしろPC上で再生や管理がしやすいMP4（H.264）の方がメリットが多いんですよね。さりとてスマホやデジカメだと光学ズームが弱かったりマイク端子がないなどの限界もあるので、やはりビデオカメラでとなりました。
で、いつものワイヤレスマイクが使えるSONY機でとなると自然とCX670とあいなりました。本機の特徴として、
など。ユーザテストで重宝する外部マイクが使いやすい上、現場で録画ファイルをクライアントに渡したりしやすいのが嬉しいです。CX520Vだと今やマイナーなminiB端子のUSBケーブルが必要だった上に、AVCHDなのでそのままUSBにコピーしても扱いづらく、またサイズも無闇に大きかったんですが、本機なら本体から生えるUSBケーブルを直接先方のPCにさしてMP4だけもってってもらうか、USBメモリなどを預かってVMC-UAM2経由で直接接続し、本機からの操作で書き出しを行えば済みます。
また今時のWi-Fi＆アプリ対応も。iOS/Androidアプリで撮影中の画像をリアルタイムに見ることができ、観察室でのモニタ用にも適してるかなと。
直生えのUSBケーブル。使わない時はストラップ部分に差し込んでおける！
規格こそ代替わりすれど、多機能シューは健在
最近の機種では本当に珍しいアナログマイク入力とヘッドホン端子。テスト機材としては地味に嬉しい。
先日実査で早速利用する機会があったのでその感触をば。
まず想定外だったのはスマホプレビュー機能では音声が飛ばなかった点。ようするに遠隔ファインダー＋再生／停止操作のみって感じですね。一般ニーズとしてはそんなものかも知れません。カタログみて勝手に音声も出るもんだと思ってました。これは別途策を講じる必要があります。また鉄筋であろうオフィスビルで、３室またいだらさすがに電波が届かずでした。あとストリーム接続中は本体の液晶画面に映像は出ず操作もできなくなるので注意が必要です。仮にタブレットなどを観察室などに設置した場合、そちらからしか録画停止もズームもできなくなり、ちょっとカメラを移動なんて時にも画角を確認することすらできなくなるのが地味に不便ですね。
またワイヤレスマイクは専用アダプタが必要でしたがインテリジェントシュー世代のものが問題なく使えました。ただ随分スリム化されてるし、いずれ余裕がある時にECM-W1Mに買い換えたいところです。
またAVCHD設定をスタンダードにしたままだったので90分ｘ３セッション目で残量不足になり止まってしまいました。わかってて買った部分ですがやはりMP4のみのモードが欲しかったです。とりあえず次からAVCHD最低画質設定で臨みます。ちなみに本体操作で削除は別になっていて、MP4を残してAVCHDを消すことは可能。むしろ知らない人は片方だけ消して知らないうちにデータが残ってるなんてトラブルになりそうなUIです。
バッテリーはモバイルバッテリーをつないでおいたところ問題なく撮りきることができました。三脚から下にケーブルがのびないので、ちょっと位置を変えるなんて時にモビリティが上がって良かったです。三脚穴とネジが上下についたようなモバイルバッテリーがあれば、一体感があっていいのになぁなんて思ったり。ともあれUSB 5Vで給電できるということは荷物が減って助かります。
MP4オンリーモードがないのと、スマホプレビューで音声が飛ばなかったのが大変残念ですが、UT用途としては必須な外部マイクが使える点、データの受け渡しがやりやすい点でかなりオススメできる機種だと思います。
携帯電話関係のユーザテストで操作画面の撮影には長らく写ミールという製品が使われてきました。しかしいい加減アナログコンポジット出力では画質もスマフォアプリ等高精細なものを撮るには不足がちですし、なにより8mmビデオやDVDにSD画質で撮っていた時代と異なり、いまやコンポジット入力がある録画デッキ自体が入手困難です。PCにUSBアナログキャプチャユニットをつけるなど面倒が多いのです。Macだとその選択肢すら見つけるのが難しいですし。またスマートフォンの液晶のフレームは年々細くなってきており、写ミールのクリップで掴めるだけの太さがないものも珍しくありません。iPhoneではまぁ掴めるんですが、そこに照度センサーがある為、画面が暗くなってしまうなどの影響も。
というわけで長らく代替手段が望まれていて、自分でも「おっ！」っと思う商品が出る度に購入を検討していたんですが、なかなか決め手に欠ける状態でした。そしてついに「これは！」と思えるものを見つけ、購入してみたところ、かなり良かったのでご紹介。IPEVO社のiZiggi-HDという書画カメラシリーズです。
σ(^^)が購入したのは、このワイヤレス対応モデル（ワイヤレス非対応の下位モデルは後述）。特徴は、
など。例えば、Wi-Fiで使う場合、コイツがWi-FIアクセスポイントとして動作します（デフォルトで暗号化無し）。MacやiPadから、こいつが発するESSIDにつなぎ、アプリを起動するだけで自動的にカメラを発見して映像が出ます。MacアプリだけでなくiPadアプリでも録画できるところがスゴいです。形式はMP4。Windows版はWMVのようです。iPadはマーカー機能で画面に書き込むこともできますが、たぶん録画には反映されません。AirPlayでリアルタイムにプロジェクターなどに映しながら書き込みをする用です（書画カメラなので）。Macアプリで1024×768設定で90分のセッションを撮ったところ500MBとなかなかコンパクトでした。なお1600×1200だとブレがヒドくスワイプなどの素早い動きが追いきれない感じでした。800×600など更に低い解像度も選べます。USB接続ならそういう遅延も少ないかも知れませんが、試してないです1024×768のWi-Fi経由で充分安定して録れてました。またマニュアルには複数台同時接続は非推奨となってましたが、MacとｉＰａｄから同時アクセスしても見えることは見えました。進行役用と観察室用が別々に映せるのは重宝しそうです。素晴らしいのは、オートフォーカスの再フォーカスボタンと、露出調整がアプリ側から遠隔操作できる点。スマフォとの距離がかわってピントがズレたり、画面表示内容の明るさで白トビなどが起きた時に、遠隔からさっと直せます。被験者の眼前のカメラ部分を触らなくて済むわけです。また畳むと結構コンパクトで、現場やプレゼンの場に持っていくのもさほど苦ではないです。写ミールほどコンパクトでもないですが、逆に電源なども必要ないのでさっと取りだしてすぐ使えるのがいい。
なお、こいつがワイヤレスポイントになってMacなどをクライアントとしてつなぐ場合、当然ながらそのままではそのMac達はインターネットにはつながりません。記録用と割りきるなら問題ないですが、同時にネットにもつなぎたい場合、本機をアクセスポイント動作ではなくWi-Fiクライアントとして動作させて既存ネットワークにぶらさげるか、本機の有線LANポートにイーサネットケーブルをつないでやる感じになるみたいです。前者は軽く試してみたもののつながらないことがありました。後者は未テストです。
またマイクがないので、別途用意が必要です。Macアプリだと音声入力ソースを選べるので、マイク端子になにかつなぐなり、WebカメラなどのUSBマイクをつなげば、それを動画とミックスしてMP4に落とせます。Mac本体を被験者の真ん前に置く場合は内蔵マイクでもいいですが、そうでない場合は（下手なアナログマイクをマイク入力端子につなぐよりも）LogicoolのC270（の内蔵マイク）あたりを使っておくのがオススメ。
2017.7.6追記: ごめんなさい、マイクついてました。
ワイヤレスタイプはバッテリーでも3時間ほど駆動できるので、短時間の使用であれば、コレとiPadだけあれば最低限使えてしまうというのがスゴいですね。カメラロールに保存されるので、そのまま「おやゆびでお」ですぐ再生でき、回顧法にも便利です。
ちなみに専用アプリを入れなくてもブラウザで10.10.10.1にアクセスしてadminパスワードを入れるだけでも一応映像は映ります。ただし録画ができません。
またσ(^^)は直接買って試してないですが、iPadとかにWi-Fiでつながらなくていい、USBしか使わないよ、って人には２番目のが少し安いです。Wi-FiとかDHCPとかよくわからん、って人はUSBに絞った方が無難かも知れません。先日セミナーで一度だけクライアント側のアプリからつながらなくなりました。本機を再起動したら直りましたが、実査中に冷静に対処できる人向けという部分はあります。＞ワイヤレスモデル
また、プロジェクター等に直接つなげるD-Sub（アナログRGB）出力がついたモデルVZ-1もあります（3番目）。セミナーなんかでとにかく大写しにしない、って時はこれがいいかも知れません。実際先日やったセミナーであるといいなと思いました。それ以外の場合は、一旦PC/Mac/iPadに写して、それをなんらかのインターフェイスでプロジェクターに映すという２ステップが必要になります。どれもカメラ部分は同じなのでニーズに合わせて選ぶと良いでしょう。
どれを選んでも写ミールより安いというところがミソです。写ミールには散々お世話になりましたが、さすがに世代交代でこれが新しいデ・ファクトになりそうな予感がします。
σ(^^)もちょこっと執筆に参加した「マーケティング／商品企画のための ユーザーインタビューの教科書」がマイナビさんより発売になります。フリー仲間の奥泉直子さん始め、学生の頃からアニキ分でRICOHやAdobeといった名だたる会社で実務をしてきた山崎真湖人アニキ、古巣のU’eyes Designで10年以上リサーチキャリアを積んできた三澤直加さん、伊藤英明さんといったインタビューリサーチの達人のコラボです。σ(^^)はユーザビリティ（ユーザテスト）専門でインタビューといっても若干毛色が違うんですが、機材やインタビュールームの準備や工夫についてちょこっと書かせてもらっています。
オンデマンド印刷＋電子版というやや特殊は販売方法のレーベルとなりまして、下記サイトにて先行予約を受け付けています。発売は２０１５年５月２１日に決まったようです。
【先行予約】マーケティング／商品企画のための ユーザーインタビューの教科書
先行予約特典として、
と大変お得になっていますので、振るってご予約くださいませ。
また、他の電子書籍プラットフォームでも順次販売予定のようなので、ご愛用のプラットフォーム／アプリ／端末で読みたいという方は少々お待ち下さいませ。詳細が判明次第告知いたします。
