道具眼 [ home | contact us ]
道具眼コラム [ index | << |21 | 22 | 23 | 24 | 25 ]

23. 進行役しながら観察記録もとれちゃう観察シートの開発
〜 手書きの限界を極めよう
-


古田一義
2003年12月14日

■紙か、PCか?

 皆さん、ユーザテストの観察記録ってどうされています?紙に記録している人、PCに記録している人、色々いらっしゃるかと思います。σ(^^)は紙派です。字が汚いので、普段の会議などはノートPCで記録をとるんですが、ユーザテストだけは紙の観察シートを使うようにしています。マジックミラー越しの観察室で記録する場合と、被験者さんの目の前でモデレーター(進行役)をしながら記録する場合とでも適不適はあるかと思いますが、それぞれざっと以下のような特徴があると思います。

紙の観察シート電子記録(エディタ、表計算ソフトなど)
長所
  • スケッチ、サインを交えることができる
  • 取り回しが楽
  • データをレポートに流用しやすい
短所
  • 後の拾い読みが大変
  • 被験者の前でカチャカチャ打つのは威圧感がある
  • 立ち姿勢で観察できない
  • 電源が取れないところで使えない

 ユー・アイズ・ノーバスのようなあらゆるジャンルの製品を評価するところと仕事をしていると、コピー機のように座って評価できないものはもちろんのこと、駅の券売機などノートPCの電源を取ることすら難しい現場も少なくありません。カーナビの実走行テストなど、ノートPCなんて使ってたら酔ってしまって観察にならないなんてことも。そういった場面では、やはり紙(+クリップボード)の手軽さは、他のデメリット込みでも捨てがたい魅力があります。少なくとも被験者の前に寄り添うモデレーターはやはり“紙”ではないかというのがσ(^^)の持論なのです。

■理想の観察シートとは?

 σ(^^)自身、モデレーターを担当することが多いこともあって、とりあえず紙ベースの観察記録シートをもっと効率化できないかと常々考えます。以前にもチェックボックスを使う手法をまとめて学会にも発表しました。今、あれを更に発展させたものを次のHIS2004あたりにもっていこうと仲間達と画策中です。

 現状、我々が使っている観察シートで感じる不満点は、テスト後のデータ・マイニングです。テスト中にモデレーターや観察者が記録した記録は、記録者数×被験者数に分散して保存されています。紙だけに一括検索をかけるというワケにも行きません。結局、分析段階で目を通されないままのシートも出てきたりと無駄が多いんですよね。また、ある被験者が興味深い言動をした時に、次の被験者からその発生率をカウントしておきたいと思うことがあります。つまり、チェックボックスを足したいワケですが、たいてい観察シートはその日の分くらいはまとめて印刷済みだったりするので、結局同じメモを取り続けて後で数えることになります。

 その辺りの不満を、ツールとしての紙を改良することで解消できないかと思うワケです。さしあたって、セッション毎にシートを替えるという習慣から脱却してみようかなと思っています。前のセッションのメモに書き加えていくことで即席カウンターになるでしょうし。ただ、習熟度などの被験者属性が重要で、しかもセッション実施順がバラバラなケースでは、どのメモはどの被験者のものか区別できるような工夫は必要でしょうね。ペンの色を変えるとか、せめて属性別ではシートは分けるとか。この辺り、すでに実践しておられてノウハウがある方がいらっしゃいましたら、是非お聞かせいただければと思います。

 もう一点、紙であることの宿命、字を書くことそのものにそれなりに時間がかかることです。これに関しては、ユーザテスト観察記録専用の速記法を策定することで解決を図っています。こちらで随時要素案を追加、整理中ですので、ご興味があれば、コメントなどいただければと思います。

■モデレーションと観察

 この議論を仲間内でしていると、「そもそもモデレーターに観察記録の負荷をかけすぎるのはどうよ?」という意見も出てきます。確かにモデレーションという役は実は結構大変で、観察記録の手間で本来の役回りがおろそかになってしまってはよろしくないでしょう。モデレーターはモデレーションに集中し、観察記録はマジックミラーの向こうで選任者が頑張る、というのが理想だとは思います。ただ、実際の現場ではいつもそれだけのバジェットが確保できるとは限りません。RITE型の取り組みをするための最小人数は少ない方が良いはずなのです。理想のテスト環境が揃わず、すべての問題点をすくい上げることができないとしても、やらないよりはやっぱりやるべきですよね。

 開発者自身が仕様策定に悩んだ時、ふと思い立って自分がモデレーター兼観察記録係、後はその辺で被験者つかまえてきてテストする、そんなことができたら素敵じゃないですか?


コメント、叱咤、激励、議論、補足
こんにちは。はじめてコメントさしあげます。

低予算案件が多く、最近はほとんどモデレーター兼観察記録係であるため、自分も紙に書くことがほとんどです。でも、確かにあとで意味不明な部分もあったり、被験者によって不ぞろいで困りますね。力ずくでビデオ見てレポートしたりして(泣)。

表情をあらわす顔マークなどをシール化するなどということも考えたのですが(シートからはがして貼り付けるという動作を考えると結構時間がかかってしまうかも)、速記法は考えつかなかったです。次回からいろいろ工夫してみようと思います。

はじめまして。
なるほど、シールですか。後の視認性は高そうですね。シートからはがすのが大変なら、スタンプみたいなのはどうでしょうね。たいこバンみたいなのがないと、すぐに思ったハンコが作れないのが難点ですが。あと、たくさんのハンコ並べてモデレーターしてたらアヤシイかも(^^;)。

使える速記記号ができたら是非教えて下さいませ。

最近、コメントスパムがひどいため、投稿機能を休止させていただいています。
do-gugan column [ index | << |21 | 22 | 23 | 24 | 25 ]
do-gugan project [ home | contact us ]