13. ユーザからのフィードバックは「誠意」と「精度」にご注意を
〜 それらを向上させる工夫も含めて
- Designers are not slave of Users' Voice. Select'em with care.

　我々は日々の評価業務の中で、様々な形でユーザからのコメントを受け取ります。ユーザ・テストの被験者の発話プロトコルや事後アスキング、インタビューやアンケートで聞かれる意見などです。これらユーザからの生の声は決して軽んじることがあってはいけないものですが、一方で、そのまま鵜呑みにすることの危険性も認識しておく必要があります。今回はその危険性について、「誠意と精度」（韻を踏んでいてちょっとウレシイ）という観点から考察してみたいと思います。

■ユーザの「誠意」

　「ユーザのコメントは誠意に欠ける」なんてと書くと失礼な物言いに聞こえるかも知れません。ただ、もし自分がさして興味のない事柄に関して、突然街頭で面識のない人からアンケートの協力を求められた場合を想像してみて下さい。たまたま時間があったり、図書券がもらえたり何か賞品が当たるかも知れないというのでやってみてもいいと思うかも知れません。さて、あなたはその時どのような心持ちでそれに臨むでしょう？誠心誠意、真剣に質問の意図するところを吟味して取り組みますか？

　「銀行のATM操作を難しいと思いますか？」というアンケートをしたとしましょう。その次には「はいと答えた方は、具体的に説明を記述してください」というのが待ちかまえています。これで100人中80人が「いいえ」と答えたとして、世の中のATMのユーザビリティは大方オッケイと言えるでしょうか？もしこれを急ぎ足で街頭で歩く人達を捕まえてお願いする形で実施したとしたらどうでしょう。もしσ(^^)がそういうシチュエーションで比較的興味が薄い分野（例えば定期預金や積み立てなど）のアンケートにつかまったら、とりあえず「その理由は？」なんてついてない方を選ぶでしょうね。どっちを選んでも、長々と詳細を記述してもしなくても、もらえる謝礼は変わらないですもん(^^;)。それがもし保険商品に関するアンケートだったとして、「保険料の安さと補償の内容のどっちを重視しますか？」なんて質問だったら。当面興味がないのでどちらとも言えませんね。どうしても１つ選ばなければならないとすればとりあえず「安さ」と答えとくかも知れない。あるいはたまたま右側で手の移動量が少ないから「補償」を選ぶかも知れない。当面興味のない事柄に、ただ謝礼につられて付き合う側の心理なんてそんなものではないでしょうか。

　確かにある種の印象調査などでは回答者があまり深く考えずに直感的に答えた内容こそが重要である場合もあります。サンプル数を膨大にすることで、なんらかの傾向を把握するのに役に立つこともあるかも知れません。しかし、ことユーザビリティに関する調査の場合、そういった形での役に立ち方はあまり想定できないのではないでしょうか。

　例えばデジタルカメラの開発現場で「写真を複数枚選んで一気に消す機能は必要か？」なんて議論があるとしましょう。じゃぁこれをユーザに問うてみようということで、アンケートに「欲しい／いらない」という選択形式で載せてみましょう。あるいは欲しい機能にチェックをしてもらう形式もよくある形ですね。このようなアンケートを実施すれば、「何人中何人は欲しいと答えた」という「数値データ」は得られるでしょう。ただこれを解釈するにはちょっと立ち止まって、その時回答者がどういう気持ちで回答したかを想像してみる必要があります。たぶん中にはこんなのもあるでしょう。

　みんながそっくりこの通りに考えて「はい」に○をつけるとは限りませんが、もしその機能をつけることで定価が\1,000高くなったり、操作ボタンが２つ増えても買ってくれるだけの「熱意」のこもった「はい」なのかどうかを振り返ってみることは無駄ではないはずです。

これらを同列に扱っていいのでしょうか？
裏切りの香り漂う「はい」の例	”情熱的な”「はい」の例

■ユーザの「精度」

　一般的なユーザからのユーザビリティ上のフィードバックに不足するもう１点は「精度」です。もともと道具の「使いやすさ」なんて誰にでも厳密に判断できるという類の話ではありません。

　比較的機械操作の苦手な人はとく「ボタンが少ない方が良い」と口にします。しかし機能数が一定でボタンを少なくした場合、操作ステップが増えるのが常套です。このようにデザインの様々な側面いはトレードオフが存在します。もちろん、設計技術やデザイン上の工夫で、そういったユーザの率直なニーズに応えられるならそれは素晴らしいことですが、開発上の大目標として、ユーザが述べる方向性に向かって盲進して良いとは言えません。

　σ(^^)達の過去の研究（脚註）で、あまり詳しくないユーザが最初に抱く「使いやすそうさ」の観点が、少しの時間、製品に触れるだけで変化する傾向が示されています。このことは、実際の製品に触れさせることなく単なるアンケートなどで収集した意見を鵜呑みにすることが危険であることを示唆していると考えられます。

　また評価対象ではなく、過去の自身の振る舞いに関してのコメント求めるにしても、その精度に不安が残ることは、心理学や認知科学の多くの研究事例が明らかにしています。

　大学院時代にこんなことがありました。ある学部生の卒論グループがリモコンの使いやすさを取り上げることになって、先生がまず彼らのリモコン利用度について尋ねたところ、全員があまり使ってないと答えました。ところが後日、自室で使っているリモコンを持参させて個々のボタンについて説明を促したところ、普段の利用エピソードを交えてお互いが雄弁に語り出したのです。

　つまり、本人の中に眠っている記憶の充分な想起を促すには、単に質問を聞かせたり読ませたりするだけではなく、「場作り」などの工夫が必要であると言えそうです。

■少しでも「誠意」と「精度」をあげるため

　今回のテーマは、一般ユーザのコメントは役に立たないから、やっぱり開発方針は開発メンバーで決めてしまえ、ということでは決してありません。製品の開発において、ユーザの意見は絶対に無視できません。ただ、「デザイナーはユーザの奴隷ではない」（言った人の名前、ド忘れ）のです。混沌としたユーザからのコメントから、有益なものをフィルタリングしたり、そもそも最初から少しでも有益なコメントが得られるように尋ね方に工夫の余地がある、ということが論点です。

　ではまず、有益なコメントのフィルタリングはどうしたら良いでしょう？σ(^^)達は、少なくともその回答者がどのような状況でそれに答えたかまでは込みで吟味する必要があると思っています。その製品への知識や興味の程度、その場の雰囲気、時間的制約、報酬などです。それらも併せて分析することで、その意見がどれくらい真摯なものかを測る目安にできると思います。

　例えば、同じ意見でも、アンケート中に選択式で「はい」に○印つけたのと、わざわざサポートに電話や手紙で送ってよこしたのでは当然重みは全く違ってきますね。

　σ(^^)達が普段実施するテスト中のアスキングでは、極力選択式を避けたり、理由の詳細な記述と組み合わせたりするよう心がけています。100人中何人が「はい」に○をつけたかではなく、5人の人にその詳細を詳しく尋ねる事を重視します。

　一方、そもそも最初から有益なコメントをもらえるような状況設定にもいくつか工夫をしています。よく、ユーザテストは「全くの素人でも使えるかどうか」を検証したくて、今までにそのカテゴリの製品に全く興味をもったことすらない人を呼びたくなります。ですが、本当に今までそれを買おうとすら思ったことがない人は、実はあまり適した被験者とは言えないんじゃないかと思っています。とりわけユーザニーズの聞き取りなどには不適だと言えます。今までカーナビを欲しいとも必要だとも思ったことない人に、「どんな機能があったらいいと思うか」、「値段はいくらくらいなら許容できるか」などと聞いたとして、その答えの誠意と精度は如何様なモノでしょうか？

　誠意の問題でいえば、案外身内から被験者を募ることが有効ではないかという気がしています。社員の家族や友人などに被験者をお願いすると、彼らは義理のようなものを感じて、比較的真剣にタスク遂行や回答に取り組んでくれます。もちろん身内故のひいき目などのバイアスは極力捨て去ってもらうよう教示しなければなりませんが。

　また先のリモコンの例は、単に人間の記憶の「精度」が不足しているというだけでなく、手元にまさに使っているリモコンがあることで、それが触媒となって記憶が想起されやすくなるという人間の認知特性を示唆しています。実機を目の前にする、自室など普段の利用場所／利用シーンで回答してもらう、などの工夫も有効でしょう。

　最近ではこのようなコンテクスト重視の気運として、エスノグラフィー（民族誌学）的アプローチが注目を集めています。エスノグラフィーというと厳密には参与観察といって、観察者自身が観察対象に影響を与えないように外部から観察するのではなく、対象の集団にまじって内部的な視点から観察、記述をするというニュアンスがありますが、ユーザビリティ調査のコンテクストではそこがキモというよりは、とにかくユーザが実際の生活の中で製品を使っている場面を長期的に観察しようよ、ってくらいの意味合いのような気がします。普段使ってる場面とは違う場所に呼び出して短時間アンケートすることから得られるものって限られてるよね、ってとこから来ています。あぁ、でも参与観察というか、積極的に観察中に質問や議論も積極的にするのはおおいにアリです。以前のコラムで、「ユーザテスト中に発話を強制すると被験者の思考に影響するからダメ」と書きましたが、目的が達成度の評価ではなく、潜在ニーズの掘り起こしであれば、むしろ積極的に「今、そういうやり方をしたのは何故ですか？」などと聞いていくべきです。まさにその場、その瞬間に尋ねるのがもっとも正確（マシ）なコメントが得られるチャンスなのです。

　じっくり時間をかけて少数のユーザの行動を観察、分析するという評価手法は、実際の開発現場の限られたリソースの中では難しく、またユーザビリティ評価に特化した適当な入門書も（多分）まだないなど、色々障壁は高いのですが、グループウェアのような集団で利用するシステムなどの開発では事例もぼちぼち出始めているようです（あの手のソフトは開発規模が大きいですし）。

　σ(^^)達の実際の受託業務でもなかなか実施させてもらえないですが、「エスノグラフィー・アプローチで評価」とまでは言えないまでも、そのコンセプトは常に取り込んで行きたいと思っています。