図書館情報学を学ぶ

はてなダイアリーで公開していたブログ「図書館情報学を学ぶ」のはてなブログ移行版です。

情報推薦アルゴリズムの効果をどう評価するのか

以前このブログでも紹介した『集合知プログラミング』を読みつつ、細々とデータマイニングの勉強を続けているこの頃です。それに関連して情報推薦についての研究動向についても調べていたりしているのですが、そうしていくうちに疑問に感じることがありました。
それは、情報推薦アルゴリズムの有効性を正しく評価できるのか?ということです。アルゴリズムというと、素数の判定やソートなどが思い浮かびますが、その場合の有効性はいかに少ない時間で計算結果を出せるかという、定量的な尺度で評価することが可能です。しかし情報推薦の場合は効率性ではなくユーザーの明示化できない欲求に応えることという数値化しにくい目的であるので、果たしてそこで導入されるアルゴリズムの有効性はそもそも評価できるのだろうか?と思うのです。
情報検索のアルゴリズムの場合は、適合率と再現率の2つの尺度によって評価することができます。適合率とは「検索結果中の正解文書の割合」、再現率とは「正解文書のうち、検索結果に出現した(正解とみなされた)文書の割合」を表し、それぞれ正確性と網羅性を評価する尺度として機能します。この場合は、正解の文書を判定する基準が十分に明確であることが前提となるでしょう。
しかし、情報推薦の場合は、そもそも何を推薦すれば「正解」となるのか、明確に判断することはできないのではないでしょうか。これが私の疑問です。
素人考えでは、情報推薦を評価する方法には次の3点があるのではないかと思います。

  1. 統計学的手法:事前に用意した「正解のパターン」を予測することができるかを検証する
  2. 心理学的手法:ユーザーに利用してもらい、その満足度や行動について調査する
  3. 経営学的手法:クリック数、PVなどのアクセスデータの増加分で検証する

他のアルゴリズムの評価と近い手法としては1が、より本質的な手法としては2が、Amazonなど実践での手法としては3が対応するのかと思います。しかし、いずれにしても「その推薦手法でどれほどユーザーが有益な情報を得られるのか」という本質的な問いに答えられていないような気がします。
私が勉強不足なだけにすぎないのだと思いますが、どうも情報推薦の評価に関する論文でも上記の点ではっきり答えが出ていないような気がしてしまうのです。
この疑問に対してクリアな回答ができるという方は是非コメントなどをいただければと思います。