間違いだらけのネットワーク作り(1010)2018/04/14
「AIの適合率と再現率」

  東京の天気は下り坂のようですが、おだやかなのんびりした土曜日です。 先週のこの時間はキャンパスプラザ京都にある喫茶室でコーヒーを飲んでいました。 先週土曜日に開催した第19回京都研究会は昨年より10人多い、43人が参加しました。 最年少はNTT西日本の女性社員で24歳、最高齢は講師の一人である有賀さんで70歳でした。 平均年齢は40代後半だと思います。 第1回の時から来ているNTTグループ京都組がコアなメンバーですが、当時新入社員だった彼らが今や課長クラスの中堅社員になりました。 京都研究会が続けられているのは京都組の塚田さん、藤井さん、指方さん、岸野さん等のおかげです。 来年は20回の節目なので盛大にやりたいと思います。



「AIの適合率と再現率」
   

京都研究会での私の講演の中からスライドを2枚紹介します。



これらはこの1年ほどの間に私が読んだAIの本です。 「最強のAI活用術」は元NEC社員である野村さんが書いた本です。 実際にAIを使っている人でないと書けない具体性があり、実用的ノウハウが書いてあっていい本です。 しかし、講演の中では「70点」と言いました。 理由は完結した事例が書かれていないからです。 AIの使い方や留意点を医療画像を例に詳しく解説しているのですが、実際、それを使って画像診断する病理医の生産性がどれだけ上がったのか、書いてないのです。

たぶん、まだ成果があがっていないんじゃないか、と思いました。 この本を読んで分かるのはディープラーニングのような機械学習を使って効果がどれだけあるかは、やってみないと分からない、ということです。 AIスピーカーの音声認識のように完成度が高く、簡単な用途であれば最初からメリットが得られますが、医療画像の病理診断やコンタクトセンターの会話解析のような分野では成果を挙げるのは容易ではないようです。

この本の中でこれは役に立つ、と思ったのがAIを評価する適合率、再現率という2つの指標です。



適合率とはAIの出した答のうち正解の占める割合です。 医療画像によるがんの診断を例にすれば、AIががんと診断したうち実際にがんだったものの割合です。 100人の画像を見て8人ががんだと診断し、実際に8人ともがんであれば適合率は100%です。 再現率とはAIが出した正答が、存在するすべての正答に占める割合です。 がんの診断で言えば100人の対象のうち10人ががんであり、AIが10人のうち8人をがん患者と診断したのであれば再現率は80%です。 再現率は実際の正答をどれだけカバーできるかというカバー率と言えます。

がんの診断のように見落としが許されない用途では適合率の高さより、再現率の高さが求められることは明らかです。AIが100人の画像を見て、12人ががんだと診断しそのうち10人が実際にがん、2人はがんではないと、適合率は83%です。 しかし、10人の患者ぜんぶを見つけているので再現率は100%。 病理診断ではこういうAIが求められます。


*ここに書いてあることで質問、ご意見などありましたら掲示板かメールでお知らせください。 

  情報化研究会掲示板

 tuguhiro@mti.biglobe.ne.jp



ホームページへ