間違いだらけのネットワーク作り(147) 2000/09/30
「音声品質の評価」

研究会のFさんから、”ITPROの「IPネットが苦手なもの」を読みました。 このMさんって、松田さんのことですよね。” http://itpro.nikkeibp.co.jp/free/ITPro/OPINION/20000922/3/
というメールをいただきました。 そうですね、Mは松田のMです。 しかし、私が言ってないことまで言ったかのように書いています。  記事を書いた林さんは情報化研究会の古いメンバーです。 「目的と手段の取り違え」といったホームページの内容と、飲みながら話した内容がミックスされていますが大部分は創作です。 記者の意見を書くコラムなのでそれでいいと思います。 でも、Fさんは良く気づきましたね。

内容はともかく、文中の中華料理屋はおすすめです。 虎ノ門の「ゆう園酒家」(ゆうという字は諭に似た字)tel:3580−0701です。 ピリカラ系の台湾料理で、冬に向かうこれからはカキがお勧めです。 ここで飲むのは青島ビールと紹興酒。 青島ビールは何だか気の抜けたような味ですが、抜けているのが好きなのです。 値段も手ごろ。

10月14日の土曜研究会の講師が確定しました。 現時点で25人参加申し込みが来ています。 会場が40人の会議室ですので40人になったら受け付けを締め切ります。 掲示版で活躍している方では「間違いだらけのYさん」が出席します。

第8回情報化研究会土曜研究会
1.対象  情報化研究会会員
2.日時  平成12年10月14日(土) 14時より
3.場所  NTT葵荘 港区赤坂1−5−11
       tel03−3583−7655
4.プログラム
14時−15時30分 「L2−VPNの現況と今後の展望」  CWC 水落さん
15時30−17時  「L3−VPNの現況と今後の展望」  NTTコミュニケーションズ塚田さん
17時−17時30分 「最近のネットワークの話題」 モデレータ 松田
17時30分−19時 懇親パーティ
5.会費
・講演のみ 3000円
・講演+パーティ 6000円
6.申し込み
メールで松田まで。

音声品質の評価

先週から今週にかけての掲示板の話題では音声品質の評価が充実していました。 皆さんよく勉強してるな、と感心しました。 東陽テクニカの伊藤さんや最初の質問を投げたTomozoさんは測定機器メーカーなので当然といえば当然ですが。 皆さんの関心が高いようなので、今回は音声品質の評価についてのまとめと+αを記事にします。

1.音声品質評価の種類
○主観評価−−−人が実際に聞いて評価
   MOS(Mean Opinion Score:平均オピニオン評点)ITU−T勧告では0から4の5段階で評価
○客観評価−−−音声品質を測定器で数値化して評価
   遅延、音の明瞭さ、エコーといったパラメータを評価する。 PSQM、PAMSはともに音の明瞭さを評価する。 VoIPの音質にもっとも影響の大きい遅延は評価できない。
   PSQM(ITU−T P.861,Perceptual Speech Quality Measurement)−−−0から6.5のスコアで明瞭さを定量化。 入力信号と出力信号の差分を知覚モデル+認識モデルで評価。  遅延ゆらぎがあると正確性がそこなわれる。
   PAMS(British Telecomが提案,Perceptual Analysis Measurement System)−−−MOSを推定。 入力信号と出力信号を比較するのはPSQMと同じ。 

2.MOSをうのみにしないこと
MOSはベンダーのセールス・トークなどでもっともポピュラーな評価方法です。 しかし、そもそもITU−Tの0−4の5段階でなく、1−5の5段階で評価しているケースが多いようです。 うっかり、ITU−T標準の評価だと勘違いすると大変な過大評価になります。 0−4の評価なのか、1−5なのか確認する必要があります。 たぶん、どちらか自分でも分からないセールスマンが多いのではないでしょうか。

「良い」=3、または「非常に良い」=4と評価した試験者が50%あるときのMOSは2.5です。 NTT等の固定電話サービスはMOS2.5以上、携帯電話は2.5未満です。
固定電話と比べて明らかに劣るVoIPの音質を「MOSは3.7です」などと宣伝しているベンダーは、ウソだろ?と疑ったほうがいいのです。 仮に1−5段階評価としてもITU−Tの2.7相当ですから、固定電話より良い音質、ということになります。 そんなこと、ウソに決まっています。

3.ユーザの納得はどうすれば得られる?
MOSやPSQMは製品を選択する時の目安にはなるかもしれません。 しかし、現実のVoIPやVoFRのネットワーク構築では「ユーザの納得」がすべてです。 MOSやPSQMなど無意味です。 どんなにMOSが悪い製品を使ったネットワークでも、「この音質でいいよ」と納得いただければOKなのです。 これについては情報化研究会のメンバーでIBMのKさんのメールが記憶に残っています。 「音声品質を評価するのはMOSではなく、BOSS」、ユーザのえらい人がOKか、NGか決めるという意味です。 言いえて妙だと思いませんか?

ユーザが納得しないのは○発注時の音質評価基準=VoXXをこれで良しと検収する基準を満たしていない、○そもそもベンダーが考えなしで音質評価基準をはっきりさせていなかった、○そもそもユーザが考えなしでVoIPでさえあればいいと思っていた、といったケースが考えられます。 あとの2つは論外というものですが、論外な人が多いのが現実です。 論外は相手にしないことにして、「発注時の音声評価基準を満たす」ということを考えてみましょう。

発注時に音質評価基準を決めるのはMOSやPSQMでは困難です。 ベンダーがよくやるのは、デモや部分的な導入で音声をユーザに聞かせ、ベンダー「この音質でどうでしょう?」、ユーザ「これならいいよ、発注しよう」というものです。 デモや部分的導入の音質が完成したネットワークの音質評価の基準ということです。 そしてユーザにとっても、ベンダーにとっても不幸が始まる。 私も5年前にはやりました。 すぐ止めました。 「間違いだらけ」でも何回か書きましたが、

○デモや部分的導入の環境と実際の環境では規模も、トラヒックの流れ方も、PBXや電話機、周辺環境・・・あらゆる条件が違う=同じ音質が出るわけが無い

ということです。 100拠点のネットワークで、全拠点の音質がいい、ということはありえません。 では、どうすればユーザの納得が得られるのか? ネットワークが完成してから納得してもらおうとするのが間違いです。 発注前にVoXXの音質は固定電話より悪いこと、拠点によって音質にはバラツキが出ること、を納得して貰う必要があります。 事前の音質確認はユーザと同等規模以上の稼動済みのネットワークを見学して貰うのがいいでしょう。 
 
 

ホームページへ