​download

ナレーション

SHPメディアラボ教授で、画期的な音声インターフェイス研究者として知られる草深裕(クサフカヒロシ) 氏が、コンピュータ・ヒューマン・インターフェース学会で、最高の名誉である「名誉研究賞（Honor Research Award）」を受賞しました。

草深氏はノンパラレル音声合成の変換モデル*VVAE(Voice Variational Auto Encodeの略)を開発し、ノンパラレル音声データを教師信号に、音声の性質を保持したまま、声質のみを対象の話者に変換するという技術を確立させました。Vocoderによって入力話者の音声特徴量を抽出し、特徴量を変換し、合成するというシステムは、変換モデルはCVAEを用いているため、ラベルを指定してそのデータを生成できる初の教師あり学習モデルです。その技術を応用し、特徴量の座標を画像変換しそれを視覚で捉え、脳で瞬時に知覚し声を発生させると言う技術を開発し世界で注目を浴びています。

草深氏の30年にわたる研究活動を支えたエネルギー源は何なのか、彼は一体何者なのか─本日は佐々木行ったインタビューの模様をお届けします。

草深

私たちがその人を認識するとき、その全ての体系は、第一印象で決まるとも言われています。その認識プロセスの中で、100%のうち視覚情報（Visual）は55％、聴覚情報（Vocal）は38％も占めています。私たちは視覚と同時に聴覚を大切にしてきました。あなたにとって今の私はどう写っているでしょうか？

（カメラが被写体から徐々にズームアウトしていき、研究室の椅子に座った草深の背中が写る。やがて草深は角度を変え、こちらの方向を向いた。）

現在、イルカがどのような周波数音波を通じてどのようなコミュニケーションをとっているのか、と言う問題はまだ完全には解かれていません。しかし私たちは少し知恵を振り絞ってそのコミュニケーションの方法をズルして再現する方法を思いついたのです。音声データをフーリエ変換で性質変換させる方法はみなさんご存知ですか？Vocoderによって入力話者の音声特徴量を抽出し、特徴量を合成する。ただこの技術は機械を通してではないと実現できません。あなたが携帯から変換された音声を聞くように。私は今音声変換技術を使ってその方式であなたに話しかけています。私はある事件で声を失っていてそれ以降はこの技術を用いて会話をしています。しかし、それでは通訳アプリケーションを使っているのと何ら変わりはありません。私たちの目指すものは変換ではなく、もう一度自分の声を取り戻すこと。つまり、生得的な、生まれ持った資質のような声の機能をもう一度植え付けると言うことです。みなさんもご存知の通り声は波です。声帯が震え生み出した振動を音として捉え、それを聞いて私たちは自分たちの声を識別しています。しかしその声を使わず周波数だけを用いコミュニケーションをする方法を思いついたのです。

どのようにズルをしたのかというと、私たちがどう声を認識させ、どう知覚するかの前提を少し変えてみたのです。少し込み入った話になるのですが、フーリエ変換を使うことで時間領域の情報を周波数領域の情報に直せると言う技術があります。この表現では、中心に近いほど低い周波数・遠いほど高い周波数の成分を含む画像として可視化されます。私たちはその理論を応用しました。脳で信号化された周波数を画像化させそれを口から放射します。そしてその周波数の画像を認識する技術を脳内にインプットし、瞬時に周波数が脳内で変換されると言う方法です。

佐々木

現在カナダでは熱波症候群という声を失う不明の病が蔓延していますよね。異常気象による熱波が原因だとされていますが、草深さんのこの研究が今大いに期待されています。今後この技術が世界で適応されることが出来るのでしょうか？　また、最初の目的は、音声変換エフェクトのエンジンの開発でしたよね。なぜ、それを応用しようと思ったのですか？

草深

研究の方向性を変えたのは少し込み入ったきっかけがあったのです。これから私が話す話は、少し信じ難いかもしれません。正直今でもあまり上手く噛み砕けていません。ただこの事件は私の中で最も不思議で最も強烈なものだったと記憶しています。

私は長期休暇で山を訪れていました。私はハイキングやら登山やらの類のものが好きで、よく外へ出かけるんです。数年前の夏はかなり猛暑で徐々に気温が上がっていった年ですから、都心よりも森の方へ、リトリートしようと考えたんです。木陰の林道の風は爽やかで冷たい風が肌を攫い、マイナスイオンを感じる引き締まった空気が体に染みました。鳥はおおらかに歌い、聳え立つ山々は雄弁に緑を輝かせこちらに迫り来るような佇まいでした。その時はこの後何かが起きるようなおかしな予兆などなくそれはとても穏やかなものでした。その後、確か午後五時半ごろだったと思います。日が少し傾きだし、地平が黄金色に輝き出す頃、私は感じたことのない暑さを感じました。それもじんわりと感じる暑さではなく、瞬間的なもので、大きな打撃を与えられたような、鈍器で殴られたような暑さだったのです。言葉では形容し難いですね。とにかく味わったことのない暑さだったのです。暑いというよりかは、熱。燃えるような一瞬でした。しかしそれはわかりやすい現象ではありませんでした。なぜなら周りの植物は生き生きと葉っぱを繁らし、木の葉をふるわせています。川の音とひぐらしの音、それに鳥の声だって聞こえます。もちろん周りの自動車や人工物の影響だろうと考え周りを見渡しました。しかしそこ一帯に人工物らしきものはなく、ただ一辺に林が目の前に広がっているだけなのです。どうしたものかと私も頭が混乱しました。もしかすると大気の影響かもしれないと感じガスや有機物の毒性も疑いました。しかし色の変化や異臭はなく、むしろ空気は透き通っていました。そこで自分の体調がただ悪いだけなのかもしれないという可能性に気づきました。そこで私は宿泊地であった3km先のログハウスに帰ることにしました。森のはずれから道路のある方向に向かって歩き始めました。そこに人影はなく何事もなかった佇まいです。多分歩き始めて十五分ほどのことだと思います。目の前にものすごい勢いで走ってくる車を見かけました。普段目にするような車でなかったのでものめずらしく見つめていたのでその時のことはよく覚えています。しかし私に近づくにつれて速度が緩むようでした。まるで私を目掛けて止まるかのように。恐ろしいことに予感は的中しました。その車は私の隣でエンジンを止めて、静かに止まりました。道にでも迷ったのでしょうか。私はその運転手に話しかけてみることにしました。窓をノックしてすぐに驚きました。１８、１９の少年がこちらを睨みつけていたのです。特に装飾品はなく質素な格好をしていましたが、手には火傷のようなものもありました。ただ様子が少しおかしかったので意識を確認するように私は声をかけました。どうかされましたか。と。しかしその少年は、口は動いているのに声は出ていませんでした。私はなるべく読唇術を試みました。しかし何も読み取れませんでした。なぜなら日本語とは別の言語を話しているように思えたからです。やがて私の意識が朦朧としてきました。先程の熱のせいか、焼け焦げるような内部の暑さと、めまい感に襲われました。少年は一歩もそこから動かず、ただただ私を車内から睨みつけているだけなのでした。

気がつくと私はログハウスにいました。確か二十時ごろだったと思います。気を失ってから数時間後のことでした。周りには誰もおらず暗闇のログハウスの静寂だけ確認できました。私は起き上がり、始めてそこで自分が声を失ったことに気づいたのです。

私はこの森で熱波による大災害が起きていたことをその後知りました。六十度以上の熱波に３か月以上も見舞われ多くの被害者が生まれました。地球温暖化が起こした事態と説明されていましたが、科学者は直接的な原因はわからず異常気象としか説明しなかった。一部ではあったが熱波が引き起こした有機的な毒のせいであることは間違いないと当時は報じられていました。しかし不思議なことにこの大災害は私の訪れた１ヶ月後に起こったのです。私はその事件と私自身の声の喪失の関連性を強く疑わざるを得ませんでした。