富士通や富士通デザインが、聴覚障害のある人のために、室内や建物内で何が起こっているのかが分かるようにするシステムに挑戦している。室内や建物内に小型マイクを設置し、チャイムやドアの開閉音といった環境音をAI(人工知能)で認識し、光や文字を使った独自の情報端末にビジュアルで表示する。

ダイニングで音が発生したときのパソコンの表示画面を壁に投映したところ。どこでどの音がどのくらいの音量で鳴っているのかを、部屋を見下ろした格好で表示。家の環境に合わせてレイアウトも自由に変更できる
ダイニングで音が発生したときのパソコンの表示画面を壁に投映したところ。どこでどの音がどのくらいの音量で鳴っているのかを、部屋を見下ろした格好で表示。家の環境に合わせてレイアウトも自由に変更できる

 2016年度から総務省の関連事業として進められているこのプロジェクトが対象としているのは、補聴器などでも補えない重度の聴覚障害のある人。「環境音の共有を図ることで、聴覚障害がある人と周囲の人とのコミュニケーションを高め、生活の向上を目指す」と富士通マーケティング戦略本部ブランド・デザイン戦略統括部エクスペリエンスデザイン部の小野晋一氏は説明する。

 AIで環境音を認識させるといっても、簡単ではなかった。周囲の雑音もあり、環境が変われば認識できないこともある。どんな環境下でも、例えばドアのノックを正しく認識できるようにするため、何度も試行錯誤を重ねてきたという。

右から可搬型の情報端末、AIを搭載したマイク内蔵の情報端末、据え置き型の情報端末。いずれも環境音に応じて光る。話し声は緑色、チャイム音は赤色、水の音は水色、アラーム音は黄色で表示。それぞれの情報端末をニーズに応じて組み合わせながら使うこともできそうだ
右から可搬型の情報端末、AIを搭載したマイク内蔵の情報端末、据え置き型の情報端末。いずれも環境音に応じて光る。話し声は緑色、チャイム音は赤色、水の音は水色、アラーム音は黄色で表示。それぞれの情報端末をニーズに応じて組み合わせながら使うこともできそうだ

平均認識率は91.8%を達成