手話をリアルタイムで文字に 「みんなで育てる」計画が始動

  • ブックマーク
  • メール
  • 印刷
シュアトークの画面。上の自治体職員の音声と下の聴覚障害者の手話がそれぞれ文字に変換され、右側のチャット上に表示される=ソフトバンク提供
シュアトークの画面。上の自治体職員の音声と下の聴覚障害者の手話がそれぞれ文字に変換され、右側のチャット上に表示される=ソフトバンク提供

 手話ができなくても、聴覚障害者とリアルタイムでコミュニケーションがとれる。そんな時代が、すぐそこまで来ている。ソフトバンクと電気通信大(東京都調布市)は、AI(人工知能)の技術を使って、手話を日本語の文字に変換するシステム「シュアトーク(SureTalk)」を共同開発した。障害者雇用が進む中、円滑な意思疎通は職場でも最大の課題であり悩みでもある。現在、スマホアプリで手話の動作データを広く募っている。みんなで一緒に育てるプロジェクトだ。

5秒で手話が文字に

 千葉県習志野市役所の障がい福祉課。向かい合って座る職員と聴覚障害者それぞれの目の前に、カメラを搭載したパソコンとタブレットが置かれ、シュアトークの画面が映る。左側に健聴者の職員と聴覚障害者の姿、右側には会話がチャットで表示される。

記者もシュアトークを使ってみたが、最初は文字変換がなかなかうまくいかなかった。認識されやすい手話のコツをつかみ始めると、徐々に文字に変換されていった=千葉県習志野市で2021年11月5日、大谷麻由美撮影
記者もシュアトークを使ってみたが、最初は文字変換がなかなかうまくいかなかった。認識されやすい手話のコツをつかみ始めると、徐々に文字に変換されていった=千葉県習志野市で2021年11月5日、大谷麻由美撮影

 「どうされましたか」。健聴者の音声も文字に変換する機能が備わっており、職員が声をかけるとすぐに文字が出た。聴覚障害者はタブレットに向かって手話で話しかける。5、6秒後、チャットに「障害者手帳をなくしました」と文字が出た。「再交付の手続きをします」。会話は続いた。

 「手話を読み取る力がどれくらいなのか想像できなかったが、思った以上に早く文字に変換できてすごい」。試してみた聴覚障害者の感想だ。途中、「分かりました」という手話が認識されず、職員が「もう一度お願いします」と繰り返す場面があった。また、聴覚障害者同士での手話に比べると、この日は会話した分量も少なかった。だが「システムがもっと向上すれば、問題なくコミュニケーションできるようになるのでは」と期待する。

 習志野市役所職員で手話通訳士の資格を持つ阿部恵子さんは、手話通訳者を準備しなくても、また筆談に頼らなくても、対面したまま即座にコミュニケーションできる利便性を説く。「今後は福祉関連のイベントなどで理解と協力が広がっていくといい」と話す。パソコンなどの端末が2台あれば簡単に設置でき、現在は習志野市役所のほか、水戸市役所、調布市の社会福祉協議会など全国11カ所の公共施設に、試験的に置かれている。

会議から取り残され

ソフトバンクのシュアトーク課担当課長、田中敬之さん=同社提供
ソフトバンクのシュアトーク課担当課長、田中敬之さん=同社提供

 ソフトバンクでシュアトークの開発が始まったのは2017年秋。新規事業のアイデアコンテストで採用された。提案した一人で、現在シュアトーク課担当課長を務める田中敬之さんは、聴覚障害者のメンバーを含めて話し合いをする際のコミュニケーションに、悩みを抱えていた。

 音声を随時、文字変換していくアプリの技術は日進月歩で、かなり正確に文字化できる。聴覚障害者はその文字を読みながら話し合いに加わるが、会議の流れの方が文字変換よりも速く、タイムラグが生じてしまう。発言しようとしても、話題が先に進んでいて、取り残されてしまうことが多かった。情報量の差で理解が追いつかなかったり、誤解が生じたりもした。「聴覚障害者ともっとリアルタイムで会話したい」という思いがきっかけだった。

 厚生労働省が5年ごとに実施する「生活のしづらさなどに関する調査(全国在宅障害児・者等実態調査)」(16年)によると、聴覚・言語障害者数は34万1000人、うち聴覚障害者数は29万7000人を数える。推計になるが、20~69歳の聴覚・言語障害者のうち企業で働いている人は3万8000人に上る。職場での円滑なコミュニケーションは、多くの企業が抱える課題だ。

課題は「データ不足」

 シュアトークはAIの技術を使う。手話の始まりと終わりは、膝の上に手を置くことが目印となる。手を動かし始めるとカメラが追跡。データを解析して単語に変換し、正しい日本語順にして、助詞を補完し、語尾の活用を正すなどして自然な日本語の文章にする。

シュアトークの「骨格座標」。点と線で表される動きのデータを解析し、文字に変換する=ソフトバンク提供
シュアトークの「骨格座標」。点と線で表される動きのデータを解析し、文字に変換する=ソフトバンク提供

 動作の追跡は目、鼻、ほお、肩、胸の中心、肘、手首、指の関節の40~50点と、この点と点を結んだ線で行う。特殊な色の背景や服装、手袋などを用意しなくても日常的な環境で使えるのは、画期的な技術という。

 ただ、課題はある。

 手話の動きの大きさや角度は人それぞれで、また地域によっても違いがある。同じ単語を表す動作でも、前後の文脈から意味が変化するものもある。

 さらに、国内で使われる手話が「日本手話」と「日本語対応手話」の大きく分けて2種類あるという事情もある。日本手話は、日本語とは異なる文法に基づいて手の動きだけでなく顔の表情でも表現し、聴覚障害者同士が日常的に使うことが多い。一方、日本語対応手話は、日本語の文法通りに単語を並べ、聴覚障害者と健聴者がコミュニケーションのツールとして使っている。現在、シュアトークが使えるのは、変換のための道筋がつけやすい日本語対応手話だけにとどまっている。田中さんは「単語の表現はどちらの手話も一緒なので、将来的には日本手話にも対応できるようにしたい」と語る。

 そして、目下の最大の課題は「データ不足」だ。役所、病院、駅といった1シーンで使用する手話は、およそ2000語。一つの単語でも100人以上の動作データを積み上げていく必要がある。

 シュアトークは21年3月末に共同開発が発表されたばかりで、AIが学習するために必要な大量のデータがまだそろっていない。習志野市役所で「もう一度お願いします」が繰り返されたのは、データ不足も原因の一つだ。

「音声を手話に変換」も

手話の動作のデータを解析した結果、「トイレはどこですか?」と変換された=ソフトバンク提供
手話の動作のデータを解析した結果、「トイレはどこですか?」と変換された=ソフトバンク提供

 ソフトバンクは7月、手話の動作画像の登録機能がついたiPhone(アイフォーン)向けのアプリを発表した。動作の画像を広く一般から集め、大量のデータを確保することが狙いだ。田中さんは「手話を知らない人にも動作をまねて登録してもらえれば、いろんな手話を認識できるようになる。AIが手話を学習していくことで、変換の精度は更に向上する」と説明し、「みんなで一緒に育てる」ことを呼びかける。

 田中さんら開発者たちは、将来的には音声を手話に変換する機能もつけたいと考えている。音声が日本語の文字に変換されても、読むのに苦労する人もいるためだ。この技術は、シュアトークの変換の逆工程になる。田中さんは「簡単な技術ではないが、不可能ではない」と意欲を見せる。手話は手だけではなく、口の動きも重要な役割を担う。「『口話認識機能』も入れられたら、更に変換の正確性が高まる」と完成度にもこだわろうとしている。

 同社は、25年にはスマホやパソコンで誰でも無料で使えるよう、開発を進める考えだ。【大谷麻由美】

    ◇

 手話の登録は、ウェブ版アプリはhttps://app.suretalk.jp/home、スマホ版アプリはhttps://apps.apple.com/jp/app/id1572242181

次に読みたい

あわせて読みたい

注目の特集