1.概要
1.1.目的
Sapporo AI Labでは、2017年度より、AIによる社会課題解決手法の提案として「AI×手話プロジェクト」を実施しており、「ろう者（※耳がきこえなく、手話を第一言語として使用する方）」と「きこえる人」とのスムーズなコミュニケーション実現を目指し、AI手話翻訳サービスの開発を進めております。
1.2.AI手話翻訳サービスの概要
AI手話翻訳サービスは、「ろう者による手話」と「きこえる人による話し言葉」それぞれを、AIによってテキストに翻訳し、ディスプレイに表示することで双方向のコミュニケーションを可能にするサービスです。
※ディスプレイのイメージ：左手側に手話の翻訳結果、右手側に話し言葉の翻訳結果が表示されます。
1.3.プロジェクトメンバー
- 北海道大学 大学院情報科学研究科 山本 雅人 教授
- 北海道大学 大学院情報科学研究科 飯塚 博幸 准教授
- BIPROGY株式会社
- 公益社団法人札幌聴覚障害者協会
- 札幌手話通訳問題研究会
- 札幌市保健福祉局 障がい保健福祉部
- 大日本印刷株式会社
- Sapporo AI Lab
手話動画を認識し、AI技術によってテキストに翻訳する仕組みを北海道大学及びBIPROGY株式会社が共同で開発。札幌聴覚障害者協会や札幌手話通訳問題研究会、札幌市保健福祉局の協力を受けて、AI学習に必要となる手話動画の収集や、システムの実証実験に使うシナリオ構築などを行っております。
2.薬局実証実験（デモンストレーション）
2017年9月、ドラッグストアにおける商品の購入を活用シーン例として設定し、AI手話翻訳サービスのデモンストレーションを行いました。
あらかじめ決められたシナリオ・単語に沿って、ろう者ときこえる人とが手話通訳者を介さずにコミュニケーションをとるために手話動作をテキストへ翻訳する技術を確認することができました。
デモンストレーションにおけるコミュニケーションの流れ（一例）
3.区役所窓口などにおける実証実験
●2022年度
開発を進めてきたAI手話翻訳サービスについて性能測定や利用者満足度の調査、実用化に向けた課題点の洗い出しなどを目的として、札幌市の区役所窓口等における実証実験を行いました。
実証実験は、札幌市北区役所保健福祉課窓口、札幌市東区役所保健福祉課窓口、札幌市視聴覚障がい者情報センターの3箇所で開催しました。
区役所には実証実験専用の臨時窓口を設置。札幌聴覚障害者協会から派遣されたろう者と、区役所で窓口業務を担当する職員に協力いただき、身体障がい者手帳の申請手続きなど、区役所窓口にろう者が来庁した際に行う一連のやり取りを実施しました。
実証実験におけるシナリオ（一例）
- あなたは、身体障害者手帳の住所変更をするために来ました。そのつもりで職員の質問に答えてください。
- あなたは、補聴器の新規申請に来ました。そのつもりで職員の質問に答えてください。
- あなたは、障がい福祉サービスの申請に来ました。そのつもりで職員の質問に答えてください。
2017年に行ったデモンストレーションとは異なり、使う単語を決めず、シチュエーションのみを指定した実証実験の中では、ろう者が使った手話の中にAIが学習していない単語が存在したり、周囲のノイズ（手話を行うろう者の背景や、服装など）が原因となって正しく翻訳されない場面もありましたが、手話のやり直しや使用する単語の変更などを行い、予定していた手続きを完了することができました。
実証実験には計29名のろう者及び3名の区役所職員が参加し、約8割が利用した感想を「良かった」と回答。また、9割以上が「サービスが実用化した場合は利用したい」と回答するなど、AI手話翻訳サービスに対する満足度・期待値が非常に高いことが確認できました。
また、同じ手続きを筆談で行った場合と所要時間を比較したところ、平均して半分程度の時間で手続きを終えることができ、システムを利用した区役所職員の全員が「AI手話翻訳サービスを利用した方がスムーズに手続きすることが可能」と回答するなど、システムの有用性を確認することができました。
同じ利用者が、同じ手続きをAI手話翻訳サービスと筆談で行った場合の所要時間の比較
実証実験を通じて判明した課題
学習単語のバリエーション不足
例えば「障がい者手帳があります。」と手話で伝えるシチュエーションでは、「（手帳を）持っています。」「（手帳は）これです。」など様々な単語が使われる可能性がありますが、システムでは一部の単語しか学習できていなかったため、翻訳に失敗するシーンが見られました。
操作性
手話動作の開始/終了を判定するため、ろう者は毎回手元のスイッチを押す必要がありますが、一部から直感的に操作しづらいという意見がありました。
手話翻訳の速度
翻訳処理を行うクラウド上のサーバへのアクセスに時間がかかり、「もう少し早く翻訳してほしい。」「応答が遅い。」といった声が複数名から上がりました。
●2023年度
上記課題の解決を目的として、2022年度から引き続き、区役所窓口等における実証実験を行いました。
改良点その①：学習単語のバリエーション増加
前回の実験で翻訳率が低かった単語を中心として、異なるバリエーションの単語を追加学習。
追加学習前後のシステムで比較を行ったところ、手話認識率が約14％向上しました。
【実証実験（2022年度）における学習データ】52単語、3,007動画
【実証実験（2023年度）における学習データ】計105単語、6,244動画
しかし、区役所窓口等における実験では、ろう者が着ている服や背景がノイズとなってAIによる手話翻訳が失敗するケースが複数発生。更なる翻訳率向上を実現するためには、人物以外の背景を除去したうえでAIによる判定を行うなど、新たなシステム改修が必要であることが判明しました。
改良点その②：手話開始/終了検知のための動体検知対応
手元スイッチを撤廃し、動体検知によって手話の開始/終了を判定できる仕組みを開発。ろう者の利便性向上に成功しました。
※手の上げ下ろしで手話開始。手話終了後、静止状態になると手話終了と判定
改良点その③：ネットワーク構成の改善
2022年度実験では、窓際から遠い位置ほど回線速度が低下する傾向にあったことから、手話翻訳の応答速度向上を目指し、中間にルーターを設置。事前試験では22.4％程度の速度向上が確認できたものの、実証実験の会場によってはキャリア回線の速度が低下し、期待していた応答速度が出ない場合がありました。目標とする応答速度を安定して実現するためには、手話動画の撮影と動画送信を並行して行うストリーミング対応の実現など、新たなシステム改修が必要であることが判明しました。
今後の実用化に向けた課題と対応
以上のとおり、前回実験の課題を踏まえた改良には成功したものの、システムの実用化に向けて、新たな課題を発見する結果となりました。今回の結果を踏まえ、引き続き、AI手話翻訳サービスの実用化に向けた更なる改良を行い、ろう者ときこえる人とのスムーズなコミュニケーション実現を目指して参ります。
