読唇術はどこまで実現可能か

読唇術は実際に存在します。ただし、スパイ映画やドラマで描かれるような「遠く離れた場所から、唇の動きだけで会話の内容を100％完璧に読み取る」という魔法のような技術ではなく、聴覚に障害のある方々がコミュニケーション手段の一つとして実際に使用しています。

読唇術（どくしんじゅつ）とは、口元の細かな変化によって音を見分ける方法です。耳の不自由な女性が開設した、唇術をレクチャーする動画をシェアします。読唇術、聞いたことはありますよね。よく、スパイ映画など創作の世界で、読唇術が登場しますね。

専門的には「読話（どくわ）」と呼ばれることが多く、聴覚に障害のある方々がコミュニケーション手段の一つとして実際に使用しています。

プロ野球では、プレイヤーのクセから球種を見抜くとともに、読唇もひとつのテクニックとされていたので、マウンドに内野手が集まって話をするときは、相手にわからぬようグローブで口を隠します。

テレビカメラにうつってしまうと、さすがに限られた野球用語なら解読される可能性が高まりますからね。

前後の文脈から内容を推測することが不可欠
AI読唇技術

前後の文脈から内容を推測することが不可欠

耳が聞こえないユカコさんが、読唇術で言葉を判別するための、具体的なコツや経験則を解説しているYouTubeチャンネルです。

聞こえない、またはきわめて聞こえにくい場合、読唇術は趣味や特技ではなく、切実な生活能力になっています。

しかも、ユカコさんの場合、長女が骨の難病、次女が障害児とのこと。

社会の理解と支援を得るためには、多くの人とのコミュニケーションが欠かせません。

動画によると、たとえば、「ら行」は舌の動きで判別し、「ま行」は唇を閉じる動きに特徴があるなど、口元の細かな変化によって音を見分ける方法を伝えています。

しかし、単語ごとの形を完璧に覚えるだけでは不十分であり、実際には前後の文脈から内容を推測することが不可欠であると強調しています。

日常会話においては、一字一句を追うよりも、言葉の流れを瞬時に判断することが、円滑なコミュニケーションの鍵となります。

全体を通して、サバイバルスキルのように身につけてきた実践的な視点から、読唇術の奥深さと難しさが綴られています。

1. 唇の動きだけで全ては分からない
日本語の会話において、口の動きだけで判別できる音は全体の約30～40％と言われています。

・同じ口の形になる音が多い
例えば、「マ行（ま・み・む・め・も）」「バ行（ば・び・ぶ・べ・ぼ）」「パ行（ぱ・ぴ・ぷ・ぺ・ぽ）」は、口を閉じて開く動きが同じため、視覚だけでは区別がつきません（これを「同口形音」と呼びます）。
・見えない音
喉の奥で発音する「カ行」などは、口の動きとしてはほとんど見えません。

2. 「推測」と「文脈」が重要
そのため、実際の技術としては、単に唇を見るだけではありません。以下のような情報を総動員して、脳内でパズルのように言葉を組み立てています。

表情や視線
相手の感情やニュアンスを読み取る。
文脈（コンテキスト）
「今の話題は何か」「前後の会話はどうだったか」から、当てはまる言葉を推測する。
残存聴力
補聴器などで聞こえるわずかなリズムやイントネーションと組み合わせる。

と、いろいろ考えられて入るのですが、結論としては、「技術としては存在するが、唇だけで100%読み取るのは人間業としては極めて困難であり、文脈による推測とセットで行われている」というのが実態のようです。

AI読唇技術

最新AI事情?????

読唇技術システムを持つAI????
九州工業大学
斉藤剛史先生の研究グループが
開発されたそうです??

タブレットやスマートフォンの
カメラ機能を使って、
動画をサーバーへ送ることで
何と喋っていたかを表示してくれるんです?????#ＲＫＢラジオ #スナッピー #このラジオがやばい pic.twitter.com/bAX4VNfJDv

— スナップなう！ by RKBラジオスナッピー (@rkbr_snap) March 11, 2019

ということで、登場するのがAIです。

AI読唇技術は、「カメラ映像だけで話された言葉を推定する」AI で、映像解析 + 言語モデルの進化によって近年急速に精度が上がってきている最先端技術です。

AI読唇は、OGPの通り、

1.映像入力
スマホやカメラで話者の唇の動きを撮影します。
2.顔と唇の抽出
コンピュータビジョン技術（例：顔ランドマーク検出）で唇の動きだけを切り出します。
3.ディープラーニングで特徴抽出
ニューラルネットワーク（CNN や Transformer など）が、連続する唇の動きからパターンを学習します。
4.言語モデルとの融合
映像から得た特徴を言語モデルや自然言語処理に通して、文として意味ある推定結果に変換します。
5.出力（文字・音声）
推定された内容をテキスト化したり、合成音声として話し言葉に変換することも可能です。