今回のプロジェクトでは患者の「表情」「音声」「日常生活の活動」などを定量化。これを基に、精神症状の客観的評価をリアルタイムにくだせるようにすることを狙う。そのために利用するのが、機械学習のアプローチだ。
例えば「音声」に着目し、精神症状を次のようにして定量化する。診察中の患者との会話音声を記録。ここから「音量」「トーン」「会話速度」「応答間隔」などの特徴量を抽出する。うつ病が重症化すると会話速度が「ゆっくりになる」（岸本氏）ことなどが知られており、こうした変化を定量化する。会話の内容も詳しく分析する。記録した会話音声を文字に変換し、テキストマイニングの手法を用いて「感情語の抽出」「語彙数の評価」「文章の構造解析」などを行う。
「表情」については、機械学習を用いた表情推定技術の開発や、瞬目（まばたき）パターンの解析などを行う。赤外線を用いた体動分析もこれに加える考えだ。
これら診察時の情報に加えて、日常生活の情報も解析用ビッグデータとして取り込む。スマートフォンを使い、活動量や会話量、睡眠などの日常データを収集。クラウドに蓄積し、表情や音声の情報などと併せて、統合的に解析する。
究極の目標は、精神症状の客観的指標を明らかにしたり、症状の経時パターンを同定したりするなど、機械学習を通じた重症度評価のアルゴリズムを確立すること。