党 建武 (DANG, Jianwu)教授
情報科学系,ヒューマンライフデザイン領域
◆学位
博士
中国清華大学工学士 (1982),中国清華大学工学修士(1984),静岡大学工学博士(1992)
◆職歴
2006 - 2007 : 北陸先端科学技術大学院大学 情報科学研究科 , 教授
2005 - : 北陸先端科学技術大学院大学 北陸先端科学技術大学・情報科学研究科・大学院 , 教授
2004 - : 北陸先端科学技術大学院大学 北陸先端科学技術大学大学院・情報科学研究科 , 教授
: 中国天津大学コンピュータ科学と工学科助手(1984),同学科講師(1986)
: ATR人間情報研究所客員研究員(1992),同研究所主任研究員(1998)
◆専門分野
音声情報処理,音声生成モデル,言語音声に関する認知機能, 音声合成,音声認識
◆研究キーワード
生理学的モデル, 個人性, 顔画像, 発話運動, 筋電信号, 発話状態の推定, 摂取嚥下, 舌部分切除, 発話訓練, ホルマント, 軟口蓋の調音モデル, 軟口蓋, 聴覚変形フィードバック, 音声生成, 有声破裂音, 発話障害, 音声合成・音声処理, 舌運動, バズ音, MRI計測, MRI, 摂食嚥下, 有限要素法, 拡張有限要素法, 調音運動, フォルマント, 音声知覚, 鼻孔放射
◆研究課題
聴覚・調音・生理学的特徴を考慮した音声認識に関する研究
本研究では、従来の隠れマルコフモデル(HMM)に人間の優れた認識機能を取り入れて新しい音声認識方法の開発を図る。そのなか、人間の聴覚的特徴(周波数ごとに音声・雑音識別機能)を用いて雑音に頑健な認識方法の開発と、調音的特徴(調音結合の制約)を用いるMissing Speechの認識方法の検討及び、生理学的特徴(形状学的個人差)を利用した話者認識方法の研究を行う。
音声生成のメカニズムとそのモデル化に関する研究
人間の音声生成(特に感情を込めた会話音声の生成)のメカニズムはまだ十分に解明されていない。それを解明するため、MRIデータに基づいて構築した三次元的発話機構モデルを用い、発話目標から音声合成への過程、または音声波から発話目標への逆過程を模擬することにより、生理学的レベルと運動計画レベルの両面から、人間のメカニズムの真実に漸近する。生理学的な見地に基づいてその発話機構モデルを改善するのもこの研究の課題である。
音声認知科学に関する研究
音声認知は音声生成の逆過程とされている。人間の音声生成過程では、多数(理論的に無数)の発話状態が同じ音を生成することが可能であるため、音声認知過程には多意性の問題が生じる。この多意性問題の根本的な解決は音声研究の重大な課題の一つである。本研究室では、発話機構モデルを用い発話状態の安定性と生理学・形態学的制限などの観点から多意性問題の本質を考察しながら解決策を求める。
脳における言語音声のコミュニケーションに関する研究
脳における言語音声のコミュニケーションに関する仮説である音声知覚の運動理論により、音声の知覚過程は調音動作の内部表象あるいは知識を参照しながら実現している(Libermanら,1960, 1985)。本研究では、音響分析や生理学的計測と調音運動の観測などの手法を用いて音声知覚系と生成系との相互作用を解明することにより、その理論を検証すると共に発展させることを図る。 備考
個性のある感情音声合成に関する研究
声の個性を決めるものは,生まれつき備わったもの(生理学的要素)と,習慣として身についたもの(社会的要素)とがある。本研究は,前者の要素をはじめとするすべての要素の表現とモデル化を行う。また、感情音声とは話者が意図的な制御による言語以外の情報を音声に添加されたものである。本研究では、我々が日常感情音声を生成するときの経験を発話機構モデルに適用することによって、分析・合成により感情音声に関する研究を行なう。
音声コミュニケーションのためのサイエンスとテクノロジ:音声生成過程とその逆過程ー認知
音声生成および音声知覚は人間同士の間での基本的な通信方式のひとつである。人間の上記のメカニズムを信号処理、生理学的観点、脳の活動などの側面から解明しその機能をコンピュータにより実現するのは、我々の究極目標である。 備考

■研究業績

◆発表論文
Revealing the Dynamic Brain Connectivity from Perception of Speech Sound to Semantic Processing by EEG
Gaoyan Zhang, Yuke Si, Jianwu Dang
Neuroscience, 415, 70-76, 2019/09/01
Story co-segmentation of Chinese broadcast news using weakly-supervised semantic similarity.
Array,Array,Yujun Zhang,Zhi-Qiang Liu,Jianwu Dang
Neurocomputing, 355, 121-133, 2019/08/25
Traffic model of machine-type communication for railway signal equipment based on MMPP
Lin Junting, Hu Xueyang, Dang Jianwu, Wu Zhongqing
IET MICROWAVES ANTENNAS & PROPAGATION, 13, 8, 1072-1079, 2019/07/03
Replay attack detection with auditory filter-based relative phase features.
Zeyan Oo,Longbiao Wang,Khomdet Phapatanaburi,Meng Liu,Seiichi Nakagawa,Masahiro Iwahashi,Jianwu Dang
EURASIP J. Audio, Speech and Music Processing, 2019, 8-, 2019/06/10
Pitch synchronized relative phase with peak error detection for noise-robust speaker recognition
Meng Ge, Longbiao Wang, Seiichi Nakagawa, Yuta Kawakami, Jianwu Dang, Xiangang Li
2018 11th International Symposium on Chinese Spoken Language Processing, ISCSLP 2018 - Proceedings, 156-160, 2019/05/03
◆Misc
3次元MRI動画データと実音声を用いた声道断面積モデルのパラメータ推定
平井啓之, 竹本浩典, 本多清志, 党建武
日本音響学会誌, 64, 4, 216-228, 2008/04/01
D-14-17 破裂子音の音響特徴に関する研究(D-14. 音声,一般セッション)
馬鋭, 方強, 錦戸信和, 廬緒剛, 党建武, 星野朱美
電子情報通信学会総合大会講演論文集, 2008, 1, -, 2008/03/05
乳幼児の音声模倣能力の獲得過程における調音ジェスチャの役割(聴覚・音声/一般)
金野武司, 錦戸信和, 党建武
電子情報通信学会技術研究報告. SP, 音声, 107, 165, 43-48, 2007/07/19
通常発話状態と特異発話状態との判別基準の検討(聴覚・音声/一般)
錦戸信和, 党建武
電子情報通信学会技術研究報告. SP, 音声, 107, 165, 1-6, 2007/07/19
IECを用いた素片接続コストの重み係数推定
平井啓之, 小谷一孔, 党建武
Research report, 2007, 1-10, 2007/07/06
◆書籍
Studies on Speech Production
Fang, Q., Dang, J., Perrier, P., Wei, J., Wang, L., Yan, N., Springer, 2018, 2019
進化するヒトと機械の音声コミュニケーション・第3編音声合成:(総説)音声合成技術の現状と展望
党 建武, 株式会社ニッケイ印刷, 2015
“Observations About Articulatory, Acoustic and Perceptual Characteristics of Laugh and Smile Speech in Comparison with Sad and Neutral Speech” In Trouvain, Jürgen & Campbell, Nick (eds.), Phonetics of Laughing, ,
Donna Erickson, Takaaki Shochi, Caroline Menezes and Jianwu Dang , Universaar – Saarland University Press: Saarbrücken, Germany., 2014/05/18
Physiological Articulatory Model for Investigating Speech Production: modeling and Control
Qiang Fang, Jianwu Dang , ISBN-NR. 978-3639173871, VDM Verlag, 2009/07
◆講演・口頭発表
Interaction-Aware Topic Model for Microblog Conversations through Network Embedding and User Attention
Ruifang He, Xuefei Zhang, Di Jin, Longbiao Wang, Jianwu Dang, Xiangang Li,
Proceedings of the 27th International Conference on Computational Linguistics, pages 1398–1409, Santa Fe, New Mexico, USA, August 20-26, 2018., 2018
Replay Attacks Detection Using Phase and Magnitude Features with Various Frequency Resolutions
Meng Liu, Longbiao Wang, Zeyan Oo, Jianwu Dang
ISCSLP, 26-29, Nov., 2018, Taibei, 2018
A study of sound propagation in ducts with a moving wall,
Jianwu Dang, Qingzhi Hou, Futang Wang
Euronoise2018, 27-31 May, Crete, Greece, 2018
Investigation of the Comprehension Process during Silent Reading based on Eye Movements
Di Zhou, Jinfeng Huang and Jianwu Dang,
ISCSLP, 26-29, Nov., 2018, Taibei, 2018
Distant-talking Speech Recognition Based on Multi-objective Learning using Phase and Magnitude-based Feature
Dongbo Li, Longbiao Wang, Jianwu Dang, Meng Ge and Haotian Guan,
ISCSLP, 26-29, Nov., 2018, Taibei, 2018

■担当講義

音声情報処理特論, 情報解析学特論(E)

■学外活動

◆所属学会
電気情報通信学会, 日本音響学会, 映像情報メディア学会, アメリカ音響学会, International Speech Communication Association, アメリカ計算機学会, 中国計算機学会, 天津市計算機学会, 中国自動化学会
◆学術貢献活動
International workshop on perception and representation of intention involved in spoken language , 情報科学研究科・教授・党建武 , 2013/02/05 , HighTech Center, Ishikawa, Japan
Symposium on Modeling of Speech and Audiovisual Mechanism , 情報科学研究科・教授・党 建武; 情報科学研究科・教授・赤木 , 2011/02/20 - 2011/02/21 , Ishikawa Lifelong Learning Center, Kanazawa, Ishikawa, Japan
The international academic exchange forum , 情報科学研究科・教授・党 建武情報科学研究科・教授・赤木正人 , 2010/02/23 - 2010/02/24 , HighTech Center, Nomi, Ishkawa, Japan