党 建武 (DANG, Jianwu)教授
情報科学系, ヒューマンライフデザイン領域
◆学位
博士
中国清華大学工学士 (1982),中国清華大学工学修士(1984),静岡大学工学博士(1992)
◆職歴
2006 - 2007 : 北陸先端科学技術大学院大学 情報科学研究科 , 教授
2005 - : 北陸先端科学技術大学院大学 北陸先端科学技術大学・情報科学研究科・大学院 , 教授
2004 - : 北陸先端科学技術大学院大学 北陸先端科学技術大学大学院・情報科学研究科 , 教授
: ATR人間情報研究所客員研究員(1992),同研究所主任研究員(1998)
: 中国天津大学コンピュータ科学と工学科助手(1984),同学科講師(1986)
◆専門分野
病態系口腔科学, リハビリテーション科学, 知能ロボティクス, 知覚情報処理
◆研究キーワード
鼻孔放射, 音声知覚, フォルマント, 調音運動, 拡張有限要素法, 有限要素法, 摂食嚥下, MRI, MRI計測, バズ音, 舌運動, 音声合成・音声処理, 発話障害, 有声破裂音, 音声生成, 聴覚変形フィードバック, 軟口蓋, 軟口蓋の調音モデル, ホルマント, 発話訓練, 舌部分切除, 摂取嚥下, 発話状態の推定, 筋電信号, 発話運動, 顔画像, 個人性, 生理学的モデル
◆研究課題
聴覚・調音・生理学的特徴を考慮した音声認識に関する研究
本研究では、従来の隠れマルコフモデル(HMM)に人間の優れた認識機能を取り入れて新しい音声認識方法の開発を図る。そのなか、人間の聴覚的特徴(周波数ごとに音声・雑音識別機能)を用いて雑音に頑健な認識方法の開発と、調音的特徴(調音結合の制約)を用いるMissing Speechの認識方法の検討及び、生理学的特徴(形状学的個人差)を利用した話者認識方法の研究を行う。
音声生成のメカニズムとそのモデル化に関する研究
人間の音声生成(特に感情を込めた会話音声の生成)のメカニズムはまだ十分に解明されていない。それを解明するため、MRIデータに基づいて構築した三次元的発話機構モデルを用い、発話目標から音声合成への過程、または音声波から発話目標への逆過程を模擬することにより、生理学的レベルと運動計画レベルの両面から、人間のメカニズムの真実に漸近する。生理学的な見地に基づいてその発話機構モデルを改善するのもこの研究の課題である。
音声認知科学に関する研究
音声認知は音声生成の逆過程とされている。人間の音声生成過程では、多数(理論的に無数)の発話状態が同じ音を生成することが可能であるため、音声認知過程には多意性の問題が生じる。この多意性問題の根本的な解決は音声研究の重大な課題の一つである。本研究室では、発話機構モデルを用い発話状態の安定性と生理学・形態学的制限などの観点から多意性問題の本質を考察しながら解決策を求める。
脳における言語音声のコミュニケーションに関する研究
脳における言語音声のコミュニケーションに関する仮説である音声知覚の運動理論により、音声の知覚過程は調音動作の内部表象あるいは知識を参照しながら実現している(Libermanら,1960, 1985)。本研究では、音響分析や生理学的計測と調音運動の観測などの手法を用いて音声知覚系と生成系との相互作用を解明することにより、その理論を検証すると共に発展させることを図る。 備考
個性のある感情音声合成に関する研究
声の個性を決めるものは,生まれつき備わったもの(生理学的要素)と,習慣として身についたもの(社会的要素)とがある。本研究は,前者の要素をはじめとするすべての要素の表現とモデル化を行う。また、感情音声とは話者が意図的な制御による言語以外の情報を音声に添加されたものである。本研究では、我々が日常感情音声を生成するときの経験を発話機構モデルに適用することによって、分析・合成により感情音声に関する研究を行なう。
音声コミュニケーションのためのサイエンスとテクノロジ:音声生成過程とその逆過程ー認知
音声生成および音声知覚は人間同士の間での基本的な通信方式のひとつである。人間の上記のメカニズムを信号処理、生理学的観点、脳の活動などの側面から解明しその機能をコンピュータにより実現するのは、我々の究極目標である。 備考

■研究業績

◆発表論文
Story co-segmentation of Chinese broadcast news using weakly-supervised semantic similarity.
Array,Array,Yujun Zhang, Zhi-Qiang Liu, Jianwu Dang
Neurocomputing, 355, 121-133, 2019
Traffic model of machine-type communication for railway signal equipment based on MMPP
Lin Junting, Hu Xueyang, Dang Jianwu, Wu Zhongqing
IET MICROWAVES ANTENNAS & PROPAGATION, 13, 8, 1072-1079, 2019
Replay attack detection with auditory filter-based relative phase features.
Zeyan Oo,Longbiao Wang, Khomdet Phapatanaburi, Meng Liu, Seiichi Nakagawa, Masahiro Iwahashi, Jianwu Dang
EURASIP J. Audio, Speech and Music Processing, 2019, 8-, 2019
Investigation of the Comprehension Process during Silent Reading based on Eye Movements
Di Zhou, Jinfeng Huang, Jianwu Dang
2018 11th International Symposium on Chinese Spoken Language Processing, ISCSLP 2018 - Proceedings, 165-169, 2019
◆Misc
3次元MRI動画データと実音声を用いた声道断面積モデルのパラメータ推定
平井啓之, 竹本浩典, 本多清志, 党建武
日本音響学会誌, 64, 4, 216-228, 2008
D-14-17 破裂子音の音響特徴に関する研究(D-14. 音声,一般セッション)
馬鋭, 方強, 錦戸信和, 廬緒剛, 党建武, 星野朱美
電子情報通信学会総合大会講演論文集, 2008, 1, -, 2008
通常発話状態と特異発話状態との判別基準の検討(聴覚・音声/一般)
錦戸信和, 党建武
電子情報通信学会技術研究報告. SP, 音声, 107, 165, 1-6, 2007
乳幼児の音声模倣能力の獲得過程における調音ジェスチャの役割(聴覚・音声/一般)
金野武司, 錦戸信和, 党建武
電子情報通信学会技術研究報告. SP, 音声, 107, 165, 43-48, 2007
◆書籍
Studies on Speech Production
Springer, 2018, 2019
進化するヒトと機械の音声コミュニケーション・第3編音声合成:(総説)音声合成技術の現状と展望
125-140, 株式会社ニッケイ印刷, 2015
“Observations About Articulatory, Acoustic and Perceptual Characteristics of Laugh and Smile Speech in Comparison with Sad and Neutral Speech” In Trouvain, Jürgen & Campbell, Nick (eds.), Phonetics of Laughing, ,
1–29, Universaar – Saarland University Press: Saarbrücken, Germany., 2014
Physiological Articulatory Model for Investigating Speech Production: modeling and Control
ISBN-NR. 978-3639173871, VDM Verlag, 2009
Advances in Chinese Spoken Language Processing, C. H. Lee, et al.(Chapter)
World Scientific, 2007
◆講演・口頭発表
Robust Detection of Link Communities in Large Social Networks by Exploiting Link Semantics
AAAI-18,Feb. 2–7, 2018, New Orleans, Louisiana, USA, 2018
Autoencoder Based Community Detection with Adaptive Integration of Network Topology and Node Contents.
In: Liu W., Giunchiglia F., Yang B. (eds) Knowledge Science, Engineering and Management. KSEM 2018. Lecture Notes in Computer Science, vol 11062. Springer, Cham, 2018
FEATURE FUSION METHOD BASED ON EXTREME LEARNING MACHINE FOR SPEECH EMOTION RECOGNITION
ICASSP, April, 15-20, 2018 Calgary, Canada, 2018
Implicit Discourse Relation Recognition using Neural Tensor Network with Interactive Attention and Sparse Learning
COLING2018, pages: 547-558., 2018
Revealing Spatiotemporal Brain Dynamics of Speech Production Based on EEG and Eye Movement
INTERSPEECH, Sep. 2-6,2018, Hyderabad, India., 2018

■担当講義

Analysis for Information Science(E), Speech Signal Processing, 情報解析学特論(E), 音声情報処理特論

■学外活動

◆所属学会
中国自動化学会, 天津市計算機学会, 中国計算機学会, アメリカ計算機学会, International Speech Communication Association, アメリカ音響学会, 映像情報メディア学会, 日本音響学会, 電気情報通信学会
◆学術貢献活動
International workshop on perception and representation of intention involved in spoken language , 情報科学研究科・教授・党建武 , 2013 , HighTech Center, Ishikawa, Japan
Symposium on Modeling of Speech and Audiovisual Mechanism , 情報科学研究科・教授・党 建武; 情報科学研究科・教授・赤木 , 2011 - 2011 , Ishikawa Lifelong Learning Center, Kanazawa, Ishikawa, Japan
The international academic exchange forum , 情報科学研究科・教授・党 建武情報科学研究科・教授・赤木正人 , 2010 - 2010 , HighTech Center, Nomi, Ishkawa, Japan