|
平成24年に開始した基盤研究(S)「ロボット聴覚の実環境理解に向けた多面的展開」では, 安全安心な社会を構築するために実環境音環境理解を実現することを目的に, 既開発のロボット聴覚技術を基に, さまざまな状況に適用してきました.
具体的には, (1) 多様なマイクロフォンコンフィグレーションへの展開,(2) 室内から屋外への展開, (3) 音声から楽音・環境音を含めた音一般への展開,(4) 自然環境・極限環境への展開,に取り組み, ソフトウエアの公開を通じた「世界のロボットの聖徳太子化」を促進し, 空中からの音源定位技術,分散型マイクロフォンアレイの音源同定技術,音情報可視化技術, などを開発し,proof of conceptとしてデモシステムを構築し, その有効性を実証してきました.
本研究課題の最終年度に当たり, 最終シンポジウムを開催し, これまでの成果をわかりやすく発表します. また, 本研究課題(4)の一つ, 極限環境でのロボット聴覚技術は, 内閣府ImPACT「タフ・ロボティクス・チャレンジ」に技術移転を行い, 11月11日に, (a) ドローンに搭載したマイクロフォンアレイからの収音と音源探索, (b) 細索状ロボットの音による姿勢推定と音声強調, (c) 太索状ロボットの音による配管内位置推定, および, (d) 脚ロボットのためのAV環境認識, という4つの公開デモを実施しました.
一方, 自然環境でのロボット聴覚の展開では, カエルの合唱の解明や鳥類の鳴声の聞き分けるHARKBirdの開発と観測に応用しています. 招待講演では, Charles Taylor教授(UCLA)に “Using HARK to Study Natural Environments: Prospects and Challenges”というタイトルで, ロボット聴覚が自然環境研究に果たす期待と課題について講演していただく予定です.
なお, 本招待講演は英語で実施しますが, 他の発表は日本語で実施する予定です.
ロボット聴覚に興味をお持ちの方, 「聖徳太子ロボット」に興味をお持ちの方, ロボット聴覚の応用分野に関心のある方, カエルの合唱に興味をお持ちの方, 鳥類の鳴声の聞き分けに興味のお持ちの方, 「聞き耳頭巾」の実現に興味をお持ちの方, 音環境生態学に興味をお持ちの方に限らず, 多数の皆様方の参加をお待ちしております.
プログラム
10:00~10:30 挨拶と「ロボット聴覚の実環境理解に向けた多面的展開」の目指したこと 奥乃 博(早稲田大学, 研究代表者) |
|
次の発表をベースにお話します. “Robot Audition: Its Rise and Perspectives“, IEEE ICASSP-2015. “Robot Audition and Beyond”, 29th IEA/AIE 2016 Keynote talk. “聞き分ける技術の水平展開“, 人工知能学会誌,30 (2015). |
|
10:30~11:00 ロボット聴覚ソフトウエアHARKの紹介とその極限環境・自然環境への応用 中臺 一博 (東京工業大学特定教授/ホンダ・リサーチ・インスティチュート・ジャパン, 研究分担者) 杉山 治 (京都大学特任講師, 研究協力者) |
|
次の発表をベースにお話します. “A real-time super-resolution robot audition system that improves the robustness of simultaneous speech recognition“, Advanced Robotics, 27:12(2013), Best Paper Award. “Sound Source Localization and Separation”, Wiley Encyclopedia of Electrical and Electronics Engineering, 2015. “Audio-Visual Speech Recognition using Deep Learning“, Applied Intelligence, 42:4(2015). “Interactive Interface to Optimize Sound Source Localization with HARK“, 28th IEA/AIE 2015. “ロボット聴覚技術による雑音下での音源探索・同定”, 日本音響学会秋季研究発表会招待講演 2016. “クアドロコプタ搭載マイクロホンアレイを用いた音源分離と深層学習による音源識別”,日本ロボット学会学術講演会 2015. ロボット聴覚オープンソースソフトウエアHARKのダウンロード数は7万超です. |
|
11:00~12:00 Keynote Talk “Using HARK to Study Natural Environments: Prospects and Challenges” Charles Taylor教授 (UCLA) |
|
Abstract: Acoustic recording is allowing study of ecology and behavior on scales and extents not previously imagined. This is especially so in environments that are difficult to access or monitor using traditional methods. In a recent workshop Blumstein et al. (J. Applied Ecology, 48:758-767, 2011) observed “There is a growing need for a common framework in which to develop, run and fully evaluate new bioacoustics recognition systems. Such a framework would include standard permanence metric and visualization tools, techniques for parameter tuning, facilities for running detectors and classifiers,” and a continuing list of tasks in bioacoustics monitoring. In this talk I will discuss some of the problems being studied by bioacoustics arrays, the main needs of the bioacoustics community, how they are currently being addressed, and how HARK might contribute to providing such a framework. | |
12:00~13:00 | 昼食 |
13:00~13:30 音光変換装置Fireflyによるカエルの合唱の解明 合原 一究 (筑波大学助教, 研究分担者) 水本 武志 (ホンダ・リサーチ・インスティチュート・ジャパン, 研究協力者) |
|
次の発表をベースにお話します. “Size Effect on Call Properties of Japanese Tree Frogs Revealed by Audio-Processing Technique”, Journal of Robotics and Mechatronics, 2017. “Acoustic Preference of Frog-Biting Midges (Corethrella spp) Attacking Túngara Frogs in their Natural Habitat“, Ethology, 122(2016). “Call Alternation between Specific Pairs of Male Frogs Revealed by a Sound-Imaging Method in Their Natural Habitat“, Interspeech 2016. “Spatio-Temporal Dynamics in Collective Frog Choruses Examined by Mathematical Modeling and Field Observation“, Scientific Reports, 4(2014). “振動子モデルと音声可視化システムを用いたアマガエルの合唱法則の解析“, 第39回人工知能学会 AIチャレンジ研究会,2014. 研究会優秀賞. 本研究成果は「カエルは田んぼで合唱していた」として2014年2月に大きく報道されました. |
|
13:30~14:00 HARKBirdの開発と鳥類鳴声観測への応用 鈴木 麗璽 (名古屋大学准教授, 研究分担者) 松林 志保 (名古屋大学協力研究員, 研究協力者) |
|
次の発表をベースにお話します. “ ウグイスに対するプレイバック実験におけるマイクロホンアレイを用いたさえずりの方向分布分析”, 第46回 AIチャレンジ研究会, 2016. “HARKBird: Exploring acoustic interactions in bird communities using a microphone array”, Journal of Robotics and Mechatronics, 2017. “Acoustic monitoring of the great reed warbler using multiple microphone arrays and robot audition”, Journal of Robotics and Mechatronics, 2017. “Localizing Bird Songs Using an Open Source Robot Audition System with a Microphone Array“, Interspeech 2016. “複数のマイクロホンアレイとロボット聴覚ソフトウエアHARKを用いた野鳥の 観測精度の検討“, 人工知能学会AIチャレンジ研究会, 2015. 研究会優秀賞受賞. |
|
14:00~14:20 マイクロフォンアレイを利用した確率的環境理解フレームワーク 小島 諒介 (東京工業大学D3, 研究協力者) |
|
次の発表をベースにお話します. “Multimodal Scene Understanding Framework and Its Application to Cooking Recognition“, Applied Artificial Intelligence, 30:3(2016). “Semi-Automatic Bird Song Analysis by Spatial-Cue-Based Integration of Sound Source Detection, Localization, Separation, and Identification”, IEEE/RSJ IROS 2016. “Audio-visual scene understanding utilizing text information for a cooking support robot“, IEEE/RSJ IROS 2015. |
|
14:20~14:50 ロボット聴覚のための統計的信号処理, マルチロボット・音楽ロボット・ロボット司会者への応用 吉井 和佳 (京都大学講師, 研究分担者) 糸山 克寿 (京都大学助教, 研究分担者) |
|
次の発表をベースにお話します. “Online Simultaneous Localization and Mapping of Multiple Sound Sources and Asynchronous Microphone Arrays”, IEEE/RSJ IROS 2016. “Optimizing the Layout of Multiple Mobile Robots for Cooperative Sound Source Separation“, IEEE/RSJ IROS 2015. “Audio-visual beat tracking based on a state-space model for a music robot dancing with humans“, IEEE/RSJ IROS 2015. “Transcribing Vocal Expression from Polyphonic Music“, IEEE ICASSP 2014. “Bayesian Audio Alignment based n a Unified Generative Model of Music Composition and Performance“, ISMIR 2014. “Toward a Quizmaster Robot for Speech-based Multiparty Interaction“, Advanced Robotics, 29:18(2015). “The MEI Robot: Towards Using Motherese to Develop Multimodal Emotional Intelligence“, IEEE Trans. on Autonomous Mental Development, 6:2(2014). |
|
14:50~15:15 ノンパラメトリックベイズモデル基づくマルチマイクロフォン信号処理 大塚 琢馬 (NTT CS研究所研究員, 研究協力者) |
|
次の発表をベースにお話します. “Multichannel Sound Source Dereverberation and Separation for Arbitrary Number of Sources based on Bayesian Nonparametrics“, IEEE/ACM Trans. on Audio, Speech and Language Processing, 22:12 (2014). “Bayesian Nonparametrics for Microphone Array Processing“, IEEE/ACM Trans. on Audio, Speech and Language Processing, 22:2 (2014). “Bayesian Unification of Sound Source Localization and Separation with Permutation Resolution“, AAAI-2012. “Challenges in deploying a microphone array to localize and separate sound sources in real auditory scenes“, IEEE ICASSP 2015. |
|
15:15~15:30 | 休憩 |
15:30〜16:00 バイノーラルロボット聴覚とロボット聴覚のドローンへの応用 公文 誠 (熊本大学准教授, 研究分担者) 中臺 一博 (東京工業大学特定教授/ホンダ・リサーチ・インスティチュート・ジャパン, 研究分担者) 干場 功太郎 (東京工業大学研究員, 研究協力者) |
|
次の発表をベースにお話します. “Active Sound Source Localization by Pinnae with Recursive Bayesian Estimation”, Journal of Robotics and Mechatronics, 2017. “Position Estimation of Sound Source on Ground by Multirotor Helicopter with Microphone Array”, IEEE/RSJ IROS 2016. “Design model of microphone arrays for multirotor helicopters“. IEEE/RSJ IROS 2015. ImPACTタフロボティクスチャレンジ公開デモ (ドローンによる収音と音源探索) |
|
16:00~16:25 ロボット聴覚を用いたAV-SLAM 技術 佐々木 洋子 (産業技術総合研究所主任研究員, 研究分担者) |
|
次の発表をベースにお話します. “Probabilistic 3D Sound Sources Mapping Using Moving Microphone Array”, IEEE/RSJ IROS 2016. “Real-time 6DoF localization for a mobile robot using pre-computed 3D laser likelihood field“, IEEE Robio 2015. “G-ICP SLAM: An odometry-free 3D mapping with robust 6DoF pose estimation“, IEEE Robio 2015. ImPACTタフロボティクスチャレンジ公開デモ (脚ロボット搭載AVセンサーによる音環境認識). |
|
16:25~16:50 ロボット聴覚の索状ロボットへの応用:姿勢推定・音声強調 昆陽 雅司 (東北大学准教授, 研究分担者) 坂東 宜昭 (京都大学D2,学振特別研究員(DC1), 研究協力者) |
|
次の発表をベースにお話します. “Posture estimation of hose-shaped robot by using active microphone array“, Advanced Robotics, 29:1(2015). Advanced Robotics Best Paper Award. “Sound-based Online Localization for an In-pipe Snake Robot”, IEEE SSRR 2016. “Variational Bayesian Multi-channel Robust NMF for Human-voice Enhancement with a Deformable and Partially-occuluded Microphone Array“, EUSIPCO-2016. “Human-Voice Enhancement based on Online RPCA for a Hose-shaped Rescue Robot with a Microphone Array“, IEEE SSRR 2015. Best Innovative Paper Award. ImPACTタフロボティクスチャレンジ公開デモ (細索状ロボットの姿勢推定・音声強調, 太索状ロボットの配管内位置推定). |
|
16:50~17:00 まとめと今後の課題 奥乃 博 (早稲田大学, 研究代表者) |