論文内容の概略です Tachibana RO et al. (2020) PLoS ONE. https://doi.org/10.1371/journal.pone.0228907 →ダウンロードはこちら https://www.docswell.com/s/rtachi-lab/59QNV5-2022-08-28-155604

1. USVSEG
齧歯超音波発声の検出手法
橘 亮輔
Tachibana RO, Kanno K, Okabe S, Kobayasi KI, Okanoya K (2020)
USVSEG: A robust method for segmentation of ultrasonic vocalizations in rodents.
PLOS ONE 15(2) e0228907
論文：

2. 文脈①：小鳥の歌解析（本職）
• 音区間自動切り出し、教師あり識別
• 線型サポートベクタマシン
• 532次元の音響特徴量空間
• 教師60秒分（~400個）だけで、
1日分のデータ（~3万個）の分類。
2Tachibana et al. (2014) PLoS ONE
label ‘A’
other
識別
境界
マージン
Linear SVM

3. 文脈②：齧歯USV研究への接近
• 他の動物の音声解析技術
• 生物学・心理学・動物行動学の人たちが結構困っている
• ノイズと声の分離
• 声の音響特徴量
• 主にネズミ（マウス・ラット・他）、次にマーモセット
• ASDモデルのコミュニケーション
• 母子間コミュニケーション
• 友人のマウス研究者にたいする技術協力
• 流し録音から音声個所を切り出し＋特徴量計算
• 録音環境・機材からみなおし
• ネズミの超音波発声 (ultrasonic vocalization: USV) への興味
• 齧歯の音声はだいたい超音波 (20~100 kHz)
• 求愛行動中の音声系列にはなんらかのパターンがある
• 齧歯USVは非学習性だが、発達による変化はあるかも
• 小鳥の歌との類似性？
3

4. 目的
USVをいっぱい録音して測定の信頼度を上げたい
しかしこれまでは、
• ノイズに埋もれがち
• 手作業で切り出すのは大変
そこで、
• ノイズを低減しながら、USVの発声区間をきっちり
取り出してくるプログラムが欲しい
なお、個人的なこだわりとして
• 音響的に解釈可能な方法がいいなあ
（“AI”とかじゃなくて…）
4

5. 敵を知る①：マウスUSV
• 成体の求愛時・仔マウスの体温低下時
• 40-100 kHz
5Time (s)
A_140513Aco59_2Home1
10 11 12 13 14 15 16 17 18 19 20
0
20
40
60
80
100
120
13.8 14 14.2 14.4 14.6 14.8 15 15.2 15.4 15.6
0
20
40
60
80
100
120
Frequency(kHz)Frequency(kHz)

6. 敵を知る②：ラットUSV
• 嬉しいとき（40-60 kHz)
6
• 嫌なとき（20-25 kHz)
29.1 29.2 29.3 29.4 29.5 29.6 29.7 29.8 29.9 30.0 30.1
0
20
40
60
80
100
120
29 30 31 32 33
0
20
40
60
80
100
120
Frequency(kHz)
Time (s) Time (s)
25 26 27 28 29 30 31 32 33 34
0
20
40
60
80
100
120
Frequency(kHz)
Time (s)

7. 敵を知る③：USVと背景雑音
• ノイズのスペクトルは大体broad
• ケージひっかき音、床敷きガサガサ
• USVは周波数的にすごく局所的
7
Frequency
Amplitude
USV
noise

8. 戦略
• 要求
• サンプリングレート：250 kHz
• 時間ステップ：0.5 ms
• 時間窓：2 ms
• 周波数解像度：500 Hzくらい（50 kHzに対して1%）
→ FFTサイズ：512
• 方針
• USV成分（周期的・局所的）を目立たせるような処理をする
• なんらかの方法で閾値設定し、これを超えたものをUSVとする
• 背景ノイズを「平坦」にすることで、閾値の定義をシンプルにする
8
Frequency
Amplitude
USV
noise
Frequency
Amplitude
USV
noise
平坦化
閾値

9. 時間窓をどうするか
• 普通の窓だとスペクトル
ピークがいっぱい生じる
• サイドローブと背景雑音
の干渉？
• 移動平均すると信号の
ピークが減る
9
20 40 60 80 100
-40
-30
-20
-10
0
20 40 60 80 100
-40
-30
-20
-10
0
20 40 60 80 100
-40
-30
-20
-10
0
20 40 60 80 100
-40
-30
-20
-10
0
20 40 60 80 100
-40
-30
-20
-10
0
20 40 60 80 100
-40
-30
-20
-10
0
SNR
6 dB
0 dB
-3 dB
Frequency (kHz)
Hann窓でのスペクトル 6点移動平均
Frequency (kHz)
55 kHz正弦波＋白色雑音
Hann窓
time

10. せや、窓いっぱいつこたろ
• 直交する窓をいっぱい使う
• 多重窓 multitaper method
• 個々の窓をかけてはFFTし、
振幅スペクトルを合算する
→スペクトルのバタつき減る
• 窓系列はエネルギが特定の幅に
集中するよう設計
• 「離散扁長回転楕円体系列
（DPSS)」「Slepian系列」
• 窓の数だけFFTするので遅い
• 窓の数だけピークが太くなる
10
①
②
③
④
⑤
⑥ time

11. 多重窓はいいぞ
• ピークは太くなるが、見つけやすい
11
20 40 60 80 100
-40
-30
-20
-10
0
20 40 60 80 100
-40
-30
-20
-10
0
20 40 60 80 100
-40
-30
-20
-10
0
20 40 60 80 100
-40
-30
-20
-10
0
20 40 60 80 100
-40
-30
-20
-10
0
20 40 60 80 100
-40
-30
-20
-10
0
SNR
6 dB
0 dB
-3 dB
Frequency (kHz) Frequency (kHz)
55 kHz正弦波
＋白色雑音
多重窓Hann窓

12. さらに、平坦化
• 背景ノイズの概形を推定して差っ引くことで平らにする
• 周波数方向：
• 各時刻のスペクトルについて、ケプストラムの低次成分を差分
（high-pass liftering）
• 時間方向：
• スペクトルの中央値を差分
12

13. 提案法の全体像
13

14. 閾値どうする？
• 平坦化スペクトログラムの振幅分布をみると…
• 背景雑音が正規分布(の対数) っぽい。このSDを基準に閾値を決定。
• 背景ノイズレベルに応じて実際の閾値（dB値）が変わる。
14

15. やってみた
• aa
15

16. 比較してみた
• 多重窓 vs 単一窓（Hann窓）
• 平坦化 vs 白色化（長時間スペクトル差分）
• 平坦化がよい。SNが悪いときに多重窓がより良い。
（正解データ作成のため共著者らが人力で切り出しまくった努力の結晶である！）
16

17. おわりに
• 齧歯USVの医学生物学研究は広がりがある。
計測解析に音響知識がいるので結構大変かも。
• まず切り出しが大変、次に分類が大変
• 小鳥研究者はずっとそれらと戦ってきたのだ
• 分類を他に任せて、切り出すだけの方法を作った
• USV用の解析プログラムは色々提案されているが（VoICE, MUPET,
DeepSqueak等) 、切り出しに焦点を絞ったのがポイント
• 多重窓はなかなか使える子、平坦化は視覚的によい
• ホントはピーク周波数推定などに色々アイディアを盛り込んだ
が、それはまたいつか・・・
• 数学をもっと分かってればやりたいことは色々あるが
（ピーク推定に導関数を使うとか、複素多重窓を使うとか）
17
https://doi.org/10.1371/journal.pone.0228907
https://sites.google.com/view/vocalcommuj/resource
論文アクセス：
使用法サイト：