Report
Share
Download to read offline
![ヒアラブルデバイスにおける
音漏れ信号を用いた空中ジェスチャ認識
鈴木 俊汰１，雨坂 宇宙１ ，杉浦 裕太１ ，渡邉 拓貴２
１慶應義塾大学，２北海道大学
01
02 実装
ハードウェア
・Apple Earpods[1]に，外部マイクを実装
・超音波信号を安定して録音
・ヒアラブルデバイスの普及
・操作にはスマートフォンのタッチやデバイスのタッチが必要
・ユーザビリティの低下
・タッチによる物理的負担
背景
アプローチ
04 結果
・8状態の精度：81.2%
・7ジェスチャの精度：78.5%
・複数人での調査
・データ拡張の採用
・画像引き延ばし 1.0倍 1.1倍
・ドップラーシフトの大きさの差異を吸収するデータ拡張
・カラーバーの調整
・最適なスペクトログラム表示の探索
問い合わせ先 info-lcl-group@keio.jp
経緯
・市販のヒアラブルデバイスから20kHzの超音波信号を再生し，
その音漏れ信号を録音
・空中ジェスチャを行う手に音漏れ信号が反射し，ドップラー効果
が発生
・ジェスチャによってドップラー効果に差異が発生し，機械学習
モデルを用いて認識
03 ジェスチャとスペクトログラム
赤：録音，青：20kHz信号の再生
解析
・20kHz信号のバンドストップフィルタ
・フーリエ解析によるスペクトログラム画像生成
実験と検証
・被験者1人に7つのジェスチャ＋ニュートラルの
計8状態を各20回取得
・20分割交差検証を実施
・Trainは16回分，Valは3回分，Testは1回分
05 今後の展望](https://image.slidesharecdn.com/poster-230926071900-f8c8793f/85/-1-320.jpg)
Recommended
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
本研究では、畳を利用した新しいディスプレイであるTataPixelを提案しています。畳の表面に織り込まれたイグサは、その繊維の方向によって光の反射具合が異なります。そのため，畳を回転させることで視覚的な色の変化が生じます。これを畳の異方性と呼びます。TataPixel は1 つの円状の畳を1 ピクセルとし、これらを並べることで様々な画像や動画を表現することができます。システムはユーザが画像を入力するソフトウェアと畳を回転させるハードウェアから構成され，容易にTataPixel を操作することができます。
EarAuthCam: Personal Identification and Authentication Method Using Ear Image...
Earphones are now used for longer hours than before with the advancement in wireless technology and miniaturization. In addition, the application of earphones has become more diverse, and opportunities to access highly confidential information through them have increased. We propose a method comprising a hearable device equipped with a small camera for user authentication from ear images. This method improves the security of the hearable device. Ear images are first captured with the camera. The ear regions in the images are then extracted using a mask region-based convolutional neural network. Finally, the user is identified using histograms of oriented gradient features and a support vector machine (SVM). Our method was able to identify 18 participants with an accuracy of 84.1%. Users are authenticated through unsupervised anomaly detection using an autoencoder with an error rate of 8.36%. This method facilitates hands- and eye-free operations without requiring any explicit authentication action by the user.
プレイマットのパターン生成支援ツールの評価
クッション性の高い素材でできたプレイマットは乳幼児の転倒による怪我を防止するため，家庭内やプレイルームなどの幅広い環境で使用される．また，周辺がパズルのような形状となっているため，マットを配置したいスペースに合わせて自由にサイズや形状を変えることができる．本研究は異なる色のプレイマットを用いて動物や数字，文字などのパターンを描くためのデザインインタフェースを提案する．これにより子どもたちが楽しみながら絵を描くことが可能になり，プレイマットに乳幼児の安全の確保だけではなく，床にデザインを表示するツールとしての用途を与える．さらに，マットを配置したいスペースに必要なマット数を直感的に把握することができ，育児の負担軽減が期待できる．
プレイマットのパターン生成支援ツール
クッション性の高い素材でできたプレイマットは乳幼児の転倒による怪我を防止するため, 家庭内やプレイルームなどの幅広い環境で使用される．また，周辺がパズルのような形状となっているため，マットを配置したいスペースに合わせて自由にサイズや形状を変えることができる．本システムは異なる色のプレイマットを用いてパターンを描くためのアプリケーションを提案する．これにより子どもたちが楽しみながら絵を描くことが可能になり，プレイマットに乳幼児の安全の確保だけではなく，床にデザインを表示するツールとしての用途を与える．さらに，マットを配置したいスペースに必要なマット数を直感的に把握することで，育児の負担軽減が期待できる．
EarHover：ヒアラブルデバイスにおける音漏れ信号を用いた空中ジェスチャ認識
本研究では，ヒアラブルデバイスへの空中ジェスチャ入力を可能にする新しいジェスチャ認識手法“EarHover” を提案します．本手法は，ヒアラブルデバイス特有の音漏れ現象に着目します．本研究では，有効な27 種類のジェスチャの中から，信号の識別性とユーザの受容性の観点から，7 種類のジェスチャを選択しました．その後，これらの7 種類のジェスチャとニュートラル状態の計8 状態のデータをインイヤー型/オーバーイヤー型の2 つのプロトタイプデバイスを用いて収集し，深層学習による認識性能の評価を行いました．実験の結果，インイヤー型/オーバーイヤー型デバイスのそれぞれのF-score は78.7%/73.4%でした．さらに，5 種類のジェスチャに絞ることで，F-score は6 状態で86.2%/82.5% でした．
Recommended
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
本研究では、畳を利用した新しいディスプレイであるTataPixelを提案しています。畳の表面に織り込まれたイグサは、その繊維の方向によって光の反射具合が異なります。そのため，畳を回転させることで視覚的な色の変化が生じます。これを畳の異方性と呼びます。TataPixel は1 つの円状の畳を1 ピクセルとし、これらを並べることで様々な画像や動画を表現することができます。システムはユーザが画像を入力するソフトウェアと畳を回転させるハードウェアから構成され，容易にTataPixel を操作することができます。
EarAuthCam: Personal Identification and Authentication Method Using Ear Image...
Earphones are now used for longer hours than before with the advancement in wireless technology and miniaturization. In addition, the application of earphones has become more diverse, and opportunities to access highly confidential information through them have increased. We propose a method comprising a hearable device equipped with a small camera for user authentication from ear images. This method improves the security of the hearable device. Ear images are first captured with the camera. The ear regions in the images are then extracted using a mask region-based convolutional neural network. Finally, the user is identified using histograms of oriented gradient features and a support vector machine (SVM). Our method was able to identify 18 participants with an accuracy of 84.1%. Users are authenticated through unsupervised anomaly detection using an autoencoder with an error rate of 8.36%. This method facilitates hands- and eye-free operations without requiring any explicit authentication action by the user.
プレイマットのパターン生成支援ツールの評価
クッション性の高い素材でできたプレイマットは乳幼児の転倒による怪我を防止するため，家庭内やプレイルームなどの幅広い環境で使用される．また，周辺がパズルのような形状となっているため，マットを配置したいスペースに合わせて自由にサイズや形状を変えることができる．本研究は異なる色のプレイマットを用いて動物や数字，文字などのパターンを描くためのデザインインタフェースを提案する．これにより子どもたちが楽しみながら絵を描くことが可能になり，プレイマットに乳幼児の安全の確保だけではなく，床にデザインを表示するツールとしての用途を与える．さらに，マットを配置したいスペースに必要なマット数を直感的に把握することができ，育児の負担軽減が期待できる．
プレイマットのパターン生成支援ツール
クッション性の高い素材でできたプレイマットは乳幼児の転倒による怪我を防止するため, 家庭内やプレイルームなどの幅広い環境で使用される．また，周辺がパズルのような形状となっているため，マットを配置したいスペースに合わせて自由にサイズや形状を変えることができる．本システムは異なる色のプレイマットを用いてパターンを描くためのアプリケーションを提案する．これにより子どもたちが楽しみながら絵を描くことが可能になり，プレイマットに乳幼児の安全の確保だけではなく，床にデザインを表示するツールとしての用途を与える．さらに，マットを配置したいスペースに必要なマット数を直感的に把握することで，育児の負担軽減が期待できる．
EarHover：ヒアラブルデバイスにおける音漏れ信号を用いた空中ジェスチャ認識
本研究では，ヒアラブルデバイスへの空中ジェスチャ入力を可能にする新しいジェスチャ認識手法“EarHover” を提案します．本手法は，ヒアラブルデバイス特有の音漏れ現象に着目します．本研究では，有効な27 種類のジェスチャの中から，信号の識別性とユーザの受容性の観点から，7 種類のジェスチャを選択しました．その後，これらの7 種類のジェスチャとニュートラル状態の計8 状態のデータをインイヤー型/オーバーイヤー型の2 つのプロトタイプデバイスを用いて収集し，深層学習による認識性能の評価を行いました．実験の結果，インイヤー型/オーバーイヤー型デバイスのそれぞれのF-score は78.7%/73.4%でした．さらに，5 種類のジェスチャに絞ることで，F-score は6 状態で86.2%/82.5% でした．
SkinRing: 装着方向に依らない指側面でのジェスチャ入力可能なリング型デバイス
本研究では，装着方向にかかわらず指側面でのジェスチャ入力を可能にするリング型デバイスSkinRing を提案する．SkinRing は，8個の反射型光センサがリングに取り付けられたもので，人差し指に装着し，親指が人差し指に触れた際の皮膚変形情報を取得することでジェスチャ識別を行う．さらに，初めに手の開閉動作によるキャリブレーションを行うことにより，装着時のリングの回転方向に依存しない入力が可能である．9種類のジェスチャの識別精度を検証した結果，87.8％の平均識別精度を示した．
バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンは有名で人気の高い楽器の1 つだが，習得は難しく時間がかかる．特に右手の運弓動作は音色を決定づける重要な要素であるが，複雑で練習や再現，指導が困難である．そこで，練習支援や記録を目的として，バイオリンの運弓動作の測定や分析が多く研究されてきた．本研究では運弓動作のうち弓圧に着目する．初心者と経験者の運弓動作を計測し，比較することにより，初心者への適切なフィードバック方法を検討する．
Converting Tatamis into Touch Sensors by Measuring Capacitance
This document summarizes a research paper that proposes a method to convert tatami floor mats into touch sensors by measuring capacitance. Conductive sheets are placed under the tatami surface. When a person contacts the tatami, capacitance is measured between the sheets and their skin to detect the touch position. The system identifies 12 hand gestures with approximately 90% accuracy. Future work includes enabling multi-touch detection and using the sensors for footprint tracking and pose estimation.
Pinch Force Measurement Using a Geomagnetic Sensor
This document proposes measuring pinch force using the geomagnetic sensor in a smartphone. A device with embedded magnets and springs is attached to the smartphone. As force is applied, the magnet's distance from the sensor changes, altering the magnetic flux density. Measurements found a strong correlation between force and magnetic flux density. Future work includes testing different smartphone models and collecting user feedback to improve usability.
Smartphone-Based Teaching System for Neonate Soothing Motions
This document describes a proposed smartphone-based teaching system to help first-time caregivers learn how to properly soothe neonates. The system uses sensors in a stuffed toy and a smartphone to capture posture angles and acceleration during cradling motions. It provides real-time feedback on the user's form compared to expert cradling motions. An experiment tested the system's effectiveness in improving users' cradling posture after training compared to just watching a video. Results showed the system helped users better match the expert's inclination angle, indicating it could help ensure neonate safety by teaching proper neck support. Future work is needed to improve measurement accuracy and further validate the system.
Tactile Presentation of Orchestral Conductor's Motion Trajectory
This document proposes presenting a conductor's motion trajectory tactilely for visually impaired musicians using vibrators. It describes capturing conducting movements, mapping them to vibrators, and using tactile apparent movement. An experiment found trajectory presentation helped predict beat timing better than single vibrations, especially for tempo changes and start cues. Future work includes developing a universal device.
TouchLog: Finger Micro Gesture Recognition Using Photo-Reflective Sensors
The researchers developed a fingernail-sized device using 7 photo-reflective sensors to detect finger microgestures based on fingertip skin deformation. They implemented a random forest classifier to recognize 11 gestures with an average accuracy of 91.1% for the general model and 91.5% for the individual model. Future work will focus on addressing limitations like user dependence and developing a device that can be worn comfortably for real-world use.
Seeing the Wind: An Interactive Mist Interface for Airflow Input
Human activities can introduce variations in various environmental cues, such as light and sound, which can serve as inputs for interfaces. However, one often overlooked aspect is the airflow variation caused by these activities, which presents challenges in detection and utilization due to its intangible nature. In this paper, we have unveiled an approach using mist to capture invisible airflow variations, rendering them detectable by Time-of-Flight (ToF) sensors. We investigate the capability of this sensing technique under different types of mist or smoke, as well as the impact of airflow speed. To illustrate the feasibility of this concept, we created a prototype using a humidifier and demonstrated its capability to recognize motions. On this basis, we introduce potential applications, discuss inherent limitations, and provide design lessons grounded in mist-based airflow sensing.
Identification and Authentication Using Clavicles
Identification and Authentication Using Clavicles
Yohei Kawasaki, Yuta Sugiura
2023 62nd Annual Conference of the Society of Instrument and Control Engineers (SICE), Mie, Japan, 2023
Estimation of Violin Bow Pressure Using Photo-Reflective Sensors
Estimation of Violin Bow Pressure Using Photo-Reflective Sensors presents a method for quantitatively estimating bow pressure during violin playing using photo-reflective sensors attached to the bow. Five sensors measure the distance between the bow stick and hair, which changes with applied pressure. A random forest regression model is trained on sensor distance values and actual pressure measurements to estimate pressure based solely on sensor values. In experiments, the model estimated bow pressure with an R2 of 0.84, MAE of 0.11N, and MAPE of 19.1% when tested on data from an experienced violinist. The goal is to provide visual feedback to support practice by quantifying bow pressure.
A Virtual Window Using Curtains and Image Projection
A Virtual Window Using Curtains and Image Projection
Naoharu Sawada, Takumi Yamamoto, Yuta Sugiura
In Proceedings of the 15th Asia Pacific Workshop on Mixed and Augmented Reality (APMAR2023) , IEEE, August 18-19, 2023, Taipei, Taiwan.
Augmented Sports of Badminton by Changing Opening Status of Shuttle’s Feathers
Augmented Sports of Badminton by Changing Opening Status of Shuttle’s Feathers
Takumi Yamamoto*, Ryohei Baba*, Yuta Sugiura (* Contribution equally)
In Proceedings of the 15th Asia Pacific Workshop on Mixed and Augmented Reality (APMAR2023) , IEEE, August 18-19, 2023, Taipei, Taiwan.
Carpal Tunnel Syndrome Estimation through Median Nerve Segmentation in Ultr...
This study aimed to improve the accuracy of estimating Carpal Tunnel Syndrome (CTS) by segmenting the median nerve in ultrasound videos and extracting features from the time-series data. The researchers used deep learning to automatically track and segment the median nerve in ultrasound videos as subjects performed finger movements. They extracted features from individual video frames as well as the time-series data and used these to estimate CTS. The estimations using features from the videos and time-series data showed higher sensitivity and specificity compared to estimations using single image features. The researchers concluded that segmenting the median nerve in ultrasound videos and using features from the time-series data can improve the accuracy of CTS estimation.
Virtual IMU Data Augmentation by Spring-Joint Model for Motion Exercises Reco...
This document proposes a method to augment virtual IMU data using a spring-joint model for motion exercise recognition without real data. The method aims to address the limitation of current virtual IMU data which has a limited motion length. It introduces a spring-joint virtual sensor module that can simulate different acceleration distributions and augment the virtual acceleration data spatially and temporally. An experiment tested the method on three aerobic exercises and showed the proposed data augmentation approach improved motion recognition accuracy from 45.5% to 85.3% compared to non-augmented virtual data.
遺伝的アルゴリズムと知識蒸留による大規模言語モデル（LLM）の学習とハイパーパラメータ最適化
オープンエンドな進化から着想を得て、個々の大規模言語モデル（LLM）が、グループとして学習を進めながら、ノームエージェントとして機能するという概念を探求しています。これは、単一のモデルでは難しい複雑な問題を解決することを目的としています。具体的な方法として、遺伝的アルゴリズムと知識蒸留を組み合わせた学習プロセスを提案しています。知識蒸留によって学習を進め、同時に遺伝的アルゴリズムでハイパーパラメータを最適化することで、より効率的な学習を目指します。ドメインタスクとして、指示からPythonコードを生成するコード生成タスクを選択しました。実験では、学習に3つの学習モデルと1つの教師モデルを使用しました。その結果、HumanEvalのpass@1で精度が1.2%向上し、学習が進むにつれて学習率が最適化された兆候が見られました。しかし、大幅な精度向上を達成し、さまざまなハイパーパラメータを最適化するには、まだ課題が残っています。
More Related Content
More from sugiuralab
SkinRing: 装着方向に依らない指側面でのジェスチャ入力可能なリング型デバイス
本研究では，装着方向にかかわらず指側面でのジェスチャ入力を可能にするリング型デバイスSkinRing を提案する．SkinRing は，8個の反射型光センサがリングに取り付けられたもので，人差し指に装着し，親指が人差し指に触れた際の皮膚変形情報を取得することでジェスチャ識別を行う．さらに，初めに手の開閉動作によるキャリブレーションを行うことにより，装着時のリングの回転方向に依存しない入力が可能である．9種類のジェスチャの識別精度を検証した結果，87.8％の平均識別精度を示した．
バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンは有名で人気の高い楽器の1 つだが，習得は難しく時間がかかる．特に右手の運弓動作は音色を決定づける重要な要素であるが，複雑で練習や再現，指導が困難である．そこで，練習支援や記録を目的として，バイオリンの運弓動作の測定や分析が多く研究されてきた．本研究では運弓動作のうち弓圧に着目する．初心者と経験者の運弓動作を計測し，比較することにより，初心者への適切なフィードバック方法を検討する．
Converting Tatamis into Touch Sensors by Measuring Capacitance
This document summarizes a research paper that proposes a method to convert tatami floor mats into touch sensors by measuring capacitance. Conductive sheets are placed under the tatami surface. When a person contacts the tatami, capacitance is measured between the sheets and their skin to detect the touch position. The system identifies 12 hand gestures with approximately 90% accuracy. Future work includes enabling multi-touch detection and using the sensors for footprint tracking and pose estimation.
Pinch Force Measurement Using a Geomagnetic Sensor
This document proposes measuring pinch force using the geomagnetic sensor in a smartphone. A device with embedded magnets and springs is attached to the smartphone. As force is applied, the magnet's distance from the sensor changes, altering the magnetic flux density. Measurements found a strong correlation between force and magnetic flux density. Future work includes testing different smartphone models and collecting user feedback to improve usability.
Smartphone-Based Teaching System for Neonate Soothing Motions
This document describes a proposed smartphone-based teaching system to help first-time caregivers learn how to properly soothe neonates. The system uses sensors in a stuffed toy and a smartphone to capture posture angles and acceleration during cradling motions. It provides real-time feedback on the user's form compared to expert cradling motions. An experiment tested the system's effectiveness in improving users' cradling posture after training compared to just watching a video. Results showed the system helped users better match the expert's inclination angle, indicating it could help ensure neonate safety by teaching proper neck support. Future work is needed to improve measurement accuracy and further validate the system.
Tactile Presentation of Orchestral Conductor's Motion Trajectory
This document proposes presenting a conductor's motion trajectory tactilely for visually impaired musicians using vibrators. It describes capturing conducting movements, mapping them to vibrators, and using tactile apparent movement. An experiment found trajectory presentation helped predict beat timing better than single vibrations, especially for tempo changes and start cues. Future work includes developing a universal device.
TouchLog: Finger Micro Gesture Recognition Using Photo-Reflective Sensors
The researchers developed a fingernail-sized device using 7 photo-reflective sensors to detect finger microgestures based on fingertip skin deformation. They implemented a random forest classifier to recognize 11 gestures with an average accuracy of 91.1% for the general model and 91.5% for the individual model. Future work will focus on addressing limitations like user dependence and developing a device that can be worn comfortably for real-world use.
Seeing the Wind: An Interactive Mist Interface for Airflow Input
Human activities can introduce variations in various environmental cues, such as light and sound, which can serve as inputs for interfaces. However, one often overlooked aspect is the airflow variation caused by these activities, which presents challenges in detection and utilization due to its intangible nature. In this paper, we have unveiled an approach using mist to capture invisible airflow variations, rendering them detectable by Time-of-Flight (ToF) sensors. We investigate the capability of this sensing technique under different types of mist or smoke, as well as the impact of airflow speed. To illustrate the feasibility of this concept, we created a prototype using a humidifier and demonstrated its capability to recognize motions. On this basis, we introduce potential applications, discuss inherent limitations, and provide design lessons grounded in mist-based airflow sensing.
Identification and Authentication Using Clavicles
Identification and Authentication Using Clavicles
Yohei Kawasaki, Yuta Sugiura
2023 62nd Annual Conference of the Society of Instrument and Control Engineers (SICE), Mie, Japan, 2023
Estimation of Violin Bow Pressure Using Photo-Reflective Sensors
Estimation of Violin Bow Pressure Using Photo-Reflective Sensors presents a method for quantitatively estimating bow pressure during violin playing using photo-reflective sensors attached to the bow. Five sensors measure the distance between the bow stick and hair, which changes with applied pressure. A random forest regression model is trained on sensor distance values and actual pressure measurements to estimate pressure based solely on sensor values. In experiments, the model estimated bow pressure with an R2 of 0.84, MAE of 0.11N, and MAPE of 19.1% when tested on data from an experienced violinist. The goal is to provide visual feedback to support practice by quantifying bow pressure.
A Virtual Window Using Curtains and Image Projection
A Virtual Window Using Curtains and Image Projection
Naoharu Sawada, Takumi Yamamoto, Yuta Sugiura
In Proceedings of the 15th Asia Pacific Workshop on Mixed and Augmented Reality (APMAR2023) , IEEE, August 18-19, 2023, Taipei, Taiwan.
Augmented Sports of Badminton by Changing Opening Status of Shuttle’s Feathers
Augmented Sports of Badminton by Changing Opening Status of Shuttle’s Feathers
Takumi Yamamoto*, Ryohei Baba*, Yuta Sugiura (* Contribution equally)
In Proceedings of the 15th Asia Pacific Workshop on Mixed and Augmented Reality (APMAR2023) , IEEE, August 18-19, 2023, Taipei, Taiwan.
Carpal Tunnel Syndrome Estimation through Median Nerve Segmentation in Ultr...
This study aimed to improve the accuracy of estimating Carpal Tunnel Syndrome (CTS) by segmenting the median nerve in ultrasound videos and extracting features from the time-series data. The researchers used deep learning to automatically track and segment the median nerve in ultrasound videos as subjects performed finger movements. They extracted features from individual video frames as well as the time-series data and used these to estimate CTS. The estimations using features from the videos and time-series data showed higher sensitivity and specificity compared to estimations using single image features. The researchers concluded that segmenting the median nerve in ultrasound videos and using features from the time-series data can improve the accuracy of CTS estimation.
Virtual IMU Data Augmentation by Spring-Joint Model for Motion Exercises Reco...
This document proposes a method to augment virtual IMU data using a spring-joint model for motion exercise recognition without real data. The method aims to address the limitation of current virtual IMU data which has a limited motion length. It introduces a spring-joint virtual sensor module that can simulate different acceleration distributions and augment the virtual acceleration data spatially and temporally. An experiment tested the method on three aerobic exercises and showed the proposed data augmentation approach improved motion recognition accuracy from 45.5% to 85.3% compared to non-augmented virtual data.
More from sugiuralab (20)
Converting Tatamis into Touch Sensors by Measuring Capacitance
Converting Tatamis into Touch Sensors by Measuring Capacitance
Pinch Force Measurement Using a Geomagnetic Sensor
Pinch Force Measurement Using a Geomagnetic Sensor
Smartphone-Based Teaching System for Neonate Soothing Motions
Smartphone-Based Teaching System for Neonate Soothing Motions
Tactile Presentation of Orchestral Conductor's Motion Trajectory
Tactile Presentation of Orchestral Conductor's Motion Trajectory
TouchLog: Finger Micro Gesture Recognition Using Photo-Reflective Sensors
TouchLog: Finger Micro Gesture Recognition Using Photo-Reflective Sensors
Seeing the Wind: An Interactive Mist Interface for Airflow Input
Seeing the Wind: An Interactive Mist Interface for Airflow Input
Estimation of Violin Bow Pressure Using Photo-Reflective Sensors
Estimation of Violin Bow Pressure Using Photo-Reflective Sensors
A Virtual Window Using Curtains and Image Projection
A Virtual Window Using Curtains and Image Projection
Augmented Sports of Badminton by Changing Opening Status of Shuttle’s Feathers
Augmented Sports of Badminton by Changing Opening Status of Shuttle’s Feathers
Carpal Tunnel Syndrome Estimation through Median Nerve Segmentation in Ultr...
Carpal Tunnel Syndrome Estimation through Median Nerve Segmentation in Ultr...
Virtual IMU Data Augmentation by Spring-Joint Model for Motion Exercises Reco...
Virtual IMU Data Augmentation by Spring-Joint Model for Motion Exercises Reco...
Recently uploaded
遺伝的アルゴリズムと知識蒸留による大規模言語モデル（LLM）の学習とハイパーパラメータ最適化
オープンエンドな進化から着想を得て、個々の大規模言語モデル（LLM）が、グループとして学習を進めながら、ノームエージェントとして機能するという概念を探求しています。これは、単一のモデルでは難しい複雑な問題を解決することを目的としています。具体的な方法として、遺伝的アルゴリズムと知識蒸留を組み合わせた学習プロセスを提案しています。知識蒸留によって学習を進め、同時に遺伝的アルゴリズムでハイパーパラメータを最適化することで、より効率的な学習を目指します。ドメインタスクとして、指示からPythonコードを生成するコード生成タスクを選択しました。実験では、学習に3つの学習モデルと1つの教師モデルを使用しました。その結果、HumanEvalのpass@1で精度が1.2%向上し、学習が進むにつれて学習率が最適化された兆候が見られました。しかし、大幅な精度向上を達成し、さまざまなハイパーパラメータを最適化するには、まだ課題が残っています。
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
我々はこれまで，新たなモノを産出する過程において「便利にすること」によって副次的に生じる課題を「便利の副作用」と定義し，その低減を目的としてアイディアの発想支援手法を提案してきた．
これまでの研究では，便利前後の行為の増減に着目することにより便利の副作用への気づきの誘発が示唆されたものの，行為の増減の提示による便利の副作用への気づきへの影響は十分に検討できていなかった．
そのため，本稿では行為の提示により便利の副作用に気づき，それを防いだアイディアの発想の支援が可能かの検証を目的として実験を行い，その有効性について検証する．
実験では，行為の増減の提示の有無によりアイディア発想にどのような影響を与えるか検証を行う．
論文紹介：Deep Learning-Based Human Pose Estimation: A Survey
Ce Zheng, Wenhan Wu, Chen Chen, Taojiannan Yang, Sijie Zhu, Ju Shen, Nasser Kehtarnavaz, Mubarak Shah, "Deep Learning-Based Human Pose Estimation: A Survey" arXiv2020
https://arxiv.org/abs/2012.13392
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Modelsを和訳紹介したものです
Recently uploaded (8)
This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
論文紹介：Deep Learning-Based Human Pose Estimation: A Survey
論文紹介：Deep Learning-Based Human Pose Estimation: A Survey
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫？ 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫？ 調査〜対策までご支援します
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
ヒアラブルデバイスにおける音漏れ信号を用いた空中ジェスチャ認識
- 1. ヒアラブルデバイスにおける 音漏れ信号を用いた空中ジェスチャ認識 鈴木 俊汰１，雨坂 宇宙１ ，杉浦 裕太１ ，渡邉 拓貴２ １慶應義塾大学，２北海道大学 01 02 実装 ハードウェア ・Apple Earpods[1]に，外部マイクを実装 ・超音波信号を安定して録音 ・ヒアラブルデバイスの普及 ・操作にはスマートフォンのタッチやデバイスのタッチが必要 ・ユーザビリティの低下 ・タッチによる物理的負担 背景 アプローチ 04 結果 ・8状態の精度：81.2% ・7ジェスチャの精度：78.5% ・複数人での調査 ・データ拡張の採用 ・画像引き延ばし 1.0倍 1.1倍 ・ドップラーシフトの大きさの差異を吸収するデータ拡張 ・カラーバーの調整 ・最適なスペクトログラム表示の探索 問い合わせ先 info-lcl-group@keio.jp 経緯 ・市販のヒアラブルデバイスから20kHzの超音波信号を再生し， その音漏れ信号を録音 ・空中ジェスチャを行う手に音漏れ信号が反射し，ドップラー効果 が発生 ・ジェスチャによってドップラー効果に差異が発生し，機械学習 モデルを用いて認識 03 ジェスチャとスペクトログラム 赤：録音，青：20kHz信号の再生 解析 ・20kHz信号のバンドストップフィルタ ・フーリエ解析によるスペクトログラム画像生成 実験と検証 ・被験者1人に7つのジェスチャ＋ニュートラルの 計8状態を各20回取得 ・20分割交差検証を実施 ・Trainは16回分，Valは3回分，Testは1回分 05 今後の展望