SlideShare a Scribd company logo
1 of 1
Download to read offline
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
IS3-3 柴田 蓮,山内 悠嗣 (中部大学)
研究背景,目的
圧縮・復元した画像を用いた画像認識タスクは
未圧縮の画像を用いた場合と比較して認識精度が低下
1.認識精度[%]とデータ通信量[kB]
2.PSNR[dB]による画像の類似度比較
今後の展望
圧縮・復元モデル:RNNに基づく再帰型オートエンコーダ[1]
:ResNet50[2]
認識モデル
• 入力画像と復元画像の差分画像を再びネットワークへ入力
圧縮・復元モデルと認識モデルを直列に結合した構成
𝐿 = 𝐿 + 𝜆𝐿
提案手法
実験概要
認識モデルの損失
圧縮・復元モデルの損失
• 本アプローチに適した画像の圧縮・復元モデルを検討する
[1] G.Toderici,et al.“Full resolution image compression with recurrent neural networks”, CVPR, 2017.
[2] K.He,et al.“Deep residual learning for image recognition”, CVPR, 2016.
[3] I.Goodfellow,et al.“Generative adversarial nets”, NIPS, 2014.
画像を圧縮する際に一部の情報が削減され,
ノイズの発生や認識に寄与する情報が欠落することが原因
• 繰り返し回数が多いほど,入力に近い画像を出力
𝐿 = 𝑥 − 𝑥
𝐿 = −𝑝(𝑅(𝑥 )) log 𝑞(𝑅(𝑥 ))
同時最適化
交互最適化
• 2つのモデルを同時に最適化することで認識モデルを考慮した
画像の圧縮・復元が可能となる
• ただし,モデルが大きく複雑な場合,局所最適解に陥りやすい
• Generative adversarial nets[3]のように交互に最適化
• 圧縮・復元モデルを最適化する際には
損失関数の第2項を固定し,第1項のみを最適化
• 認識モデルを最適化する際には
損失関数の第1項を固定し,第2項のみを最適化
• 未圧縮モデル:未圧縮画像で認識モデルを学習
• 個別最適化モデル:圧縮・復元モデルと認識モデルを個々に学習
• 同時最適化モデル:圧縮・復元モデルと認識モデルを同時に学習
• 交互最適化モデル:圧縮・復元モデルと認識モデルを交互に学習
比較手法
実験結果
• 未圧縮画像と各手法の圧縮・復元画像のPSNRを計算
3.各手法の圧縮・復元画像と判断根拠の可視化画像
未圧縮 同時最適化 交互最適化
個別最適化
𝜆は重み調整用のハイパーパラメータ
• 損失関数:入力画像と復元画像の平均絶対誤差
• 損失関数:交差エントロピー誤差
提案手法の損失関数
提案手法の最適化方法
タスク
• 10クラスの画像分類
圧縮・復元した画像を用いた画像認識精度が向上
圧縮・復元モデルと認識モデルのEnd-to-End学習により
圧縮・復元画像を用いた画像認識精度の低下の抑制を目指す
• 未圧縮モデルの平均データ通信量は118.2kB
• 値が高いほど,類似度が高いことを示す
𝑅 :認識モデル
𝑞 :予測ラベルの確率分布
𝑝 :正解ラベルの確率分布
𝑥 :復元画像
𝑇:RNNの繰り返し回数
𝑥 :入力画像
𝑥 :復元画像

More Related Content

Recently uploaded

KOOR Australia 概要とご案内 Company Guide Book.
KOOR Australia 概要とご案内 Company Guide Book.KOOR Australia 概要とご案内 Company Guide Book.
KOOR Australia 概要とご案内 Company Guide Book.j
 
Inheritance of digital legacies when you die or when a family member dies.pptx
Inheritance of digital legacies when you die or when a family member dies.pptxInheritance of digital legacies when you die or when a family member dies.pptx
Inheritance of digital legacies when you die or when a family member dies.pptxoganekyokoi
 
ゲーム理論 BASIC 演習107 -フリーライダー-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習107 -フリーライダー-#ゲーム理論 #gametheory #数学ゲーム理論 BASIC 演習107 -フリーライダー-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習107 -フリーライダー-#ゲーム理論 #gametheory #数学ssusere0a682
 
To obtain the status of Foreigners' Immigration Residence Operations Specifie...
To obtain the status of Foreigners' Immigration Residence Operations Specifie...To obtain the status of Foreigners' Immigration Residence Operations Specifie...
To obtain the status of Foreigners' Immigration Residence Operations Specifie...oganekyokoi
 
デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)
デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)
デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)ayakanishimuracmc
 
Womencanfly 公開用_留学準備コース(BASIC) オンラインセルフペースご案内
Womencanfly 公開用_留学準備コース(BASIC) オンラインセルフペースご案内Womencanfly 公開用_留学準備コース(BASIC) オンラインセルフペースご案内
Womencanfly 公開用_留学準備コース(BASIC) オンラインセルフペースご案内j
 

Recently uploaded (6)

KOOR Australia 概要とご案内 Company Guide Book.
KOOR Australia 概要とご案内 Company Guide Book.KOOR Australia 概要とご案内 Company Guide Book.
KOOR Australia 概要とご案内 Company Guide Book.
 
Inheritance of digital legacies when you die or when a family member dies.pptx
Inheritance of digital legacies when you die or when a family member dies.pptxInheritance of digital legacies when you die or when a family member dies.pptx
Inheritance of digital legacies when you die or when a family member dies.pptx
 
ゲーム理論 BASIC 演習107 -フリーライダー-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習107 -フリーライダー-#ゲーム理論 #gametheory #数学ゲーム理論 BASIC 演習107 -フリーライダー-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習107 -フリーライダー-#ゲーム理論 #gametheory #数学
 
To obtain the status of Foreigners' Immigration Residence Operations Specifie...
To obtain the status of Foreigners' Immigration Residence Operations Specifie...To obtain the status of Foreigners' Immigration Residence Operations Specifie...
To obtain the status of Foreigners' Immigration Residence Operations Specifie...
 
デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)
デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)
デジタルコミュニケーション研究会立ち上げの趣旨と活動内容(2024年5月19日開催)
 
Womencanfly 公開用_留学準備コース(BASIC) オンラインセルフペースご案内
Womencanfly 公開用_留学準備コース(BASIC) オンラインセルフペースご案内Womencanfly 公開用_留学準備コース(BASIC) オンラインセルフペースご案内
Womencanfly 公開用_留学準備コース(BASIC) オンラインセルフペースご案内
 

Featured

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by HubspotMarius Sescu
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTExpeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsPixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfmarketingartwork
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summarySpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentLily Ray
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best PracticesVit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project managementMindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...RachelPearson36
 

Featured (20)

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 

画像の圧縮・復元モデルと認識モデルのEnd-to-End学習

  • 1. 画像の圧縮・復元モデルと認識モデルのEnd-to-End学習 IS3-3 柴田 蓮,山内 悠嗣 (中部大学) 研究背景,目的 圧縮・復元した画像を用いた画像認識タスクは 未圧縮の画像を用いた場合と比較して認識精度が低下 1.認識精度[%]とデータ通信量[kB] 2.PSNR[dB]による画像の類似度比較 今後の展望 圧縮・復元モデル:RNNに基づく再帰型オートエンコーダ[1] :ResNet50[2] 認識モデル • 入力画像と復元画像の差分画像を再びネットワークへ入力 圧縮・復元モデルと認識モデルを直列に結合した構成 𝐿 = 𝐿 + 𝜆𝐿 提案手法 実験概要 認識モデルの損失 圧縮・復元モデルの損失 • 本アプローチに適した画像の圧縮・復元モデルを検討する [1] G.Toderici,et al.“Full resolution image compression with recurrent neural networks”, CVPR, 2017. [2] K.He,et al.“Deep residual learning for image recognition”, CVPR, 2016. [3] I.Goodfellow,et al.“Generative adversarial nets”, NIPS, 2014. 画像を圧縮する際に一部の情報が削減され, ノイズの発生や認識に寄与する情報が欠落することが原因 • 繰り返し回数が多いほど,入力に近い画像を出力 𝐿 = 𝑥 − 𝑥 𝐿 = −𝑝(𝑅(𝑥 )) log 𝑞(𝑅(𝑥 )) 同時最適化 交互最適化 • 2つのモデルを同時に最適化することで認識モデルを考慮した 画像の圧縮・復元が可能となる • ただし,モデルが大きく複雑な場合,局所最適解に陥りやすい • Generative adversarial nets[3]のように交互に最適化 • 圧縮・復元モデルを最適化する際には 損失関数の第2項を固定し,第1項のみを最適化 • 認識モデルを最適化する際には 損失関数の第1項を固定し,第2項のみを最適化 • 未圧縮モデル:未圧縮画像で認識モデルを学習 • 個別最適化モデル:圧縮・復元モデルと認識モデルを個々に学習 • 同時最適化モデル:圧縮・復元モデルと認識モデルを同時に学習 • 交互最適化モデル:圧縮・復元モデルと認識モデルを交互に学習 比較手法 実験結果 • 未圧縮画像と各手法の圧縮・復元画像のPSNRを計算 3.各手法の圧縮・復元画像と判断根拠の可視化画像 未圧縮 同時最適化 交互最適化 個別最適化 𝜆は重み調整用のハイパーパラメータ • 損失関数:入力画像と復元画像の平均絶対誤差 • 損失関数:交差エントロピー誤差 提案手法の損失関数 提案手法の最適化方法 タスク • 10クラスの画像分類 圧縮・復元した画像を用いた画像認識精度が向上 圧縮・復元モデルと認識モデルのEnd-to-End学習により 圧縮・復元画像を用いた画像認識精度の低下の抑制を目指す • 未圧縮モデルの平均データ通信量は118.2kB • 値が高いほど,類似度が高いことを示す 𝑅 :認識モデル 𝑞 :予測ラベルの確率分布 𝑝 :正解ラベルの確率分布 𝑥 :復元画像 𝑇:RNNの繰り返し回数 𝑥 :入力画像 𝑥 :復元画像