PR-313 Training BatchNorm and Only BatchNorm: On the Expressive Power of Rand...Sunghoon Joo
Training BatchNorm and Only BatchNorm: On the Expressive Power of Random Features in CNNs
Jonathan Frankle, David J. Schwab, Ari S. Morcos
ICLR 2021
Paper link: https://arxiv.org/abs/2008.09093
Video presentation link: https://youtu.be/bI8ceHOoYxk
reviewed by Sunghoon Joo (주성훈)
Encoding in Style: a Style Encoder for Image-to-Image Translationtaeseon ryu
오늘 논문은 제목에서 유추가 가능하듯 Image to Image에 관련된 논문입니다. 일반적인 GAN의 형식을 띄지 않고, Pix2Pix의 정신을 이어받아, Discriminator를 사용하지 않아 학습 시간에 최적화를 이뤄 냈으며, 성능은 인코더 아키텍처를 추가 하는 방식으로 Latent Vector의 최적화를 이루어 내어 이미지를 이해하고, 높은 성능을 자랑하는 Image to Image Translation 모델을 만드는대 성공하였습니다.
논문 리뷰를 위해 이미지 처리팀 김준철님이 기초부터 논문의 자세한 리뷰까지 도와주셨습니다.
PR-313 Training BatchNorm and Only BatchNorm: On the Expressive Power of Rand...Sunghoon Joo
Training BatchNorm and Only BatchNorm: On the Expressive Power of Random Features in CNNs
Jonathan Frankle, David J. Schwab, Ari S. Morcos
ICLR 2021
Paper link: https://arxiv.org/abs/2008.09093
Video presentation link: https://youtu.be/bI8ceHOoYxk
reviewed by Sunghoon Joo (주성훈)
Encoding in Style: a Style Encoder for Image-to-Image Translationtaeseon ryu
오늘 논문은 제목에서 유추가 가능하듯 Image to Image에 관련된 논문입니다. 일반적인 GAN의 형식을 띄지 않고, Pix2Pix의 정신을 이어받아, Discriminator를 사용하지 않아 학습 시간에 최적화를 이뤄 냈으며, 성능은 인코더 아키텍처를 추가 하는 방식으로 Latent Vector의 최적화를 이루어 내어 이미지를 이해하고, 높은 성능을 자랑하는 Image to Image Translation 모델을 만드는대 성공하였습니다.
논문 리뷰를 위해 이미지 처리팀 김준철님이 기초부터 논문의 자세한 리뷰까지 도와주셨습니다.
PR-339: Maintaining discrimination and fairness in class incremental learningSunghoon Joo
PR-339: Maintaining discrimination and fairness in class incremental learning
Paper link: http://arxiv.org/abs/1911.07053
Video presentation link: https://youtu.be/hptinxZIXT4
#class imbalance, #knowledge distillation, # class incremental learning
SON 기술 소개
4G America 에 기술된 Benefit 내용을 적음
Release 8
Automatic Inventory
Automatic Software Download
Automatic Neighbor Relation
Automatic Physical Cell ID (PCI) assignment
Release 9
Mobility Robustness/Hand Over optimization
RACH optimization
Load Balancing optimization
Inter-Cell Interference Coordination
Release 10
Coverage & Capacity optimization
Enhanced Inter-Cell Interference Coordination
Cell Outage Detection and Compensation
Self-healing functions
Minimization of Drive Testing
Energy Savings
Release 11
multi-layer troubleshooting and optimization
multi-RAT HetNet troubleshooting and optimization
SON 전략의 상위 레벨을 요구 사항
Plug & Play Installation
Automatic Neighbor Relation configuration
OSS (Operating Support System) Integration
Handover Optimization
Minimization of Drive Tests
Cell Outage Compensation
Load Balancing
Energy Savings
Interaction home/macro BTS
QoS Optimization
QoS 관련 파라미터
Number of successful sessions per QoS Class Identifier (QCI)
Number of dropped sessions per QCI
Cell specific customer satisfaction rate
Min/Avg/Max throughput per QCI
Min/Avg/Max round trip delay per QCI
Packet loss per QCI
Mean number of Radio Resource Control (RRC) connected users
Mean number of RRC connected UEs with data to send per QCI
Percentage of UEs per cell that is not achieving their required GBR and not achieving the required service data unit (SDU) error ratio per QCI
Percentage of UEs for which transfer delay per IP packet was above a particular threshold
Percentage of UEs for which average throughput measured at RLC layer for each non-real time (nRT) QCI was below a particular threshold
Percentage of UEs per QCI for which the SDU error ratio is above a certain level
Number of RRC connected UEs with measurement gaps configured.
SON Architecture, Distributed vs Centralized
Exploring Deep Learning Acceleration Technology Embedded in LLMsTae Young Lee
Lab's research presentation
I am a doctoral student at Seoul National University of Science and Technology and am currently the head of the Applying LLMs to Various Industry (AL2VI) Lab.
PR-339: Maintaining discrimination and fairness in class incremental learningSunghoon Joo
PR-339: Maintaining discrimination and fairness in class incremental learning
Paper link: http://arxiv.org/abs/1911.07053
Video presentation link: https://youtu.be/hptinxZIXT4
#class imbalance, #knowledge distillation, # class incremental learning
SON 기술 소개
4G America 에 기술된 Benefit 내용을 적음
Release 8
Automatic Inventory
Automatic Software Download
Automatic Neighbor Relation
Automatic Physical Cell ID (PCI) assignment
Release 9
Mobility Robustness/Hand Over optimization
RACH optimization
Load Balancing optimization
Inter-Cell Interference Coordination
Release 10
Coverage & Capacity optimization
Enhanced Inter-Cell Interference Coordination
Cell Outage Detection and Compensation
Self-healing functions
Minimization of Drive Testing
Energy Savings
Release 11
multi-layer troubleshooting and optimization
multi-RAT HetNet troubleshooting and optimization
SON 전략의 상위 레벨을 요구 사항
Plug & Play Installation
Automatic Neighbor Relation configuration
OSS (Operating Support System) Integration
Handover Optimization
Minimization of Drive Tests
Cell Outage Compensation
Load Balancing
Energy Savings
Interaction home/macro BTS
QoS Optimization
QoS 관련 파라미터
Number of successful sessions per QoS Class Identifier (QCI)
Number of dropped sessions per QCI
Cell specific customer satisfaction rate
Min/Avg/Max throughput per QCI
Min/Avg/Max round trip delay per QCI
Packet loss per QCI
Mean number of Radio Resource Control (RRC) connected users
Mean number of RRC connected UEs with data to send per QCI
Percentage of UEs per cell that is not achieving their required GBR and not achieving the required service data unit (SDU) error ratio per QCI
Percentage of UEs for which transfer delay per IP packet was above a particular threshold
Percentage of UEs for which average throughput measured at RLC layer for each non-real time (nRT) QCI was below a particular threshold
Percentage of UEs per QCI for which the SDU error ratio is above a certain level
Number of RRC connected UEs with measurement gaps configured.
SON Architecture, Distributed vs Centralized
Exploring Deep Learning Acceleration Technology Embedded in LLMsTae Young Lee
Lab's research presentation
I am a doctoral student at Seoul National University of Science and Technology and am currently the head of the Applying LLMs to Various Industry (AL2VI) Lab.
5G 기술과 활용 (5G technology and services) - 2019.05.11Hakyong Kim
본 자료는 모 기업에서 강의한 자료를 추가로 업데이트하여 공유하는 것입니다. 5G 기술이 무엇이며 어떻게 발전해 왔는지를 소개하고, 5G 서비스의 주요 특징인 고속, 저지연, 대용량 특성에 대해 주요 응용 사례와 함께 소개합니다. 또한, 이러한 특성들을 가능하게 하는 5G 구현기술들에 대해 소개하고 있습니다. 다소 구체적인 내용들도 포함되어 있기는 하지만, 대부분 구현기술들을 개념적으로 이해할 수 있도록 정리해 놓았습니다. 그리고, 마지막으로는 5G 서비스 제공 현황을 소개하고 있습니다.
1. NetAdapt: Platform-Aware Neural Network
Adaptation for Mobile Applications
Google Inc
Tien-Ju Yang, Andrew Howard, Bo Chen, Xiao Zhang, Alec Go, Mark Sandler, Vivienne Sze, Hartwig Adam
(Submitted on 9 Apr 2018 (v1), last revised 28 Sep 2018 (this version, v2))
[참조] 뉴럴 네트워크 자동 최적화 논문 리뷰: NetAdapt (Google, 2018)|작성자
Donghyun
2. Abstract
This work proposes an algorithm, called NetAdapt, that automatically adapts a
pre-trained deep neural network to a mobile platform given a resource budget.
이 알고리즘은 사전에 훈련 된 심층 신경망을 자원 예산이 주어진 모바일 플랫폼에
자동으로 적응시키는 NetAdapt라는 알고리즘을 제안합니다.
3. Overview(자동으로 최적화!)
Input: Pretrained Network, Budget (constraints)
Output: Platform-optimized network
실용적인 Latency / Energy consumption 과 같은
"Direct Metric"을 기준으로 최적화
4. Problem Formulation
네트워크의 정확도를 최대한 떨어트리지 않으면서, 주어진 Budget을 만족하는 결과를 얻는 것
Net: Net is a simplified network from the initial pretrained network
Acc (·): computes the accuracy
Resj (·): evaluates the direct metric for resource consumption of the j th resource
j : direct metric 제한 조건을 명시
자원은 대기 시간, 에너지, 메모리 일 수 있습니다. 발자국 등 또는 이러한 측정 항목의 조합입니다.
하지만 이를 만족하는 네트워크를 한 번에 찾기란 쉽지 않다.
5. Problem Formulation
이 문제를 여러 개의 Sub-problem으로 나누어, 주어진 Budget 조건을 여러 개로 쪼개어, 한 번에 일정 만큼
만 Budget 조건을 더 타이트하게 만들고,
논문에서는 the constraints gradually become tighter 란 표현을 썼다.
이에 최적화 된 네트워크를 찾는다. 이 네트워크가 다음 단계의 input으로 들어가는 방식!
각 iteration을 표현하는 i가 추가되었다
6. Problem Formulation
Line 3: Output network가 주어진 Budget 조건을 만족 할 때까지 반복
Line 4: Constraints 자원 소비를 조금씩 줄여 타이트하게 만든다.
Line 5-8: Network의 K개 레이어에 대해 각각 다음을 수행
Line 6: 몇 개의 필터를 제거해야 하는지 선택
Line 7: 어떤 필터를 제거할 지 선택
Line 8: Short-term finetuning 진행
Line 9: K개의 레이어를 각각 수정하여 얻은 네트워크 중, Line 8에서 얻은
Accuracy가 가장 높은 네트워크 선택, 이 네트워크는 다음 단계의 Input이
된다.
Line 11: 최종적으로 나온 주어진 Budget을 만족시키는 네트워크에 Long-
term finetuning 을 진행하여 최종 결과물을 얻는다.
8. Algorithm Details
Choose # of Filters: Empirical experiments
이 단계는 경험적 측정에 따라 특정 레이어들을 얼마나 많이 보존할 것인가를 결정
하는 단계이다.
대상 계층의 필터 수를 점차적으로 줄이고 단순화 된 각 네트워크의 자원 소비를 측
정합니다.
변수들 (커널 정보, 채널 수, Input dimension 등)
의 값이 정해지면 해당 레이어의 처리 속도 역시
특정될 수 있다. 이러한 점을 이용해 사전에 실험
을 통해(Empirical Experiments) Layer-wise
Look-up table을 생성해 두고(레이어의 Spatial
정보는 변하지 않으므로!), 주어진 Budget에 따
라 해당 레이어의 필터 수를 조절할 수 있도록 하 - 테이블의 각 정보는 Tensorflow Lite + Pixel Phone 1 을 이용한 실험을 통해 진행되
었다.
역시 구글, 구글은 이런 제약을 "실험을 통해서" 해결해 버렸
다.
9. Algorithm Details
Choose Which Filters
어떤 필터를 제거해야 할 까? 이는 분명 어려운 문제이다.
하지만 이 논문에서는 간단하게 L2-norm magnitude가 작은 순서로 제거하였다.
- Norm은 벡터의 길이 혹은 크기를 측정하는 방법(함수)입니다.
- Norm이 측정한 벡터의 크기는 원점에서 벡터 좌표까지의 거리 혹은 Magnitude라고 합니다.
10. Algorithm Details
Short-/Long-Term Fine-Tune
K개의 레이어에 대해, 모두 Finetuning을 진행하고 결과를 비교하는 것은 시간 소모
의 측면으로 보았을 때 쉽지 않은 일이다.
NetAdapt는 이 문제를 Short- /Long- Term Fine-tune을 구분하는 것으로 해결했다.
- 네트워크 형태를 변형시키는 단계에서의 Fine-tuning은 짧게!
11. Algorithm Details
Short-/Long-Term Fine-Tune
Fig. 8.The accuracy of different short-term fine-tuning
iterations when adapt-ing the small MobileNetV1
(without long-term fine-tuning) on a mobile CPU
ofGoogle Pixel 1. Zero iterations means noshort-term
fine-tuning.
이와 같은 그래프를 보여주며 short-term training iteration
은 40k가 적당하다고 이야기했다.
Fig. 9.The comparison between beforeand after long-
term fine-tuning whenadapting the small MobileNetV1
on a mo-bile CPU of Google Pixel 1. Although
theshort-term fine-tuning preserves the accu-racy well,
the long-term fine-tuning givesthe extra 3.4% on
average (from 1.8% to4.5%)
12. Experiment Results
– Multipliers Two commonly used multipliers are the width multiplier and the
resolution multiplier; they can also be used together. Width multiplier scales: the
number of filters by a percentage across.
We use the notation “50% MobileNetV1 (128)” to denote applying a width
multiplier of 50% on MobileNetV1 with the input image resolution of 128.
– MorphNet is an automatic network simplification algorithm based on sparsifying
regularization.
– ADC(Automated Deep Compression) is an automatic network simplification
algorithm based on reinforcement learning.
13. Experiment Results
Fig. 5. The figure compares NetAdapt (adapting the small MobileNetV1) with the
multipliers and MorphNet on a mobile CPU of Google Pixel 1.
50% MobileNetV1 (128)
14. Experiment Results
100% MobileNetV1 (224)
Fig. 6. The figure compares NetAdapt (adapting the large MobileNetV1) with the
multipliers [9] and ADC [8] on a mobile CPU of Google Pixel 1. Moreover, the
accuracy of the adapted networks can be further increased by up to 1.3% through
using a better training configuration (simply adding dropout and label smoothing).
100% MobileNetV1 (224)
(simply adding dropout and label smoothing)
15. Conclusion
NetAdapt는 대기 시간 및 에너지와 같은 직접 메트릭을 최적화에 통합하여 플랫폼
의 특성에 따라 적응 성능을 최대화 할 수 있습니다. 경험적 측정을 사용하면 원하
는 메트릭을 측정 할 수있는 한 NetAdapt를 모든 플랫폼에 적용 할 수 있습니다.
이 연구에서는 효율적인 네트워크 최적화에 직접 메트릭을 사용하는 것의 중요성
을 강조했습니다.