[ViT 시리즈] Vision Transformer 논문 리뷰 보단 메모.
본격적인 Vision Transformer 관련 논문들을 리뷰를 하기 전에, 공부한 내용을 정리할 겸해서 간단하게 메모장을 끄적이는 느낌으로 정리를 해볼까 합니다. 1. 사전 지식 ■ Attention mechanism Encoder ↔️ Decoder 사이의 correlation을 바탕으로 특징을 추출해 나가는 과정. Decoder로 부터 query가 나옴. Encoder로 부터 key, value가 나옴. 📝 참고 그림 더보기 ■ Self-Attention mechanism 입력 데이터로 부터 query, key, value가 계산된다. 그 이후에는 Attention mechanism과 동일한 과정으로 진행. 데이터 내의 상관 관계를 바탕으로 특징을 추출해 나가는 과정. 입력 데이터로 부터 quer..
[생성모델 시리즈] Adversarial Latent Autoencoders
■ 본 논문은, GAN의 Generator → F, G & Discriminator → E, D 각각 분리하여 아키테처를 구성하고 있습니다. ■ F에서 나온 latent space와 E에서 나온 latent space가 서로 동일한 분포를 가진다고 가정해서 연구가 진행 되었으며, F는 deterministic하게 latent space mapping이 이루어지고, G﹒E는 독립적이고 이미 알려진 분포의 noise인 $\eta$를 입력으로 주어 stochastic하게 만듭니다. ■ 결론적으로 latent space의 확률 분포를 adversarial 하게 학습할 수 있는 장점이 있습니다. 그로 인하여 GAN과 비슷한 생성 능력, disentangled representation을 학습한 점을 보여주고 있습..
[DCLGAN] Dual Contrastive Learning for Unsupervised Image-to-Image Translation
Abstract Unsupervised image-to-image translation개념 Unsupervised image-to-image translation tasks는 unpaired train data에서 source domain X와 target domain Y간의 mapping이 되는 지점을 찾는 것을 목표로 하는 task 입니다. CUT(Contrastive Learning for unpaired image-to-image Translation) Contrastive Learning for unpaired image-to-image Translation은 두개의 도메인 (X, Y) 모두에 대해 하나의 Encoder만 사용하여 입력, 출력 패치(patch)의 mutual information..
[글또 6기] 글또 6기를 시작하며
1. 참여 계기 본인의 생각을 글로 다듬어 작성하는 일들은 쉽지 않다고 생각됩니다. 그래서 꾸준히 블로그를 작성하려고 노력한지 어느덧 9년이라는 시간이 흘렀습니다. 하지만 아직 부족함이 많고 특히 학문적인 내용에 대한 글들을 다른 사람들이 볼 때 쉽게 이해할 수 있도록 잘 정리를 한다는 것은 정말 어려운 일인거 같습니다. 그때 글또라는 커뮤니티(?)을 알게 되어 글또 4기부터 지금가지 참여를 하게 되었습니다. 4기때는 그래도 나름 열심히 활동을 했지만 5기때는 활동을 거의 하지 못해서 아쉬움이 많이 남았습니다. 그래서 이번 6기때는 더 나은 글과 더 나은 패드백을 드리기 위해 좀 더 많은 시간을 투자하고 싶어 참여를 신청하게 되었습니다. 2. 얻고 싶은 것. 첫째, 글을 작성할 때 전달하고자 하는 내용을..
글또 5기 회고록
글또 5기를 시작했을 때 나의 다짐 글또 4기때 나름(?) 열심히 해서 좋은 글들을 읽고 쓰기도 많이 썻었습니다. 그래서! 이번 5기때는 4기때보다 더 열심히 해야겠다!! 보증금을 전액 다 받아야겠다!!!😤 라는 목표와 다짐으로 5기 참여를 하게 되었었습니다. 이번 글또 5기때 다짐을 다시 한번 정리를 해보면 보증금 전액 환불 받기 많은 논문을 읽고 이해하기 쉽도록 리뷰글 작성하기. 티스토리에서 깃허브 블로그로 이전하기. 글을 작성할 때 논리적으로 작성하기. 하지만... 글또 4기때는 나름 글도 많이 쓰고 피드백도 꾸준히 해드렸지만 글또 5기때는 글도 거의 작성 못하고 활동을 거의 못했던거 같아 아쉬움이 많이 드내요...🥲 요즘은 어덯게 살고 있나? 글또 5기 활동을 하는 도중 드디어 석사 학위 졸업을 ..
[MemAE]Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection -1
1. Abstract 정상 데이터를 이용하여 Autoencoder(AE)을 학습하면 정상보단 비정상 데이터에 대해 더 높은 재구성 오류(reconstruction error)을 얻게 됩니다. 하지만 AE는 일반화(Generalization)가 잘 이루어진다는 특징이 있어서 비정상 데이터가 입력되어도 정상을 재구성 해야하지만 결함이 있는 부분까지 포함하여 재구성 하는 경우가 발생하게 됩니다. 이런 AE기반 이상 탐지(Anomaly Detection)의 한계점을 개선하기 위한 해결책으로 메모리 모듈(memory module)을 사용하여 AE을 augmented 하는 방법인 MemAE을 이 논문에서는 제안하고 있습니다. 방법은 (1) 입력 $\mathbf{x}$가 주어지면 MemAE는 먼저 Encoder을 통..
GAN을 이용한 효율적인 Anomaly Detection 방법 [f-AnoGAN vs MemAE]
Unsupervised Learning 방법으로 GAN을 이용한 Anomaly Detection 방법 중 Encoder 부분을 이용한 f-AnoGAN 방법이 있습니다. 이 방법은 효율적으로 Anomaly Detection을 잘 하지만 미세한 결함을 제대로 검출하기 힘들다는 한계점이 있습니다. 본 글에서는 f-AnoGAN의 특징들과 단점에 대해 간략히 소개를 하고 그 해결책에 대한 내용을 간략하게 정리해보기 위한 글 입니다. 비교를 할 논문은 아래와 같습니다. f-AnoGAN MemAE f-AnoGAN 참고 링크 blog.promedius.ai/f-anogan-fast-unsupervised-anomaly-detection-with-gan/ Github tutorial github.com/mulkong/f..