공부 끄적끄적/논문리뷰10 [X:AI] CycleGAN Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks paper| https://arxiv.org/abs/1703.10593 Pytorch code| GitHub - junyanz/pytorch-CycleGAN-and-pix2pix: Image-to-Image Translation in PyTorch Torch code| GitHub - junyanz/CycleGAN: Software that can generate photos from paintings, turn horses into zebras, perform style transfer, and more. CycleGAN 요약 GAN의 변형 중 하나 두 개의 서.. 2023. 5. 24. [X:AI] RoBERTa: A Robustly Optimized BERT Pretraining Approach RoBERTa: A Robustly Optimized BERT Pretraining Approach 2019년 Facebook AI에서 발표한 언어모델 RoBERTa는 BERT(Bidirectional Encoder Representations from Transformers) 모델의 성능을 개선하기 위해 만들어짐 BERT와 거의 동일한 구조를 가지고 있지만, 데이터 전처리 및 학습 방법을 개선하여 성능을 높임 BERT보다 훨씬 큰 train dataset 사용 & 마스킹 작업에 사용되는 token들을 무작위로 섞어 학습 ⇒ BERT보다 더 일반화된 표현을 학습하고, 자연어 task에서 높은 성능을 보임 BERT Bidirectional Encoder Representations from Transfor.. 2023. 5. 11. [paper reivew] BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer paper| https://arxiv.org/abs/1904.06690 Abstract 과거의 행동으로부터 user의 동적 선호도를 모델링하는 것은 RS에서 어렵고 중요 이전 방법: sequentail neurak network를 user 과거 interaction을 왼쪽에서 오른쪽으로 추천을 만들기 위해 숨겨진 표현으로 인코딩 왼쪽→오른쪽으로의 단방향 모델의 제한 단방향 architecture는 user의 행동 sequence에서 숨겨진 표현을 제한 실용적이지 않은 경직된 sequence를 가정 BERT4Rec user 행동 sequ.. 2023. 4. 30. [X:AI] RetinaNet; Focal Loss for Dense Object Detection Focal Loss for Dense Object Detection paper| https://arxiv.org/abs/1708.02002 source code| GitHub - facebookresearch/Detectron: FAIR's research platform for object detection research, implementing popular algorithms like Mask R-CNN and RetinaNet. Object detection model: 이미지 내 object의 영역을 추정하고 IoU threshold에 따라 positive/negaive sample로 구분한 후, 이를 활용하여 학습 진행 But 일반적으로 이미지 내 object 수가 적기 때문에 positiv.. 2023. 4. 7. [X:AI] U-Net: Convolutional Networks for Biomedical Image Segmentation U-Net: Convolutional Networks for Biomedical Image Segmentation paper| https://arxiv.org/abs/1505.04597 Biomedical 분야에서 Image Segmentation을 목적으로 제안된 End-to-End 방식의 Fully-Convolutional Network 기반 모델 Network 구성 형태가 U자 모양이어서 U-Net이라는 이름이 붙여짐 이미지의 전반적인 컨텍스트 정보를 얻기 위한 네트워크와 정확한 Localization을 위한 네트워크가 대칭 형태로 구성 Contracting Path → 수축단계 입력 이미지의 Context 포착을 목적으로 구성 FCNs 처럼 VGG-based Architecture Expandin.. 2023. 4. 3. [X:AI] ELMo; Deep Contextualized Word Representations Deep Contextualized Word Representations paper| https://arxiv.org/abs/1802.05365 같은 표기의 단어라도 문맥에 따라서 다르게 word embedding할 수 있으면 자연어 처리의 성능을 올릴 수 있지 않을까? → word embedding시 문맥을 고려해서 embedding하겠다는 idea ⇒ 문맥을 반영한 word embedding (Contextualized Word embedding) Abstract ¹ 단어 사용의 복잡한 특성들(ex. syntax, semantics)과, 이러한 사용이 ² 언어적 맥락(즉, 다의어를 모델링하기 위해)에 따라 어떻게 다른지, 얼마나 다양한지를 모델링하는 새로운 유형의 Deep contextualizaed.. 2023. 3. 31. 이전 1 2 다음
