machine learning/Article review
Hybrid- Swin-Transformers 리뷰
Hybrid- Swin-Transformers 리뷰
2021.12.24Efficient large-scale image retrieval with deep feature orthogonality and Hybrid- Swin-Transformers 안녕하세요 이번 논문은 Nvidia 의 Christof Henkel가 2021 Google Landmark recognition과 retrieval challenge 에서 우승하고 해당 대회에서 사용한 모델에 대해 쓴 논문입니다. 사실 코드가 아직 공개되지 않아서 방법론을 정확히 이해하진 못했으나 논문이 짧고 저자가 Kaggle 랭킹 1위이신 분이기도 해서 리뷰해봤습니다. 1. Introduction [Abstract] A model with deep orthogonal fusion of local and global featu..
Intriguing properties of vision transformer 리뷰
Intriguing properties of vision transformer 리뷰
2021.12.24Intriguing properties of vit 개인적으로 Vision Transformer(VIT) 모델에 대해 관심이 많았고, intriguing~ 논문은 항상 흥미롭기 때문에 참을 수 없습니다. 논문의 abstract에 따르면 vision transformer가 occlusion, spatial permutation, domain shifts 같은 원본이미지에 대한 nuisances에 강건하다는 특징을 밝혀냈다고 합니다. Local texture에 biased한 CNN과는 달리 VIT는 shape biased representation을 한다는게 핵심인 것 같습니다. 1. Introduction CNN이 인풋 이미지의 엣지나, 윤곽선 정보를 통한 local interaction을 학습하는 반면에..
Asymmetric Loss For Multi-Label Classification 리뷰
Asymmetric Loss For Multi-Label Classification 리뷰
2021.12.20Asymmetric Loss For Multi-Label Classification 안녕하세요 오늘 리뷰 할 논문은 Asymmetric Loss For Multi-Label Classification로 줄여서 ASL Loss라고 합니다. 6개월 전쯤에 패션 스타일 데이터의 multi label 문제를 풀다가 paperwithcode 에서 당시 2위로 높은 순위를 기록하고 있길래 적용을 했는데 좋은 효과를 보아서 소개하려고 합니다. 저도 그랬지만 주위에서 Data imbalance 문제를 겪는 문들을 많이 봤습니다. 보통은 upsampling을 쓰는 smote 기법이나 undersampling 등을 많이 사용하지만 크게 효과를 보지는 못하는 것 같습니다. 그중에서도 focal loss가 좀 더 좋다고 알려..
BERT4Rec review
BERT4Rec review
2021.12.19BERT4Rec 1. Introduction Bert4rec이라고도 불리는 Sequential Recommendation with Bidirectional Encoder Representations from Transformer 에 대하여 간략하게 리뷰하려고 합니다. 대부분의 추천모델은 interaction histories에 기반한 Collaborative filtering 모델을 사용합니다. 그 중에서도 유저와 아이템의 latent vector 연산을 통해 선호를 예측하는 Matrix Factorization 을 활용하는 방법이 주로 쓰입니다. 다른 한 가지 방법은 아이템 기반의 neighborhood 방식입니다. 이는 사전에 계산된 아이템들간의 유사도를 활용해 user interaction 을 통해..
YOLO v1 리뷰
YOLO v1 리뷰
2021.12.16You Only Look Once: Unified, Real-Time Object Detection (2016) 1. Introduction 앞서 리뷰한 2 stage detection 모델들에 이어서 object detection 분야에서 획기적이었던 YOLO 모델의 첫 번째 페이퍼를 리뷰해보려고 합니다. 먼저 논문의 Abstract를 살펴봅시다. A single neural network predicts bounding boxes and class probabilities directly from full images in one evaluation. Since the whole detection pipeline is a single network, it can be optimized end-to-e..
Fast & Faster R-CNN 리뷰
Fast & Faster R-CNN 리뷰
2021.12.031.Introduction object detection의 stage는 크게 region proposal과 classification을 차례로 수행하는 2-stage detector과 동시에 이루어지는 1-stage detector로 나눌 수 있습니다. R-CNN 계열의 localization과 classification을 따로 하고 어느정도 정확도를 보장하지만 연산량이 많고 시간(fps)이 오래걸려 실시간으로 쓰기에는 무리가 있습니다. 논문이름이 Towards real-time detection이라니 재밌네요. 지난번 R-CNN에 이어서 간략하게 Fast R-CNN에 대해 알아보고 오늘 주제인 Faster R-CNN 에 대해 알아보겠습니다. 2. Fast R-CNN 기존의 R-CNN에서는 selecti..
[R-CNN] Rich feature hierarchies for accurate object detection and semantic segmentation
[R-CNN] Rich feature hierarchies for accurate object detection and semantic segmentation
2021.12.03Introduction 기존에 요약정리했었던 내용이라 업로드 하려고 보니 조금 짧네요 R-CNN 시리즈의 첫번째 논문이자 현재 인용수가 17,000번이 넘은 논문이다. Two stage object detection 이며 전체 task는 크게 region proposal과 region classification으로 이루어진다. abstract에서는 "we combined region proposals with CNNs" , 그러므로 R-CNN 이라고 한다. Region Proposal Input image에서 selective search 알고리즘을 이용해 2000여개의 물체가 존재할 만한 곳을 탐색을 한다. selective search는 segmentation에서 주로 사용되며 유사한 픽셀값을 그룹핑..
[GoogLeNet] Going deeper with convolutions
[GoogLeNet] Going deeper with convolutions
2021.11.291. Introduction VGGNet 이후 ILSVRC 2014에서 1등을 한 논문인 GoogLeNet 을 리뷰하려고 합니다. 2. Motivation and High Level Considerations 딥러닝 네트워크의 성능을 향상시키는 확실한 방법은 네트워크의 사이즈를 키우는 것이다. 레이어를 깊게 쌓아 depth 를 늘리거나 레이어의 유닛 수를 늘려 width를 키울 수 있지만 두 가지 문제점이 있다. 첫째는 오버피팅의 가능성이고, 두 번 째는 네트워크 사이즈에 따른 컴퓨터 리소스의 부담이다. 컨볼루션 레이어에서 필터 수는 곧 파라미터의 수이고, 깊게 쌓을수록 연산량은 배가 되기 때문이다. 그래서 어떻게 컴퓨팅 자원을 효율적으로 배분할까? 에 대한 대안으로 논문에서는 dense한 Fully c..
[review]Similarity_Cohen Malloy Nguyen(2019)LAZY PRICES
[review]Similarity_Cohen Malloy Nguyen(2019)LAZY PRICES
2020.04.04현재 진행중인 연구의 선행논문인 lazy prices에 대한 리뷰를 정리 겸 하려고 한다. Figure 7. Event Time Returns event time returns 에 대한 figure이다 7-A는 filling date를 기준으로 해서 1달~6달 뒤까지의 CAR(cumulative abnormal returns)를 나타내었다. 10-k와 10-q를 함께 사용해서 6달까지인것 같은데 한국 연구에서는 1~12로 구성하겠다. 7-B는 daily를 기준으로 (0이 공시시점) 공시효과를 확인한다. 보통 미국에서는 -1~1일을 기준(window 1)으로 effect를 보는 것 같다. Q5가 Q1보다 높은 것 같지만 공시이전의 방향성을 봤을 때 공시효과가 크게 있는 것 같지는 않다. 논문은 없다고 해석..
[review] Large-sample evidence on firm's year over year MD&A modification
[review] Large-sample evidence on firm's year over year MD&A modification
2020.04.01미국의 10-Q, 10-K의 MD&A section의 변화와 기업의 future return과의 관계에 대해 다룬 Similarity_Cohen_Malloy_Nguyen(2019)LAZY PRICES 를 리딩하던 중 선행논문으로 언급되고 document similarity를 다루고 있기 때문에 논문과 방법론을 살펴볼 필요성이 있다고 판단되어 리뷰글을 적게 되었습니다. First, firms with larger economic changes modify the MD&A more than those with smaller economic changes. Second, the magnitude of stock price responses to 10-K filings is positively associate..