Yphy
Recent post
-
Potential outcome framework
Potential outcome framework
2023.05.06Endogeneity in causal inference 인과추론이 어려운 이유는 Endogeneity(내생성) 때문이다. 모델링하고자 하는 종속 변수와 독립 변수간의 상호 의존성이 존재해서 서로 영향을 끼치는 경우 endogenous하다고 한다 Everything is Endogenous 스티븐 잡스가 연설했던 connecting the dots처럼 모든 것들은 연결되어 있고 영향을 준다. 따라서 대부분의 인과추론 방법론들은 causal effect를 계산하기 위해 Endogenity problem을 해결하려고 한다. 단순하게 treatment group과 control group을 나눠서 그 차이로 인과를 설명할 수 있을까? 대부분의 연구에서 selection process는 생략되기 마련이다. 가령.. -
06. Structural properties of Network
06. Structural properties of Network
2022.06.04강의의 앞 부분에서 average node degree (degree distribution), average clustering , average path length 등의 네트워크의 global perperties 에 대해 배웠고, 이어서 node centrality , pagerank 등의 vertex 에 대한 local properties 또한 공부하였다. 6강에서는 Pairwise properties 에 대해 다룬다. - node equivalence - node similarity - correlation between pairs of vertices (node values) * Structural equivalence 두 노드의 in-out neighbors가 모두 같다면 즉 ,정확히 같은 .. -
05. Node centrality rating on Networks
05. Node centrality rating on Networks
2022.06.01그래프에서 어떤 노드가 가장 중요한 노드인지 에 대한 지표를 node centrality 라고 할 수 있다. 하지만 단순히 degree가 가장 높은 노드가 중요할 수도 있고, 노드를 거쳐서 최단거리가 되는 노드가 중요할 수도 있어 결국 어떤 속성의 네트워크인지와 어떤 것을 중점으로 볼 지에 따라 다르다. 대표적인 node centrality 에 대해서 알아보자. *closeness centrality how close an actor to all the other actors in network 특정 노드에서 다른 모든 노드에 도달하는데 얼마나 많은 단계를 거치는지를 나타내는 지표, closeness가 높다는 것은 네트워크의 중심성이 낮다. 노드의 접근성에 따라서 중요도 부과. * Betweeness c..
-
Hybrid- Swin-Transformers 리뷰
Hybrid- Swin-Transformers 리뷰
2021.12.24Efficient large-scale image retrieval with deep feature orthogonality and Hybrid- Swin-Transformers 안녕하세요 이번 논문은 Nvidia 의 Christof Henkel가 2021 Google Landmark recognition과 retrieval challenge 에서 우승하고 해당 대회에서 사용한 모델에 대해 쓴 논문입니다. 사실 코드가 아직 공개되지 않아서 방법론을 정확히 이해하진 못했으나 논문이 짧고 저자가 Kaggle 랭킹 1위이신 분이기도 해서 리뷰해봤습니다. 1. Introduction [Abstract] A model with deep orthogonal fusion of local and global featu.. -
Intriguing properties of vision transformer 리뷰
Intriguing properties of vision transformer 리뷰
2021.12.24Intriguing properties of vit 개인적으로 Vision Transformer(VIT) 모델에 대해 관심이 많았고, intriguing~ 논문은 항상 흥미롭기 때문에 참을 수 없습니다. 논문의 abstract에 따르면 vision transformer가 occlusion, spatial permutation, domain shifts 같은 원본이미지에 대한 nuisances에 강건하다는 특징을 밝혀냈다고 합니다. Local texture에 biased한 CNN과는 달리 VIT는 shape biased representation을 한다는게 핵심인 것 같습니다. 1. Introduction CNN이 인풋 이미지의 엣지나, 윤곽선 정보를 통한 local interaction을 학습하는 반면에.. -
Asymmetric Loss For Multi-Label Classification 리뷰
Asymmetric Loss For Multi-Label Classification 리뷰
2021.12.20Asymmetric Loss For Multi-Label Classification 안녕하세요 오늘 리뷰 할 논문은 Asymmetric Loss For Multi-Label Classification로 줄여서 ASL Loss라고 합니다. 6개월 전쯤에 패션 스타일 데이터의 multi label 문제를 풀다가 paperwithcode 에서 당시 2위로 높은 순위를 기록하고 있길래 적용을 했는데 좋은 효과를 보아서 소개하려고 합니다. 저도 그랬지만 주위에서 Data imbalance 문제를 겪는 문들을 많이 봤습니다. 보통은 upsampling을 쓰는 smote 기법이나 undersampling 등을 많이 사용하지만 크게 효과를 보지는 못하는 것 같습니다. 그중에서도 focal loss가 좀 더 좋다고 알려.. -
BERT4Rec review
BERT4Rec review
2021.12.19BERT4Rec 1. Introduction Bert4rec이라고도 불리는 Sequential Recommendation with Bidirectional Encoder Representations from Transformer 에 대하여 간략하게 리뷰하려고 합니다. 대부분의 추천모델은 interaction histories에 기반한 Collaborative filtering 모델을 사용합니다. 그 중에서도 유저와 아이템의 latent vector 연산을 통해 선호를 예측하는 Matrix Factorization 을 활용하는 방법이 주로 쓰입니다. 다른 한 가지 방법은 아이템 기반의 neighborhood 방식입니다. 이는 사전에 계산된 아이템들간의 유사도를 활용해 user interaction 을 통해.. -
YOLO v1 리뷰
YOLO v1 리뷰
2021.12.16You Only Look Once: Unified, Real-Time Object Detection (2016) 1. Introduction 앞서 리뷰한 2 stage detection 모델들에 이어서 object detection 분야에서 획기적이었던 YOLO 모델의 첫 번째 페이퍼를 리뷰해보려고 합니다. 먼저 논문의 Abstract를 살펴봅시다. A single neural network predicts bounding boxes and class probabilities directly from full images in one evaluation. Since the whole detection pipeline is a single network, it can be optimized end-to-e..