분류 전체보기
YOLO v1 리뷰
YOLO v1 리뷰
2021.12.16You Only Look Once: Unified, Real-Time Object Detection (2016) 1. Introduction 앞서 리뷰한 2 stage detection 모델들에 이어서 object detection 분야에서 획기적이었던 YOLO 모델의 첫 번째 페이퍼를 리뷰해보려고 합니다. 먼저 논문의 Abstract를 살펴봅시다. A single neural network predicts bounding boxes and class probabilities directly from full images in one evaluation. Since the whole detection pipeline is a single network, it can be optimized end-to-e..
Fast & Faster R-CNN 리뷰
Fast & Faster R-CNN 리뷰
2021.12.031.Introduction object detection의 stage는 크게 region proposal과 classification을 차례로 수행하는 2-stage detector과 동시에 이루어지는 1-stage detector로 나눌 수 있습니다. R-CNN 계열의 localization과 classification을 따로 하고 어느정도 정확도를 보장하지만 연산량이 많고 시간(fps)이 오래걸려 실시간으로 쓰기에는 무리가 있습니다. 논문이름이 Towards real-time detection이라니 재밌네요. 지난번 R-CNN에 이어서 간략하게 Fast R-CNN에 대해 알아보고 오늘 주제인 Faster R-CNN 에 대해 알아보겠습니다. 2. Fast R-CNN 기존의 R-CNN에서는 selecti..
[R-CNN] Rich feature hierarchies for accurate object detection and semantic segmentation
[R-CNN] Rich feature hierarchies for accurate object detection and semantic segmentation
2021.12.03Introduction 기존에 요약정리했었던 내용이라 업로드 하려고 보니 조금 짧네요 R-CNN 시리즈의 첫번째 논문이자 현재 인용수가 17,000번이 넘은 논문이다. Two stage object detection 이며 전체 task는 크게 region proposal과 region classification으로 이루어진다. abstract에서는 "we combined region proposals with CNNs" , 그러므로 R-CNN 이라고 한다. Region Proposal Input image에서 selective search 알고리즘을 이용해 2000여개의 물체가 존재할 만한 곳을 탐색을 한다. selective search는 segmentation에서 주로 사용되며 유사한 픽셀값을 그룹핑..
[Kaggle] Petfinder 대회 진행상황
[Kaggle] Petfinder 대회 진행상황
2021.12.02Petfinder 대회를 진행하면서 중간점검 식으로 지금까지 시도한 모델들과 결과를 정리해보려고 한다. 대회에 참여한지 한 달 정도 지났는데 인기도 많은 대회고, 등수도 아직까진 높아서 현재 sartorius 보다 열심히 하는 중이다. 모델 * vit_large_patch32_384 * swin_large_patch4_window12_384 * swin_large_patch4_window7_224 * Hybrid-swin * SVR 기본적으로 timm library를 통해 pretrained 된 모델을 불러와 학습시켰다. 아무 api도 사용하지 않고 파이토치만을 이용하여 vit와 swin 모델을 학습하였다. Vit와 swin모두 이미지 사이즈가 가장 큰 384를 이용했고, 각각 18.3과 18.0 정도의..
[GoogLeNet] Going deeper with convolutions
[GoogLeNet] Going deeper with convolutions
2021.11.291. Introduction VGGNet 이후 ILSVRC 2014에서 1등을 한 논문인 GoogLeNet 을 리뷰하려고 합니다. 2. Motivation and High Level Considerations 딥러닝 네트워크의 성능을 향상시키는 확실한 방법은 네트워크의 사이즈를 키우는 것이다. 레이어를 깊게 쌓아 depth 를 늘리거나 레이어의 유닛 수를 늘려 width를 키울 수 있지만 두 가지 문제점이 있다. 첫째는 오버피팅의 가능성이고, 두 번 째는 네트워크 사이즈에 따른 컴퓨터 리소스의 부담이다. 컨볼루션 레이어에서 필터 수는 곧 파라미터의 수이고, 깊게 쌓을수록 연산량은 배가 되기 때문이다. 그래서 어떻게 컴퓨팅 자원을 효율적으로 배분할까? 에 대한 대안으로 논문에서는 dense한 Fully c..
[review]Similarity_Cohen Malloy Nguyen(2019)LAZY PRICES
[review]Similarity_Cohen Malloy Nguyen(2019)LAZY PRICES
2020.04.04현재 진행중인 연구의 선행논문인 lazy prices에 대한 리뷰를 정리 겸 하려고 한다. Figure 7. Event Time Returns event time returns 에 대한 figure이다 7-A는 filling date를 기준으로 해서 1달~6달 뒤까지의 CAR(cumulative abnormal returns)를 나타내었다. 10-k와 10-q를 함께 사용해서 6달까지인것 같은데 한국 연구에서는 1~12로 구성하겠다. 7-B는 daily를 기준으로 (0이 공시시점) 공시효과를 확인한다. 보통 미국에서는 -1~1일을 기준(window 1)으로 effect를 보는 것 같다. Q5가 Q1보다 높은 것 같지만 공시이전의 방향성을 봤을 때 공시효과가 크게 있는 것 같지는 않다. 논문은 없다고 해석..
[review] Large-sample evidence on firm's year over year MD&A modification
[review] Large-sample evidence on firm's year over year MD&A modification
2020.04.01미국의 10-Q, 10-K의 MD&A section의 변화와 기업의 future return과의 관계에 대해 다룬 Similarity_Cohen_Malloy_Nguyen(2019)LAZY PRICES 를 리딩하던 중 선행논문으로 언급되고 document similarity를 다루고 있기 때문에 논문과 방법론을 살펴볼 필요성이 있다고 판단되어 리뷰글을 적게 되었습니다. First, firms with larger economic changes modify the MD&A more than those with smaller economic changes. Second, the magnitude of stock price responses to 10-K filings is positively associate..
[project] Dart crawling
[project] Dart crawling
2020.01.29전자공시시스템 dart 에는 주식시장에 상장된 기업들의 공시정보를 제공합니다. 유가증권시장, 코스닥 시장 외에도 많은 한국의 기업들의 전자정보를 제공하며 따로 dart api 를 제공하기 때문에 비교적 쉽게 데이터를 가져올 수 있습니다. 이중에서도 기업이 매년 공시하는 정기보고서 중 사업보고서를 크롤링하여 가져와보았습니다. 그 중 이사의 경영진단 및 분석의견 항목에는 회사의 전반적인 당년 성과가 텍스트로 나와있습니다. (해당 기업이 전반적으로 적자를 보았다는 내용) 재무제표를 제외한 기업의 당년 평가정보에 대한 텍스트를 저장하여 라벨링해 해당 기업의 성과를 분석할 수 있다면, 또 이를 historical data와 비교하여 어느정도 패턴을 찾거나 상관성을 발견할 수 있다면 유의미한 프로젝트가 되지 않을까..
[CS224N] Introduction and Word Vectors
[CS224N] Introduction and Word Vectors
2019.07.19※ 스탠포드 자연어처리강좌인 2019 CS224N을 듣고 정리하여 블로그에 포스팅하기로 했습니다. 영어강의고 전문지식이 미숙하다보니 내용정리에 틀린점이 있을 가능성이 다분합니다. 일단은 정리용으로 포스팅하겠습니다. 강의의 원문 링크입니다. https://web.stanford.edu/class/cs224n/ 우리가 하려고 하는것은 단어의 의미(meaning)을 표현하는 것입니다. 그렇다면 Meaning 이란 무엇일까요. 바로 우리가 word나 phrase 등을 통해서 표현하고자 하는 idea를 뜻합니다. 텍스트가 아니더라도 writing이 아닌 다른 art의 방식으로도 아이디어는 표현될 수 있겠죠. 컴퓨터 사이언스에는 Denotational semantics(표시적 의미론) 으로 형식적인 의미를 제공합니..
딥러닝을 이용한 자연어 처리(3)
딥러닝을 이용한 자연어 처리(3)
2019.07.19이제껏 classification에 대해서 공부했는데 generation 또한 이와 더붙어 자연어리에서 중요합니다. Language Modeling이란 input으로 하나의 문장이 들어왔을때 output으로 그에 대한 확률을 알려주는 모델입니다. 즉 기존의 데이터 문장을 토대로 문장이 등장할 확률을 계산 , scoring하는것으로 이해할 수 있습니다. 기존의 classification은 supervised learning 이였지만 , 언어 모델링은 비지도학습입니다. 그러나 순서가 있는 지도학습으로 바꿔서 풀 수 있습니다.(?) 이를 풀기 위해 Autoregressive language modeling(자기회귀 언어 모델링)에 대해 알아봅시다. n-gram language model이란 연속적인 n개의 토..
딥러닝을 이용한 자연어처리(2)
딥러닝을 이용한 자연어처리(2)
2019.07.11Sentence representation을 어떻게 할까 Continous bag-of words(CBow) 단어장을 단어 주머니로 보게되고, 이에 따라 단어의 순서는 무시합니다. 문장에 대해서는 token의 순서를 무시하고 각각의 개별 토큰의 벡터화한 합을 average한다. 효과가 제일 좋기 때문에(경험상) classification 할 때 baseline으로 두고 시도하는게 좋다고 합니다. 관련해서 FastText[Bojanowski, 2017]를 언급하셨는데 저번에 sentiment analysis 공부하다 pytorch로 구현한 링크를 보아서 첨부하겠습니다. https://github.com/bentrevett/pytorch-sentiment-analysis/blob/master/3%20-%20..
Google extended IO (Seoul) 후기
Google extended IO (Seoul) 후기
2019.06.30festa 에서 머신러닝, 딥러닝 관련해서 들어볼만한 컨퍼런스를 찾다가 세종대학교에서 ML 세션에 관련된 강의를 하길래 현식이랑 들으러갔다. 생각보다 일찍 도착해서 줄서있기전에 Google startup support(?) 맞나 측에서 지원하는 부스를 구경하다 홀에 들어가서 대기했다. 전체 트랙이 총 A,B,C 세 개로 동시진행되는 형태였고 각각 크게 웹, ( cloud , ML ) , 디자인 쪽으로 구성되어있었다. B track의 강연은 cloud 강연 2개와 ML파트 3개로 구성되어있었으며 cloud 부터 순서대로 진행되었다. 1. G-suite 앱과 Apps Script 를 이용한 업무 강연 시작에앞서서 키노트 발표를 해주셨던 구글 개발자 분이 발표를 해주셨다. Google developer..