Deep Learning Post

Deep Learning Paper Review

• 

  [논문 정리 LLaVA-Med] Training a Large Language-and-VisionAssistant for Biomedicine in One Day LLaVA에 이어서 LLaVA-Med도 정리해야지. 제목: LLaVA-Med: Training a Large Language-and-Vision Assistant for Biomedicine in One Day 저자: Chunyuan Li et al. 인용: 136 (2024.04.19) 학회: NIPS2023 링크: https://arxiv.org/abs/2306.00890 Abstract. 1. chatboot AI의 멀티모달 격차: - 현재 대화형 AI 기술은 Bio-medical 분야에서 가능성을 보여주지만, 주로 단일 모드(텍스트 전용) context 전용 - Bio-medical image를 이해하고 대화할 수 있는 정교한 도구가 부족. 2. 대규모 데이터 세트 + GPT-4를 이용한 새로운 .. 2024.04.19

• 

  [Technical report: Gemini 요약] A Family of Highly Capable Multimodal Models Google for developers 에서 진행하는 ML Reading CLUB에 참여해 다양한 구글의 ML chatboot? LLM 모델을 읽어보고 각자 리뷰하는 시간을 가졌다. 1주차에는 Gemini 논문을 읽었고 추후에 2,3주차는 Gemma, Gemini-1.5를 리뷰할 계획이다. 원래라면 한번 읽어보고 생각을 공유하는 정도에서 마무리하려고 했는데, 다른분들이 내가 생각하는 내용과 다른 부분을 매우 꼼꼼하게 생각해주셔서, 그냥 잊어버리기엔 아깝다라는 생각과, 그리고 좀만 다음은 후, 정리를 해두면 나중에 오타와 대학과의 공동 저널클럽에서 한번 다룰 수 있지 않을까 싶어서 정리해두려고 한다. 영상: https://www.youtube.com/watch?v=CiVA8PmR2Do 제목: Gemini:.. 2024.04.19

• 

  [LLaVA 논문 정리] - Visual Instruction Tuning ACM Multi-media에 논문을 내고, 요즘 멀티 모달에 관심이 생기고 활용하고 싶다는 생각이 들어 여러가지를 하게 됐다. 의료 분야에서의 쓸만한 Multi-modality논문이 뭐가 있을까 보다가 적절하게 활용할만하다 생각이 드는 논문이 들어 정리까지 해보려고 한다. 확실히 정리를 하는게 도움이 되지만, 뭐랄까 너무 시간 소모가 심하달까,, 그래도 이 LLaVA는 한번 정리해두면 잘 쓸 것 같아서 정리도 해보려고 한다. 서론은 여기까지 하고, 본론으로 들어가면 Hugging Face에 꾸준하게 업데이트를 진행하고 있는 이 LLaVA이다. 사용법도 간단하니 Pre-trained model을 사용해보고 싶다면 HuggingFace를 들어가서 직접 해보는 것을 추천한다. [깃허브] [Hugging Fa.. 2024.04.16

YOLO

• 

  YOLOv5 Custom Model 만들기(2) - Custom Model 학습 2022.09.12

• 

  YOLOv5 Custom Model 만들기(1) - LabelImg 사용법 2022.08.20

more

CS229 Review

• 

  Stanford CS229 강의 요약 Machine Learning - Generalized Linear Model, Softmax Regression | Lecture 4-2 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Course Introduce | Lecture 1 - Andrew Ng (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Linear Regression and Gradient Descent | Lecture 2 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Locally Weighted & Logistic Regression | Lecture 3-1 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Logistic Regression & Newton's Method | Lecture 3-2.. 2023.06.10

• 

  Stanford CS229 강의 요약 Machine Learning - Perceptron Algorithm, Exponential family | Lecture 4-1 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Course Introduce | Lecture 1 - Andrew Ng (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Linear Regression and Gradient Descent | Lecture 2 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Locally Weighted & Logistic Regression | Lecture 3-1 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Logistic Regression & Newton's Method | Lecture 3-2.. 2023.06.10

• 

  Stanford CS229 강의 요약 Machine Learning - Logistic Regression & Newton's Method in Logistic Regression | Lecture 3-2 (Autumn 2018) 이전 강의 요약 Stanford CS229 강의 요약 Machine Learning Course, Lecture 1 - Andrew Ng (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Linear Regression and Gradient Descent | Lecture 2 (Autumn 2018) Stanford CS229 강의 요약 Machine Learning - Locally Weighted & Logistic Regression | Lecture 3-1 (Autumn 2018) Week 3 Topic 1. Linear Regression (Recap) 2. Locally weighted Regression 3. Probabilistic inter.. 2023.05.25

Contrastive Learning

• 

  논문 읽기 [DirectCLR] - Understanding Dimension Collapse in Contrastive self-supervised learning 오늘은 Dimension collapse에 대해서 알아보고자 한다. 특히 Contrastive Learning에서도 일어나는 Dimension Collapse에 초점을 둘 것이다. 제목 : Understanding Dimension Collapse in Contrastive self-supervised learning 학회 : ICLR 2022 저자 : Li Jing, Pascal Vincent, Yann LeCun, Yuandong Tian 인용 : 164회 (2023.07.24 기준) 링크 : https://arxiv.org/abs/2110.09348 - 시작에 앞서서 (a)는 joint embedding 방식에서의 embedding space에 대해 설명을 한 것인데, 같은 이미지가 다른 augme.. 댓글 0 2023.07.31

• 

  논문 읽기[CMC] - Contrastive Multiview Coding 오랜만에 돌아온 논문 리뷰. 오타와 대학과 함께 진행하는 논문 세미나에서 발표할 PPT의 Figure로 넣을 예정인데 혹시 몰라서 읽어볼 예정이다. 발표할 논문은 아래의 What do self-supervised Vision Transformer learn? 이라는 논문인데, 나도 나중에 이런 논문을 쓰고싶다고 느끼게 해준 논문이다. 가볍게 정리 후, 아직 업데이트를 안했는데, 조만간 조금 더 구체적으로 포스팅을 해야겠다. 논문 읽기 - What Do Self-Supervised Vision Transformers Learn? 저자: Namuk park 소속: Prescient Design Genentech, NAVER AI Lab 날짜: 2023.05.01 Arxiv 등재 학회: ICLR 2023 Pr.. 댓글 0 2023.07.17

• 

  논문 요약 [CPC] - Representation Learning with Contrastive predictive Coding 제목 : Representation Learning with Contrastive predictive Coding 학회 : NIPS 2019 Aaron van den Oord Invited talk [영상 링크] (따로 출판 된지는 몰루? 블로그 글보다 영상이 훨씬 설명을 잘한다. 글 말고 영상는 것을 추천) 저자 : Aaron van den Oord | Yazhe Li | Oriol vinyals 소속: Deep Mind 인용 : 5322 (2023.06.26 기준) 링크 : https://arxiv.org/abs/1807.03748 Background. [이미지 출처 NIPS 2019 Invited talk] 1. mutual information → 우리가 데이터 셋을 가지고 있고 아래 그림과 같이.. 댓글 0 2023.06.27

• 

  Contrastive Learning (3): [SimCLR] A Simple Framework for Contrastive Learning of Visual Representations 저자: Ting Chen | Simon Kornblith | Mohammad Norouzi | Geoffrey Hinton 소속: Google Research Team 학회: PMLR 2020 인용: 10639 (2023.06.25 기준) 논문: https://arxiv.org/abs/2002.05709 1992년 Contrastive learning? self-supervised learning의 대한 개념을 처음으로 제안하신 LeCun교수님과 더불어, 현재 Contrastive Learning / Self-supervised Learning의 핵심 논문 중 하나로 자리잡은 이 SimCLR의 교신저자가 Geoffrey Hinton 교수님이다. Facebook에서 MoCo가 2019년에 등장 후, 202.. 댓글 0 2023.06.25

• 

  Contrastive Learning (2) MoCo (Momentum Constrastive for Unsupervised Visual Representation Learning) Contrastive learning의 대표적인 논문 중 하나인 MoCo에 대해서 소개하도록 하겠습니다. FaceBook, 현재 Meta인 Facebook AI research에서 Kaimming He께서 작성한 논문입니다. (ResNet 만드신 분) MoCo에 대한 개념 설명 및 동작원리에 조금 더 초점을 맞추고 설명을 하도록 하겠습니다. MoCo의 sudo코드와 실제 동작원리가 와닫지 않을 수 있어서 그림 및 차원을 통해 설명하도록 하겠습니다. + MoCo그림에서 x^key_i, k0 과 같은 부분이 와닿지 않을 수 있어서 그부분을 조금 더 풀어보았습니다. BackGround. 배경지식으론, Representation Learning과, Contrastive Learning에 대해서 알고 넘어가야 합.. 댓글 0 2023.04.24

Sleep

• 

  [논문 정리 - CIMSleepNet] - Robust Sleep Staging over Incomplete Multimodal Physiological Signals via Contrastive Imagination [NIPS 2024] 제목: Robust Sleep Staging over Incomplete Multimodal Physiological Signals via Contrastive Imagination저자: Qi Shen et al. 인용: 0 (until, 2024.04.19)그룹: College of Medicine and Biological Information Engineering, Northeastern University, China학회: NIPS2024링크: https://neurips.cc/virtual/2024/poster/94475  우선 이 논문을 리뷰하는 이유는, 2024 NIPS에 실린 몇 안되는 수면단계분류 관련 논문이기 때문이다. 비록 이 논문의 리뷰가 끔찍할 지라도, 결과론적으로는 Poster .. 댓글 2 2024.12.29

• 

  Cardio-Respiratory Coupling Abstract이 챕터는 Cardio-Respiratory Coupling (CRC)에 대한 개념을 다루고 있음CRC: 심장박동이 호흡 패턴에 영향을 미치는 현상CRC는 호흡이 심박수와 혈압에 미치는 영향을 넘어서, 자율 신경계와 호흡 조절 시스템 간의 상호작용을 반영연구에서는 쥐를 대상으로 산소 부족 상태(sustained/intermittent hypoxia)를 조건화했을 때의 결과를 보여줌간헐적 저산소 상태는 자율 신경계와 호흡 간의 결합을 강화지속적 저산소는 결합 패턴을 변화시킴CRC의 주요 기능은 가스 교환 효율성에 미미한 영향을 주지만, 패턴의 변동성을 유지하기 위해 약하게 결합된 진동기 기능을한다고 주장원문: "we propose that cardiorespiratory control sys.. 댓글 2 2024.10.01

• 

  [논문 정리] Cardiorespiratory Coupling: Common Rhythms in Cardiac, Sympathetic, and Respiratory Activities Title: Cardiorespiratory Coupling: Common Rhythms in Cardiac, Sympathetic, and Respiratory ActivitiesAuthors: Thomas E. Dick et al.link: https://pubmed.ncbi.nlm.nih.gov/24746049/ Abstract연구 배경: Cardiorespiratory Coupling, CRC을 중심으로 호흡, 심박수, 혈압 간의 상호작용을 분석한다. 심혈관계가 호흡 패턴에 미치는 영향과 그 기전이 아직 명확하지 않기에 이 연구는 이를 규명하려고 한다.연구 목적: 간헐적 및 지속적 저산소 자극이 CRC에 미치는 차별적 영향을 분석하며, 이러한 자극이 자율신경계와 호흡 패턴에 어떻게 영향을 미치는지.. 댓글 1 2024.09.11

• 

  [논문정리] Ventilatory Burden as a Measure of Obstructive Sleep Apnea Severity Is Predictive of Cardiovascular and All-Cause Mortality Title: Ventilatory Burden as a Measure of Obstructive Sleep Apnea Severity Is Predictive of Cardiovascular and All-Cause MortalityAuthors: Ankit Parekh et al.Conference: American Journal of Respiratory and Critical Care Medicine, 2023link: https://pubmed.ncbi.nlm.nih.gov/37698405/Advancement in Sleep Apnea Monitoring: AHI(무호흡-저호흡 지수)는 수면무호흡증의 진단에 사용되지만, 심혈관 및 전체 사망률을 예측하는 데 한계가 있음.AHI는 physiolog.. 댓글 0 2024.09.10

• 

  [논문정리] SleepVST: Sleep Staging from Near-Infrared Video Signals using Pre-Trained Transformers Title: SleepVST: Sleep Staging from Near-Infrared Video Signals using Pre-Trained Transformers Authors: Jonathan F. Carter et al. Conference: CVPR 2024link: https://openaccess.thecvf.com/content/CVPR2024/html/Carter_SleepVST_Sleep_Staging_from_Near-Infrared_Video_Signals_using_Pre-Trained_Transformers_CVPR_2024_paper.htmlSummarization카메라 기반 수면 모니터링의 발전:최근 카메라 기반 생리 신호 모니터링 기술이 발전하며, 비접촉 방식으로 호흡과.. 댓글 0 2024.09.10