King Abdullah University of Science and Technology, ICLR 2024 “Enhancing Vision-Language Understanding with Advanced Large Language Models” 💡 고품질 데이터와 llm의 체급이 vision-langua...

google deepmind, NIPS 2022 “Flamingo: a Visual Language Model for Few-Shot Learning” 💡 기존의 거대 모델들을 Frozen시킨 채, Gated Cross-Attention을 통해 시각 정보를 주입함으로써 학습하지 않은 새로운 visual tas...

salesforce, ICML 2023 “BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models” 💡 두 모달리티를 효율적으로 정렬하기 위해서 querying transformer ...

bookmark bookmark NIPS 2023 oral Abstract llava 프레임워크 내에서 llm의 설계 선택지를 통제된 환경에서 조사한 최초의 체계적인 연구 llava의 기존 방식인 **fully connected vision-language connector**가 예상보다 훨씬 더 강력하고 데이터...

bookmark Abstract VLM의 한계를 극복하기 위한 Chain-of-visual-thought (COVT)라는 새로운 프레임워크를 제안함 문제점: 기존 VLM은 언어적 추론에는 뛰어나지만, 공간적 추론이나 기하학적 인식과 같이 밀도 높은 시각적 지각이 필요한 작업에서는 어려움을 겪음 시각적 정보를 제한적인 텍...

Abstract MLLM의 발전 - 여러 VQA tasks 하지만 interpretability가 약하고, 답에 관한 정보가 있는 지역의 크기가 작은 복잡한 visual 입력을 어려워함 이 문제를 해결하기 위해서, 본 연구는 **대규모의 visual CoT 데이터셋을 수집하고 제시함** 438k의 question-an...

bookmark 강의 자료 정리 Reasoning. 추론이란? “이미 알고 있는 정보를 단서로 삼아 몰랐던 사실을 알아내는 과정” 정보 사이의 연결고리를 찾아서 논리적으로 사고하는 능력 참고 bookmark second letter concatenation 첫번째 단...

bookmark 강의 자료 정리 Toward High Resolution, High Performance - Intro LLaVA-NeXT: Improved reasoning, OCR, and world knowledge (2024년 1월) https://llava-vl.github.io/blog/2024...

bookmark 강의 자료 정리 Early LVLMs **Flamingo** (2022, google deepmind) https://arxiv.org/pdf/2204.14198 사전학습된 vision 모델과 language model을 연결함 - image input을 처리할 수 있는 챗봇 예시 보여줌...

ICLR 2024 Spotlight / Authors from Beijing Academy of Artificial Intelligence, Tsinghua U, Peking U https://github.com/baaivision/Uni3D 💡Uni3D = pretrained ViT를 기반으로 3D 입력만 바꿔서 멀티모달 정렬로 파인튜닝한 대규...

CVPR 2024 / Authors from salesforce, stanford u, pennsylvania u, texas at austin u https://github.com/salesforce/ULIP Abstract multimodal pretraining의 발전으로 3d representation learning의 성능이 올라감...

https://github.com/Tencent-Hunyuan/Hunyuan3D-2.1 Abstract 3D AIGC (AI-generated content)의 응용 분야 다양함 많은 모델들이 등장했으나, 여전히 3d 데이터의 수집, 처리, 학습 과정이 복잡해서, 연구자/개발자/디자이너에게만 접근 가능한 영역으로 남아 있음 Hunyua...

CVPR 2025 Workshop Emotion interpretation이라는 task를 새로 제시, 벤치마크 데이터셋 (+평가 기준) 제시 ”한 인물의” 감정에 집중함 - 전체 장면에 대한 감정은 아님 학습 x 평가만 o (평가에 대한 데이터셋 + 지표 제시한 것이 novelty) Abstract 기존 감정 분석...

Visual Instruction Tuning NIPS 2023 → LLM에 이미지 인식 능력을 더해준 것이 특징 –참고–// LLaVA [논문 리뷰] LLaVA, LLaVA-1.5 Abstract machine-generated instruction-following 데이터로 LLM을 instruction tuning하는 것은 새로운...

CVPR 2024 https://github.com/aimmemotion/EmoVIT Abstract Visual instruction tuning - task-specific instruction을 통해 사전학습된 언어 모델을 fine-tuning 여러 nlp task에서는 높은 zero-shot 능력을 보여주었지만, visual em...