허깅 페이스
20시간 전
개발자라면 누구나 한 번쯤은 상상해 봤을 겁니다.
“왜 CLIP 같은 멀티모달 모델은 ‘파란 모자를 쓴 소년이 사과를 들고 있다’처럼 복잡한 조합(관계, 속성, 순서 등)을 제대로 이해하지 못할까? 이미지와 텍스트를 잘 맞추는 것 같은데, 왜 이런 조합적(Compositional) 이해는 약할까?”
DeGLA(Decoupled Global-Local Alignment)는 바로 그 상상을 연구 수준에서 현실로 끌어내린 프로젝트입니다. 기존의 CLIP 기반 비전-언어 모델들이 대부분 이미지-텍스트 전체(글로벌) 표현을 한 번에 맞추는 것에 초점을 맞춘 것과는 달리, DeGLA는 글로벌 정렬과 로컬(부분/속성/관계) 정렬을 분리해서 조합적 이해를 강화하는 것을 지향합니다.
이 논문이 흥미로운 이유는 단순히 “이미지-텍스트 정렬을 더 잘한다” 수준을 넘어서, 글로벌-로컬 정렬 분리, 고품질 하드 네거티브 샘플 생성, 자기지식 증류(Self-Distillation) 안에서 사용자의 복잡한 조합적 의미(관계, 속성, 순서 등)에 대한 이해에 반응할 수 있도록 설계되었다는 점입니다. 예를 들어, “강아지가 침대 위에 있다”와 “침대가 강아지 위에 있다”처럼 순서와 관계가 바뀌면 의미가 완전히 달라지는데, DeGLA는 이런 미묘한 차이를 더 잘 구분합니다. 이제 진짜로 ‘이미지와 텍스트가 서로의 맥락을 깊이 이해하는’ 시대가 열린 거죠.
DeGLA가 도입한 가장 눈에 띄는 개념은 바로 “글로벌-로컬 정렬 분리(Decoupled Global-Local Alignment)”입니다. 기존 CLIP은 이미지 전체와 텍스트 전체를 한 번에 맞추는 글로벌 정렬만 사용했지만, DeGLA는 여기에 로컬(부분/속성/관계) 정렬을 추가로 도입합니다. 즉, 이미지-텍스트 쌍의 전체적인 의미뿐 아니라, 그 안에 포함된 세부 조각(예: 관계, 속성, 순서 등)까지 따로따로 맞추는 방식이죠.
이러한 글로벌-로컬 분리는 실제로 글로벌 정렬(전체 의미) + 로컬 정렬(부분/관계/속성) 손실 함수를 따로 설계하는 방식으로 구현되며, 이를 통해 조합적 이해는 강화하면서도 기존의 일반적 전이(transfer) 성능은 유지하는 게 DeGLA의 강점입니다.
이 모델은 총 4단계의 학습 및 정렬 과정을 거쳐 만들어졌습니다:
DeGLA의 핵심 기술적 특징은 크게 세 가지 측면에서 살펴볼 수 있습니다.
1. 글로벌-로컬 정렬 분리
이는 이미지-텍스트 전체(글로벌)와 부분/관계/속성(로컬)을 따로따로 정렬하는 방식입니다. 기존의 CLIP은 이미지 전체와 텍스트 전체만 맞췄지만, DeGLA는 각 조각(예: “파란 모자”, “소년”, “사과를 든”)까지 따로 정렬해, 복잡한 조합적 의미를 더 잘 학습합니다. 특히 IGC(이미지 기반)와 TGC(텍스트 기반) 손실을 통해 세밀한 부분까지 정렬합니다.
2. 자기지식 증류(Self-Distillation)
여기서 핵심은 기존 사전학습 모델의 일반적 전이 능력을 잃지 않는 것입니다. DeGLA는 글로벌 정렬 과정에서 “지식 증류”를 적용, 사전학습된 모델(EMA로 만든 Teacher)의 표현을 따라가도록 하여, 미세조정 과정에서 기존의 강점을 잃지 않게 합니다. 실제로 이 덕분에 조합적 이해는 강화되면서도, 기존의 범용 성능도 유지됩니다.
3. LLM 기반 하드 네거티브 샘플링
마지막으로 주목할 만한 점은, 대형 언어모델(LLM)을 활용해 5가지 유형(관계, 속성, 순서 등)의 고품질 하드 네거티브(오답) 캡션을 대량 생성한다는 것입니다. 이로 인해 모델이 단순히 “비슷한 것끼리만 맞추는” 게 아니라, “헷갈리기 쉬운 오답”까지 구분하도록 훈련됩니다. 특히 실제 이미지-텍스트 조합에서 미묘한 차이를 구분하는 데 큰 도움이 됩니다.
DeGLA의 성능은 다음과 같은 실험을 통해 검증되었습니다.
1. 조합적 이해 벤치마크(VALSE, SugarCrepe, ARO)에 대한 성능
조합적 의미(관계, 속성, 순서 등)를 평가하는 VALSE, SugarCrepe, ARO 벤치마크에서 기존 SOTA 대비 평균 3.5% 향상을 달성했습니다. 특히 “관계”나 “속성”이 바뀌는 미묘한 차이까지 잘 구분하는 결과가 인상적입니다.
2. 범용 분류(Zero-shot Classification)에서의 결과
11개 데이터셋에서 제로샷 분류 성능을 측정한 결과, 기존 대비 평균 13% 향상을 기록했습니다. 기존 방식들은 조합적 이해를 강화하면 범용 성능이 떨어지는 문제가 있었으나, DeGLA는 두 마리 토끼를 모두 잡았습니다.
3. 실제 응용 시나리오에서의 평가
실제 이미지-텍스트 검색, 캡셔닝 등 다양한 멀티모달 서비스 환경에서 테스트한 결과, “관계/속성/순서”가 중요한 복합 쿼리에서도 자연스럽고 정확한 매칭을 보여줬습니다. 다만, 극도로 복잡한 조합이나 데이터셋 외부 도메인에서는 여전히 미세한 한계가 있음을 확인했습니다.
이러한 실험 결과들은 DeGLA가 조합적 의미 이해와 범용 성능이라는 두 가지 목표를 효과적으로 해결할 수 있음을 보여줍니다. 특히 “조합적 의미 이해의 실질적 진전”은 향후 멀티모달 AI 발전에 중요한 시사점을 제공합니다.
DeGLA는 VALSE와 SugarCrepe라는 첨단 벤치마크에서 각각 +3.5%p, +3.5%p의 점수를 기록했습니다. 이는 NegCLIP, Structure-CLIP 등 기존 SOTA 모델 수준 또는 그 이상입니다.
실제로 이미지-텍스트 검색, 복합 쿼리 기반 추천, 이미지 캡셔닝 등 실제 사용 시나리오, 특히 “관계/속성/순서”가 중요한 태스크에서도 꽤 자연스러운 반응을 보입니다.
물론 아직 “극도로 복잡한 조합적 의미” 일부 영역에서 약간의 미흡함이 존재하긴 하지만, 현재 수준만으로도 다양한 서비스에 활용 가능성이 큽니다.
DeGLA는 단지 새로운 모델이 아니라, “멀티모달 AI의 조합적 의미 이해 강화”라는 흥미로운 방향성을 제시합니다.
앞으로는 더 많은 복합적 맥락 이해, 예를 들면 복잡한 이미지-텍스트 검색, 관계 기반 이미지 캡셔닝까지 인식하게 될 가능성이 큽니다.
이러한 미래가 DeGLA로 인해 조금 더 가까워졌습니다.
DeGLA에 입문하려면, 기본적인 PyTorch 기반 딥러닝과 멀티모달(비전-언어) 모델링에 대한 이해가 필요합니다.
다행히도 공식 GitHub 저장소에 예제 코드가 잘 정리되어 있어, 실제 데이터셋과 예제 스크립트로 손쉽게 학습/실험을 시작할 수 있습니다.
실무에 적용하고 싶다면?
자신의 도메인에 맞는 이미지-텍스트 페어 데이터를 확보하고, 다양한 관계/속성/순서 기반 쿼리를 테스트하면서 모델을 파인튜닝 및 평가하는 것이 핵심입니다. 또한, 실제 서비스 적용 전에는 도메인 적합성 검증 및 추가 미세조정도 병행되어야 합니다.
DeGLA는 단순한 기술적 진보를 넘어, “멀티모달 AI의 조합적 의미 이해”라는 더 큰 패러다임 전환을 향한 중요한 이정표입니다. 이 기술이 제시하는 가능성은 AI 서비스, 추천, 검색, 생성 등 산업 전반의 미래를 재정의할 잠재력을 가지고 있습니다.
우리는 지금 멀티모달 AI의 조합적 이해력 강화라는 중요한 변곡점에 서 있으며, DeGLA는 그 여정의 핵심 동력이 될 것입니다. 당신이 이 혁신적인 기술을 활용하여 미래를 선도하는 개발자가 되어보는 건 어떨까요?
Zero-shot Sim-to-Real Transfer for Reinforcement Learning-based Visual Servoing of Soft Continuum Arms
- 논문 설명: 부드러운 연속 팔(Soft Continuum Arms, SCA)의 부드럽고 변형 가능한 특성은 무한한 자유도와 비선형 행동으로 인해 모델링 및 제어에 도전 과제를 제시합니다.
- 저자: Hsin-Jung Yang, Mahsa Khosravi, Benjamin Walt, Girish Krishnan, Soumik Sarkar
- 발행일: 2025-04-23
- PDF: 링크
DreamO: A Unified Framework for Image Customization
- 논문 설명: 최근 이미지 맞춤화(예: 정체성, 주제, 스타일, 배경 등)에 대한 광범위한 연구는 대규모 생성 모델에서 강력한 맞춤화 능력을 보여줍니다.
- 저자: Chong Mou, Yanze Wu, Wenxu Wu, Zinan Guo, Pengze Zhang, Yufeng Cheng, Yiming Luo, Fei Ding, Shiwen Zhang, Xinghui Li, Mengtian Li, Songtao Zhao, Jian Zhang, Qian He, Xinglong Wu
- 발행일: 2025-04-23
- PDF: 링크
The Galactic inner spiral arms revealed by the Gaia ESO Survey chemical abundances. Metallicity and [Mg/Fe] ratios
- 논문 설명: 최근의 관측 발전, 예를 들어 Gaia DR3 GSP-Spec은 화학적 풍부함이 나선팔의 구조를 추적하고 드러내는 데 있어 잠재력을 강조하고 있습니다.
- 저자: C. Viscasillas Vázquez, L. Magrini, E. Spitoni, G. Cescutti, G. Tautvaišienė, A. Vasini, S. Randich, G. G. Sacco
- 발행일: 2025-04-23
- PDF: 링크
0
0 
댓글