우리 대학 첨단영상대학원 연구진의 논문 5편이 인공지능 분야의 세계적 국제학술대회인 NeurIPS 2026(Conference on Neural Information Processing Systems)에 채택됐다.

(왼쪽부터) 권혁준, 엄찬호, 김학구, 최종원, 오지형 교수

NeurIPS는 인공지능과 머신러닝 분야의 최신 연구 성과가 발표되는 대표적인 국제학술대회다. 올해로 40회를 맞으며, 본행사는 오는 12월 6일부터 12일까지 호주 시드니에서 열린다.

특히 이번 성과는 권혁준, 엄찬호, 김학구, 최종원, 오지형 교수 연구진이 영상 생성과 검색, 음성 기반 3차원 얼굴 애니메이션, 의료 영상 분석, 비전언어모델 개인화 등 다양한 분야에서 거둔 결과다. 예술과 공학의 융합을 지향해 온 첨단영상대학원의 연구 역량이 콘텐츠 제작과 영상 이해를 아우르는 AI 분야로 폭넓게 이어지고 있다는 점에서 의미가 크다.

권혁준 교수 연구진은 ‘ReCoG: Relational Concept Graph for Training-Free Personalization’을 통해 기존 비전언어모델을 추가로 학습시키지 않고 사용자가 지정한 대상을 인식하는 개인화 기술을 제안했다. 소수의 예시로 등록한 개념들을 그래프로 연결하고, 구별 단서를 활용해 검색된 후보를 비교한다. 겉모습이 비슷해 혼동하기 쉬운 개념을 구분하는 데 초점을 맞췄으며, 이를 평가하기 위한 ‘FINGER’ 벤치마크도 제시했다.

그림 1. 비슷한 개념 사이의 차이를 비교해 인식을 돕는 ReCoG 개념도

엄찬호 교수 연구진은 ‘TF-PRVR: Training-Free Partially Relevant Video Retrieval for Real-World Generalization’을 통해 검색 과제에 맞춘 추가 학습 없이 자연어 검색어와 관련된 장면을 포함하는 영상을 찾는 기술을 제안했다. 영상 내용의 변화에 따라 여러 길이의 구간을 구성하고, 구간 사이의 시간적 관계와 의미적 유사성을 함께 활용했다. 이를 통해 서로 다른 종류의 영상에서도 검색어와 관련된 정보를 효과적으로 찾을 수 있도록 했다.

그림 2. 영상 내용에 따라 여러 길이의 구간을 구성하고 검색어와 연결하는 TF-PRVR

김학구 교수 연구진은 ‘Seeing Speech: Learning Visible Articulatory Dynamics for Speech-Driven 3D Facial Animation’을 통해 음성에 맞춰 입술과 턱이 자연스럽게 움직이는 3차원 얼굴 애니메이션 기술을 제안했다. 입술과 턱의 좌우, 상하, 앞뒤 움직임을 구분해 학습한 뒤 얼굴 표면의 연결 구조에 맞춰 통합했다. 발음과 입 모양의 일치도를 높이는 접근으로, 가상 캐릭터와 디지털 콘텐츠에 활용할 수 있는 얼굴 애니메이션 기술을 제시했다.

그림 3. 음성에 따른 입술과 턱의 움직임을 세 방향으로 표현한 Seeing Speech 개념도

최종원 교수 연구진은 ‘FinAl: Fine-grained Alignment for Detail-Preserving Medical Vision-Language Pretraining’을 통해 의료 영상과 판독문을 함께 학습할 때 질환의 심각도 등 세부 정보를 보존하는 방법을 제안했다. 판독문에 담긴 소견의 정도와 의미적 유사성을 학습에 반영해, 비슷하지만 차이가 있는 임상 정보를 구분하도록 했다. 의료 영상과 판독문 사이의 의미 관계를 세밀하게 학습해 후속 영상 분석에 필요한 정보를 보존하는 방법을 제시했다.

그림 4. 의료 영상과 판독문의 세부 의미 관계를 학습하는 FinAl의 구조

오지형 교수 연구진은 KAIST, Adobe Research와 공동으로 ‘MotionGrounder: Grounded Multi-Object Motion Transfer via Diffusion Transformer’를 통해 여러 대상의 움직임을 유지하면서 새로운 영상을 생성하는 기술을 제안했다. 참조 영상의 움직임 정보를 추출하고, 문장으로 지정한 대상이 알맞은 위치에 나타나도록 연결하는 방식이다. 영상 생성 모델의 추가 학습 없이 대상의 외형과 배경을 바꾸면서도 움직임을 일관되게 유지할 수 있도록 했다.

그림 5. 참조 영상의 움직임을 유지하면서 등장 대상과 배경을 바꾼 MotionGrounder의 영상 생성 예시

이번 성과는 여러 연구팀이 각자의 전문성을 바탕으로 AI의 활용 범위를 넓혔다는 점에서도 주목된다. 영상의 움직임과 발음을 정밀하게 구현하는 콘텐츠 제작 기술부터 필요한 영상을 찾고 의료 영상의 세부 차이를 이해하는 분석 기술까지, 창작과 영상 이해를 연결하는 연구 성과가 고르게 이어졌다.

이창재 첨단영상대학원 원장은 “세계적인 AI 학술대회에서 5편의 논문이 채택된 것은 첨단영상대학원의 폭넓은 연구 역량과 국제적 경쟁력을 보여주는 뜻깊은 성과”라며 “앞으로도 예술과 공학의 융합이라는 대학원의 정체성을 바탕으로 창의적인 연구와 글로벌 협력을 지원하고, AI와 콘텐츠 분야를 이끌 우수 인재 양성에 힘쓰겠다”고 밝혔다.

첨단영상대학원은 이번 NeurIPS 2026 성과를 계기로 컴퓨터비전, 생성형 AI, 멀티모달 AI 분야의 국제 공동연구를 확대하고, 연구 성과를 교육과 콘텐츠 제작 현장에 연결하는 융합 연구를 강화해 나갈 계획이다. 이를 통해 세계적 수준의 교육 및 연구 역량을 지속적으로 높이고, 미래 AI와 콘텐츠 산업을 이끌 인재 양성을 추진할 방침이다.

논문 목록)

[ReCoG: Relational Concept Graph for Training-Free Personalization, Changseon Yu, Hyeokjun Kweon]

[TF-PRVR: Training-Free Partially Relevant Video Retrieval for Real-World Generalization, Giyeol Kim, Chanho Eom]

[Seeing Speech: Learning Visible Articulatory Dynamics for Speech-Driven 3D Facial Animation, Hyung Kyu Kim, Byungchan Hwang, Hak Gu Kim]

[FinAl: Fine-grained Alignment for Detail-Preserving Medical Vision-Language Pretraining, Jongsu Youn, Dongyoung Lee, JaeHyeong Bae, Sang-Il Choi, Sangtae Choi, Dae Ung Jo, Jongwon Choi]

[MotionGrounder: Grounded Multi-Object Motion Transfer via Diffusion Transformer, Samuel Teodoro, Yun Chen, Agus Gunawan, Soo Ye Kim, Jihyong Oh, Munchurl Kim]