▲ 한국기술교육대 전강욱 교수팀, 초대규모 데이터 처리 돕는 '터커 분해' 기술 개발  © 뉴스파고

[뉴스파고=한광수 기자] 한국기술교육대학교 연구팀이 ETRI, 전북대학교와 손잡고 초대규모 데이터를 한정된 메모리 환경에서도 원활하게 분석할 수 있는 새로운 데이터 처리 기술을 개발했다.

인공지능이나 추천시스템 등에서 다차원 데이터인 '텐서(Tensor)'를 작게 나누어 분석하는 터커 분해 기술의 중요성이 점차 높아지고 있다. 하지만 데이터 규모가 방대해질수록 메모리 소모가 극심해지고, 특정 연산 구간에 데이터가 몰려 병렬 처리의 효율이 떨어지는 한계가 존재했다. 기존에는 대규모 중간 결과를 한 번에 메모리에 올리면서 시스템이 멈추거나 연산이 실패하는 경우가 빈번했다.

한국기술교육대 컴퓨터공학부 전강욱 교수팀은 이 같은 제약을 극복하기 위해 다단계 분할 기법과 GPU-스토리지 협업 구조를 융합한 'GSP-Tucker' 프레임워크를 고안해냈다. 데이터가 불균형하게 분포하는 쏠림 특성을 파악해 연산 단위를 나누고, 연산에 필요한 데이터만 순차적으로 불러와 처리하는 방식을 새롭게 적용했다.

이 기술을 활용하면 GPU의 연산 능력을 적극적으로 활용하면서도 메인 메모리의 사용량은 대폭 줄일 수 있다. 실제로 방대한 데이터셋을 활용한 실험 결과, 최신 기술들이 겪던 메모리 부족 현상을 넘어서며 고가의 대형 장비 없이 단일 머신만으로도 초대규모 텐서 데이터를 안정적으로 분해하는 우수한 성능을 입증했다.

이번 성과는 한기대 송승현 석박사통합과정 학생과 ETRI 이지혜 박사가 공동 주저자로, 한기대 전강욱 교수와 전북대 김찬기 교수가 공동 교신저자로 참여해 도출했다. 관련 논문은 데이터베이스 분야의 세계 3대 학술대회로 꼽히는 'IEEE ICDE 2026'에 채택되어 이달 초 캐나다 몬트리올에서 성공적으로 발표를 마쳤다.

전강욱 교수는 "이번 연구는 초대규모 비정형 텐서 데이터 분석에서 가장 큰 병목 중 하나인 메모리 한계와 데이터 쏠림 문제를 동시에 완화할 수 있는 실행 기술을 제시했다는 점에서 의미가 있다"며, "향후 추천시스템, 지식그래프 분석, 과학계산, 대규모 인공지능 데이터 처리 등 다양한 분야로 확장될 수 있을 것으로 기대한다"고 말했다.