DGIST, 기존 데이터 처리 한계 넘는 새로운 기술 개발

기존의 데이터 처리 기술과는 다른 방식으로 데이터를 분석하는 기술을 DGIST 연구진이 개발했다. 

대구경북과학기술원(이하 DGIST)은 기존 기술들보다 최대 14배나 더 빠르고 100배 더 많은 데이터를 처리할 수 있는 ‘DistME(Distributed Matrix Engine) 기술’을 개발했다고 4일 밝혔다.

향후 빅데이터 처리가 필요한 기계학습 분야나 대규모 데이터를 분석하는 산업분야에 활용될 것으로 기대가 높다.

기계학습 및 과학기술 분야 등 사회 여러 분야에서 널리 사용되는 데이터 형태는 수(數)들을 행과 열로 표현하는 ‘행렬’ 데이터다. 이를 분석하는 수많은 기술 중에서도 ‘SystemML’과 ‘ScaLAPACK’이 가장 뛰어난 기술로 평가받는다.

하지만 최근 데이터 규모가 증가하며 기존 기술의 처리 능력도 한계에 다다랐다. 특히 데이터 처리에 필수적인 곱셈 연산의 경우, 기존의 방식들로는 빅데이터와 같은 큰 규모의 데이터는 처리가 힘들다. 이는 기존 곱셈 연산법들은 유동적인 분석·처리가 힘들고, 데이터 처리 시 많은 양의 네트워크 데이터 전송이 필요하기 때문이다.

이에 DGIST 정보통신융합전공 김민수 교수팀은 기존과 다른 행렬 곱셈 연산법을 고안했다. ‘CuboidMM’이라 불리는 연산법은 정보를 3차원의 정육면체로 구성해 처리한다. 

기존 곱셈 연산법들은 유동적인 적용이 불가능했지만, CuboidMM은 상황별 최적의 기법을 유연하게 적용해 연산을 수행한다. 추가적으로 김 교수팀은 GPU를 결합해 정보를 처리하는 법을 고안, 곱셈 연산 성능을 비약적으로 향상시켰다.

김 교수팀이 개발한 DistME 기술은 CuboidMM을 GPU와 결합해 처리속도를 향상시킨 것으로 ScaLAPACK과 SystemML보다 각각 6.5배, 14배 더 빠르고 SystemML보다 100배 이상 더 큰 행렬 데이터 분석이 가능하다. 

따라서 향후 온라인 쇼핑몰, SNS를 포함한 큰 규모의 데이터를 처리가 필요한 여러 분야에서 기계학습을 적용할 수 있는 새로운 가능성을 열 것으로 보인다.

김 교수는 “최근 세계적으로 각광받는 기계학습 기술은 행렬형태의 빅데이터 분석 속도와 분석 처리 규모면에서 한계가 있었다”며 “이번에 개발한 정보처리 기술은 그 한계를 극복할 수 있는 기술로, 기계학습 뿐만 아니라 광범위한 과학기술 데이터 분석 응용에 유용하게 활용될 것으로 기대된다”고 말했다.

한편 이번 연구 결과는 DGIST 정보통신융합전공 한동형 박사과정생이 제1저자로 참여했으며 네덜란드 암스테르담에서 열린 데이터베이스 분야의 세계 최고 권위 학술대회인 ACM SIGMOD 3일 발표됐다.

김범수 기자