□ 한국과학기술정보연구원(원장 직무대행 문영호, 이하 KISTI)은 대용량 과학데이터를 전송하는 미들웨어「빅데이터 익스프레스(Big Data Express)」를 미국 페르미국립가속기연구소(Fermilab), 오크리지국립연구소(Oak Ridge National Laboratory)와 공동 개발했다고 밝혔다.

ㅇ「빅데이터 익스프레스(Big Data Express)」는 대용량 과학데이터를 신속하고, 효율적으로 전송하는 기술이다.

□ 과학적인 발견 및 실험에서 생산되는 데이터의 규모가 급속히 증가함에 따라 데이터의 생산, 확보, 저장, 전송 등 데이터 처리 기능이 매우 중요해지고 있다.

ㅇ 가속기 및 관측 장비 등 대형 연구 장비에서 생산되는 데이터의 규모가 페타급*으로 증가함에 따라 단일 기관에서 대용량 데이터 처리가 불가하여 국제공동으로 데이터 공유를 위한 전송기술의 고도화가 필요하다.

* 1페타바이트(PB) : 1기가바이트(GB) 영화 100만 편, 1시간 짜리 영화를 114년 동안 봐야하는 용량

※- CERN(유럽핵입자물리연구소) 대형 강입자 충돌기(LHC) 실험 : 연간 50PB 생산

- 대형 시놉틱 관측 망원경(LSST) : 연간 10PB 생산

- 천문망원경 SKA 프로젝트 : 연간 60PB 생산

ㅇ「빅데이터 익스프레스(Big Data Express)」는 대용량 과학데이터 전송의 효율성을 극대화 하는 기술로, 기존 데이터 전송방법들이 가진 문제점**을 극복하기 위한 목적으로 개발되었다.

** ① 데이터 전송구간에 존재하는 다양한 장비로 인해 전체적인 데이터 전송의 비효율성 문제 발생

② 데이터 전송방법 간 상호 간섭을 최소화하는 효율적인 방안 필요

③ 다양한 데이터 전송 노드 간 효율적인 통신 방안 제공 불가

ㅇ KISTI 자체 테스트에 따르면 과학데이터 전송에 자주 사용되는 GridFTP*** 보다 1/3 정도 높은 성능을 보였으며, 과학데이터 전송 시 가장 문제되는 것 중에 하나인 LOSF문제**** 테스트의 경우 GridFTP 보다 약 100배 정도 빠른 전송 속도를 보였다.

* GridFTP : 그리드 컴퓨팅 환경에서 데이터 전송을 빠르게 하기 위한 FTP 기술

** LOSF(Lots Of Small File) : 다수의 파일을 전송할 경우, 빠른 데이터 전송속도에 비해 상대적으로 느린 메모리 I/O 속도 차이로 인해 전체적인 데이터 전송 속도가 느려지는 문제

□ KISTI는 이번 공동연구를 통해 데이터 전송 SDN(Software Defined Network) 네트워크인 아메바넷(AmoebaNet)을 개발하였으며, 국제공동연구 결과인 「빅데이터 익스프레스(Big Data Express)」 미들웨어는 14일(미국 현지시간) 미국 덴버에서 열린 ‘슈퍼컴퓨팅 컨퍼런스 2017’에서 대륙 간(한국-미국) 데이터 전송을 성공적으로 시연했다.

□ 「빅데이터 익스프레스(Big Data Express)」를 통해 대형 연구 장비를 비롯한 과학기술분야의 대용량데이터 공유가 신속하게 이루어질 수 있으며, 국내 연구자들은 원하는 과학데이터를 복잡한 설정 필요 없이 손쉽게 전송하거나 받을 수 있다.

□ KISTI 노서영 대용량데이터허브실장은 “거대과학에서 요구되는 대형실험장비 및 관측 장비에서 생산되는 대용량 과학데이터를 국내 연구자들이 손쉽고, 신속하게 전송받아 분석할 수 있는 연구환경을 제공할 수 있다”며 “이를 통해 국내 데이터집약형 연구의 가속화가 기대된다.”고 밝혔다.