권호: 제7호
저자: 이준영, 박진서

• 국가 과학기술 계획을 수립하고 목표를 설정하는 작업에 국가의 과학기술 수준을 정확하게 파악하는 작업이 선행되어야 한다는 점은 아무리 강조해도 지나치지 않다. 본 고는 과학기술 수준과 관련하여 가장 대표적으로 활용되는 논문 데이터에 기반한 수준 측정 방식의 새로운 대안을 제시하고자 한다. 논문 데이터 분석 결과는 현장 연구자들은 물론 사회 일반에서도 주목도가 상당히 높다. 지난 수십년 간 세계 각국은 논문 데이터를 활용하여 국가의 연구 활동을 측정하는 다양한 작업을 수행하였다. 국가의 과학기술 역량을 가늠하는 지표로 논문 데이터를 활용할 수 있다는 관점은 큰 거부감 없이 사회 전반에 수용되었다고 볼 수 있다.

• 그럼에도 불구하고 논문 데이터의 분석 결과와 그 결과의 활용에는 여러 논란과 문제제기가 자주 이어지게 된다. 다소 거칠게 논쟁 발생의 원인을 정리하자면, '논문 데이터가 갖고 있는 특성을 무시한 데이터 처리'라고 할 수 있다. 예를 들어 개별 논문의 우수성을 측정하기 위한 대리지표로 많이 활용하는 피인용수를 들어보자. 과학기술을 포함한 학문 활동에는 다양한 분야들이 존재하는데, 피인용수는 분야별로 인용의 강도와 분포가 매우 다르게 나타나는 것으로 알려져 있다. 따라서 상이한 분야의 피인용수를 적절한 정규화 처리 과정 없이 단순 비교하는 행태는 억지로 오렌지와 사과의 맛을 비교하려는 시도에 빗댈 수 있을 것이다.

• 논문 데이터의 처리와 활용 과정에서 나타나는 다양한 오·남용 행태들과 잘못된 관행이 확산되는 현실에 경종을 울리고자 지난 2015년, 세계 각국의 과학계량학 관련 연구자들이 뜻을 모아 라이덴 선언(Leiden Manifesto)｣ 을 발표한 바 있다. 지표 수치 자체에 대한 집착이나 맹신을 버리고, 논문 성과가 산출되는 다양한 맥락에 대한 인정, 투명한 데이터 처리 등을 강조한 것이다.

• 본 고는 라이덴 선언이 제시한 ‘학문 분야별 출판과 인용 관행의 다양성에 대한 인정’ 원칙을 수용하고, 이를 실제 수준 분석에 유용하게 적용하기 위한 고민을 담았다. 이를 위해 기존에 많이 활용된 평균기반 지표 대신에 백분위 기반 처리방식을 도입하였다. 극도의 비대칭 분포인 피인용수 데이터에 평균기반 지표를 적용하게 되면 개별 문헌이 전체 분포 상에서 갖는 위치 정보가 상당히 왜곡될 수 밖에 없다. 현재까지 나온 계량 지표 중에서 극단 값의 영향을 가장 덜 받고 안정적으로 위치 정보를 제공하여 분야 간 비교를 가능하게 하는 방식은 백분위 기반 정규화 방식이라고 할 수 있다.

• 백분위 기반 정규화 방식을 적용한 여러 지표들 중에서 현재 가장 많이 활용되는 것은 이른바 ‘수월성(excellence)’ 지표이다. 분야 전체 문헌의 피인용 분포에서 특정한 백분위 기준선(예, 상위 10%)을 정하고, 측정하려는 대상 주체의 문헌 집합이 이 분위 기준에 포함되는 비중을 계산하는 방식이다. 본 고는 특정 기준의 충족 여부만을 측정하는 이진(binary) 분류 방식의 수월성 지표 만으로는 수준 측정에 한계가 있음을 지적하였다. 각 국가별로 백분위 기반 ‘전체 구간’에 대하여 비중 분포를 추출하고, 이 분포의 형태가 중장기적으로 변동되는 추이에 대한 분석이 국가의 ‘전체역량’ 파악에 더 적합하기 때문이다. 이를 위하여 분포 형태의 의미 해석을 돕는 5가지 유형을 고안하였고, 분포의 시계열적 변동 추이에 대한 파악을 쉽게 하기 위해, 최상위 10분위 구간과 최하위 10분위 구간 비중의 연도별 값을 함께 대비하여 보여주는 방식도 도입하였다.

• 본 고에서 제시한 분석틀이 실제 데이터에 충분히 적용 가능하고, 기존의 단일 지표 값 중심의 분석에서 보지 못했던 새로운 측면을 드러낼 수 있음을 확인하기 위해 사례 분석도 수행하였다. OECD 과학기술 분류 중 8개 분야를 선정하고, 각 분야 별로 한국을 포함하여 미국, 영국, 독일, 일본, 중국 6개국이 산출한 논문의 인용 영향력 백분위 분포를 도출하고 새로운 분석틀을 적용하였다. 그 결과 한 국가의 과학기술 논문의 규모가 급격히 증가하더라도, 논문 집합의 수준 분포는 국가별로 매우 다양한 형태로 나타나며, 시기별로도 계속 변화하는 것임을 확인할 수 있었다.

• 예를 들어 많은 사람들은 2000년대 이후 중국이 압도적으로 쏟아내는 논문은 단순히 규모의 증가일 뿐이며, 질적인 측면에서는 아직도 부족하다고 지적한다. 그러나 본 고의 분석에 따르면, 중국은 규모의 증가 못지않게 수준 측면에서도 오히려 한국을 앞질러 대부분 분야에서 미국을 맹렬히 추격하고 있는 상태이다. 또한 수준의 분포 형태도 선진국과 유사한 형태로 변화하는 중이다. 이에 반해 한국은 최상위 구간의 비중이 꾸준히 증가하고는 있으나, 그 수준이 전반적으로 세계 평균과 비슷하거나 그에 미치지 못하는 경우가 대부분인 것으로 나타났다. 또한 수준 분포의 형태도 한국은 바람직한 형태를 보이는 경우가 없으며, 최상위 구간의 비중이 조금씩 늘어나고는 있으나 이와 함께 하위 구간의 논문 비중이 감소하지 않거나 세계 평균 비중보다 더 높은 비중을 지속적으로 유지하고 있었다.

• 국가별로 상이한 수준 분포와 그 변동 추이에 대한 관측 결과는 한 국가가 보유하고 있는 ‘연구개발 체제’의 전반적인 역량을 어떻게 발전시킬 것인지에 대한 전략의 중요성을 잘 드러내준다. 선진국들은 소수의 최상위 구간에만 한정하여 높은 비중을 유지하는 것이 아니라, 상위권 전체의 높은 비중과 하위권의 낮은 비중이라는 형태를 갖고 있다. 최고 구간의 높은 비중은 그 뒤의 중상위권 구간에서 보이는 높은 비중이 떠받치고 있기에 가능한 것으로 보인다. 체제의 전체 역량을 끌어올리기 위해 어떤 전략을 구사해야 할 것인가? 최근 들어 ‘질적 평가’라는 이름 하에 상위 1% 또는 상위 0.1%와 같이 극도의 최상위 구간에 포함되는 논문의 수나 점유율 자체를 정책목표로 제시하는 경우가 빈번히 나타난다. 본 고는 특정한 숫자를 강조하고 그 자체를 목표로 삼기보다는 전체 분포의 형태를 우수하게 변환시키기 위한 노력을 더욱 기울여야 하는 지점에 우리나라가 서 있음을 강조하였다.