울지않는벌새 : Security, Movie & Society

2006년 정보통신부 스파이웨어 제거 프로그램 실태조사의 허구성

벌새::Security
국내에 스파이웨어 제거 프로그램이 다수 출현하면서 정부 차원에서 해당 제품들에 대한 성능 조사를 시작하여 결과를 발표하기 시작하였습니다.

그 첫 번째 조사가 제 기억에는 2007년 1월경에 발표된 내용으로 2006년 12월을 기준으로 작성되었고 발표 자료에서는 보안에 관심있는 분들이 당시에 해당 자료를 보고 욕을 많이 하였던 것으로 기억합니다.


그 후 최근에는 1년에 2차례 정도 실태 조사를 하는 것으로 보이는데, 요즘 자료를 가지고 비판을 하면 허위 사실 유포로 잡혀갈 것 같고() 이전 정부에서 조사한 내용을 바탕으로 숨겨진 사실은 무엇인지 알아보도록 하겠습니다.(사실은 우연히 다시 보게된 과거 발표 자료를 보다가 당시에 실태조사에 대한 분석적인 글이 없었기에 호기심에 조금 찾아본 것입니다.)

[보도 자료 일부]

※ 국외 유사 시험 사례의 경우(Malware-Test Lab : malware-test.com) 10여 개의 샘플을 사용

그 결과 시중에 유포되고 있는 유료제품 중 AD-Spider, 피씨클리어, 스파이닥터, 스파이제로 및 닥터바이러스 등 5종은 타제품에 비하여 우수한 치료율(70% 이상)을 나타난 것으로 확인되었다.

※ 이 시험에 사용한 샘플 10종을 이용하여 국외 유명 스파이웨어 제거 프로그램(4종)에 대해 시험한 결과, 60% 이하의 치료율 성능을 보임

당시 보도자료에서는 해외 유사 시험 사례를 들면서 지적한 테스트 사이트(Malware-Test Lab)의 사용 샘플 수를 10여 개로 표시하고 있습니다.

그래서 찾아봤습니다. 해당 사이트의 당시 시점 중 국내 실태조사가 있었던 시점과 가장 유사한 시점에서는 AntiSpyware 제품의 진단률 테스트를 위해 사용된 샘플이 16,126개를 사용하고 있었다는 것을 확인할 수 있었습니다.

정부 발표에서 말한 10여개는 테스트에 참여한 제품이 10여개가 아닐지 모르겠습니다.

다음으로 당시 실태조사에서 사용된 10개의 샘플은 다음과 같이 수집을 하였다고 밝히고 있습니다.

[보도 자료 일부]

※ 상기 시험 결과는 스파이웨어 제거 프로그램 7개 업체로부터 제공받은 7개의 스파이웨어 샘플과 KISA가 보유한 3개의 샘플을 기준으로 나온 것임, 따라서 스파이웨어 샘플이 달라질 경우 결과가 다르게 나올 수 있음.

이 부분에 대해서는 해외 유명 개인 테스터의 경우에도 업체로부터 샘플을 전달받아 테스트를 하는 점 등이 고려되기 때문에 특별히 비판할 의사는 없습니다.

위의 보도 자료에서는 사용한 샘플 10개를 이용하여 해외 유명 제품으로 테스트를 한 결과 60% 이하의 치료율을 보이고 있다고 밝히고 있습니다.

실제 보도자료에서 인용한 해외 테스트 사이트에서 참여한 당시 제품과 진단률을 살펴보도록 하겠습니다.

당시 참여한 제품은 AntiSpyware 제품 외에도 통합 제품으로 인하여 진단률에 있어서 큰 차이를 보일 수 있다는 점은 염두해 두시고 보시기 바라며, 보도자료에서 밝히고 있는 4개의 제품은 다음과 같습니다.

[보도 자료 일부]

o 본 시험에 사용한 샘플 10종을 이용하여 국외 유명 스파이웨어 제거 프로그램(MS사의 Windows Defender, webroot사의 Spy Sweeper, Computer Associate International사의 PestPatrol, LavaSoft사의 Ad-Aware SE Pro)에 대해 시험한 결과 60% 이하의 치료율 성능을 보임.

해당 제품에 대해 위의 목록에서 붉은 색으로 체크를 하였고, 진단률과 치료률이 상이한 점을 인정하면서 살펴보더라도 전체적으로 30% 이상을 넘는 제품으로 분류되어 있지 않습니다.

특별히 정부에서 위의 제품을 언급한 것은 순수한 AntiSpyware 제품으로 분류하기 위해서였으리라 보여지만, 당시 테스트에 참가한 안철수연구소(AhnLab) SpyZero 2007의 진단률이 23% 수준임을 감안하면 다음과 같은 의구심을 들게 합니다.

실태조사에서 70% 이상의 치료률을 보이는 제품 중에 포함된 스파이제로의 경우 해외 테스트에서 상당히 저조한 진단률을 보이고 있는 것을 감안한다면 비슷한 결과값을 가진 국내 타 제품들 역시 만약 위의 해외 테스트에서도 20% 이상의 진단률은 보이지 않았으리라 보여집니다.

정부에서 처음 언급한 해외 테스트 샘플 수의 부정확한 누락을 통해 자신들의 실태조사에 합리성을 부여하면서 마치 상대적으로 해외 유명 제품들에 비해 높은 보안제품인 양 보도하는 것은 분명히 문제가 있으리라 보여집니다.

개인적으로 각 보안업체마다 특정 샘플에 대해 분류가 상이한 점이 있기에 다른 어떤 조사보다도 스파이웨어 샘플 조사에서 샘플 선정에는 더욱 분명한 기준을 마련하고 더욱 공정한 조사가 이루어져야 한다고 봅니다.

당시의 객관적인 보도라면 이렇게 표현을 했어야 하지 않았을까 생각합니다.
이번 조사에서 해외 유명 보안제품과 비교해보면 국내에서 인정할만한 스파이웨어 제거 프로그램들이 20% 안팎의 저조한 진단을 보인다는 점에서 향후 소비자들의 따가운 시선을 받을 것으로 보입니다.
최근 국내에서 배포되고 있는 스파이웨어 제거 프로그램에 대한 실태조사를 위해서인지 현황 파악을 진행하고 있는 것으로 보이는데 다음 실태조사에서는 조금 더 객관적인 통계자료를 공개해 주었으면 합니다.