McAfee - 보안 제품 진단률 비교 테스트 (2008.09)

세계적인 보안회사 McAfee사에서 독립 테스트 기관 West Coast Labs (WCL)에 의뢰하여 보안 제품 진단률 테스트를 한 결과를 소개해 드리겠습니다.

이 테스트는 McAfee사가 선정한 9개 보안제품과의 진단률 비교 테스트이며, 테스트에 사용된 샘플은 McAfee에서 제출한 100,000개와 West Coast Labs에서 제출한 50,000개 샘플을 이용하였습니다.^[각주:1]

테스트 환경은 Windows Vista Home 버전에서 이루어졌으며, 제품의 설정값은 기본값과 최대값 2가지를 나누어서 테스트를 실시하였습니다.

테스트의 주된 목적은 McAfee사의 새로운 기술(Artemis Technology)에 대한 타 제품과의 비교 테스트를 위한 것입니다.

테스트는 2008년 5월에 시행되었고, 보고서는 9월에 작성된 것으로 보입니다.

McAfee사에서 선정한 테스트에 참여한 제품은 위와 같습니다.

여기에서 안철수연구소 제품이나 중국의 Rising 제품이 포함된 것을 봐서는 아시아권에서 유포되는 샘플에 대한 중요성을 내포하고 있지 않나 생각됩니다.

나머지 제품들은 세계적으로 진단률이 높거나 규모가 큰 업체 제품임을 감안한다면 지역성도 고려한 테스트로 보입니다.

테스트 제품의 DB 업데이트 날짜는 2008년 5월 2일을 기준으로 하였습니다.

■ West Coast Labs - 51,263개 샘플

테스트 시행업체 West Coast Labs에서 제출한 샘플 5만여개 테스트 결과는 평규적으로 86.34%(86.67%)의 진단률을 보이고 있습니다.(사용된 샘플은 전체가 악성코드로 확인된 샘플입니다.)

Default detection은 기본값에서의 진단률, Maximum detection은 최대값에서의 진단률을 표시하고 있습니다.

전체적으로 Sophos - Avira - McAfee의 진단률이 높은 것을 확인하실 수 있습니다.

■ McAfee - 105,324개 샘플

이번에는 McAfee사에서 제출한 샘플을 가지고 테스트한 결과입니다.(West Coast Labs에서 제출한 샘플과 중복되는 샘플은 제외하고 테스트를 한 결과입니다.)

비록 McAfee 제출용 샘플일지라도 해당 업체 제품이 100%를 진단하고 있지는 않은 결과를 보이고 있습니다.

제품 전체의 평균은 97.54%(97.62%)의 진단률을 보이고 있으며, 안철수연구소의 제품만이 유일하게 진단률이 떨어지는 것을 확인할 수 있습니다.

■ 전체 결과 - 156,587개 샘플

테스트의 최종 결과는 제품 평균 진단률 93.88%(94.03%)을 보이고 있으며, McAfee 제품의 진단률이 상위를 차지하고 있는 것을 확인할 수 있습니다.

이 테스트는 업체의 신기술에 대한 홍보용으로 이용하기 위해 실시되었다는 점은 있으며, 특정 업체가 제출한 샘플을 통해 또 다른 각도에서 다른 제품의 진단률을 비교할 수 있는 기회라고도 볼 수 있습니다.

마지막으로 국내 보안업체인 안철수연구소의 경우 과거 2~3년 전에 비해 상당히 비약적으로 진단률 향상을 가져왔다는 점에서 환영할 일입니다. 특히 특별히 엔진 진단률 개선이 획기적으로 이루어지지 않은 상태에서 70~80% 진단률은 노력을 댓가라고 평가할 수 있습니다.

하지만 세계적인 보안 기업으로 성장하기 위해서는 보안 제품 매니아들이 바라는 사전 예방 기술을 포함한 신기술이 포함되어야 하리라 보여집니다. 더 욕심을 부린다면 안철수연구소 고유의 독창적인 기술이었으면 합니다.

McAfee 제품 많이 사랑해 주세요~

자료 출처 : McAfee - http://uk.mcafee.com/en-gb/local/docs/WestCoastLabsComparative.pdf?cid=50466

1. 이 테스트는 특정 업체의 의뢰에 따른 테스트 과정에서 특정 업체가 제출한 샘플의 비율이 높으므로 객관성 있는 테스트는 아닐 수 있습니다. [본문으로]