벤치마킹? 할꺼면 제대로하자

모 블로그를 운영하는 사람이 멍청하고 어리숙하고 일방적인 벤치마킹을 해놓고는
"크롬이 우세하다"라는 말도 안되는 결과를 내놓는 상황에서 한마디하지 않을 수가 없다.


멍청한 벤치마킹을 한 특정 블로거를 비판하고자 쓴 글이다.

크롬으로 스톱워치로 찍고 다음, 네이버 띄우기.
익스플로러로 스톱워치 찍고 다음, 네이버 뛰우기.

결과 : 크롬이 우세. IE는 크롬에 비해 형편없이 느려.....

트랙백걸고 이리저리 따지고 싶었지만 무식한 놈에게 알려주기는 싫다.
그래놓고 캡쳐한 사진보니까 정작 IE 캡쳐에는 별거지같은 툴바가 3개 깔려있었다.
아놔 지금 장나하냐?

잘들어라. 적어도 벤치마킹이란 최대한 비슷한 조건을 맞추고서 해야되는거다.
IE와 크롬을 벤치마킹할 때 최소한 다음과 같은 규칙은 지키고 해봐라.

01. IE와 크롬 모두 새로 설치한다.
02. IE는 보안패치를 적용하지 않는다.
03. IE와 크롬 모두 어떠한 플러그인도 설치하지 않는다. 양쪽 모두 플래시정도는 해야겠지?
04. IE와 크롬 모두 똑같은 공간의 임시인터넷폴더 공간을 할당한다.
05. IE와 크롬 모두 북마크는 없다고 가정한다.
06. IE와 크롬 모두 시작 페이지는 동일하게 한다.
07. IE와 크롬 모두 정확한 순서에 따라서 브라우징(테스트)한다.
08. IE와 크롬 모두 윈도우 시작후 정확한 순서에 따라서 시작한다.
09. 한번이라도 테스트가 끝나면 리부팅한다.
10. 리부팅한 후에 캐시, 쿠키, 임시파일, 프리페치를 삭제한다.
11. 스톱워치로 딸깍대지말고 SW전용 속도측정 툴을 사용한다.
12. 양쪽 모두 보다 빠른 속도의 측정을 위해서 백신을 일시중지한다.

이 정도는 되어야 공평하지 않을까?
그러나 그 어떠한 규칙을 더 포함시켜도, 모든 규칙을 다 지키더라도 크롬이 더 빠를 것이다.
그런데 왜 이러한 순서를 지키라고 하냐면 적어도 벤치마킹이랍시고 글을 끄적일거면
동일한 조건하에 테스트를 해야지 IE에는 툴바깔고 보안패치도 시키고 본인도 모르는
별별의 플러그인도 설치되었을지 모르는 와중에 크롬깔고 스톱워치 딸깍딸깍하고는
크롬이 우세하다...이래버리면 지나가는 개발자들이 웃는다.

중요한 사실은 IE와 크롬은 정확한 비교 대상이 될 수가 없다.
윈도우95와 함께 시작되어 인터넷의 초창기부터 활성기를 거쳐 지금까지 산전수전 다 겪은
노장 IE를 이제 막 태어난 갓난아이하고 비교하는 것이 과연 올바를까?

SW가 오래됐다는 것은 오랜 시간동안 전세계의 다양한 환경에서 다양한 사용자들의 
요구사항을 듣고 최신 기술을 반영하고 다듬어진 것일텐데 당연히 기능이 훨씬 많을 뿐더러 가진 기능만큼 더욱 무거워질 수 밖에 없는 것이다.

뛰어난 브라우저 = 로딩 속도 가 될 수가 없다는 말이다.

내가 크롬을 사용해본 결과 기능이 많이 부족한 만큼 그에 따라 가볍다는 것 말고는
IE보다 특별히 뛰어나다고 할 만한 점은 없었다.
단지 사용자들에게는 신선해보일 수 있는 시크릿창과 같은 기능도 있긴 하지만 
IE8에 포함된 In Private이 있는 마당에 더 이상의 메리트가 될 수는 없다.
사실, 탐색기만으로도 쿠키, 캐시, 임시파일들 다 지울수 있는 수준의 사용자라면
이런것도 필요없다.

즉 가볍고 빠르다라는 것 말고는 아무것도 없다.

아직도 빠르다는 이유하나만으로 크롬이 우세하다고 하는 사람들이 있다면
윈도우 비스타보다 XP가 좋다고 하는 것과 같고 XP보다 윈도우98이 좋다고 하는 것과 같다.

이러저러한 기능을 넣어주세요 라는 사용자들의 많은 요구사항,
이러저러한 기술들을 반영하고 사용할 수 있게 해달라는 IT현장의 요구사항에 맞춰오고
개발되어 온 IE가 크롬 출시후 크롬의 빠른 속도만으로 저평가되고 있는 것은 개발자로서 어이없을 뿐이다.

한글97은 한글2007보다 뛰어나다! 왜? 속도가 빠르니깐. 이게 말이 된다고 생각하나 -_-
IE8 베타2는 써본적 있는지? 크롬과는 비교할 수 없을 정도로 많은 기능이 있고 다양한 설정 옵션이 있다. 비교할껄 비교해야지. 물론 IE8 베타2는 아직 문제가 있지만 항상 그랬듯이
정식 버전에서는 해결되겠지.