2012년 ImageNet과 AlexNet: 그래픽카드 두 장이 딥러닝의 겨울을 끝낸 밤
2012년 9월 30일, 컴퓨터 비전 학계를 뒤흔든 ILSVRC(ImageNet 대규모 시각 인식 챌린지) 결과가 발표됐습니다. 매년 1~2%p씩 힘겹게 줄어들던 이미지 분류 오차율이 그해 단숨에 10%p 넘게 뚝 떨어졌기 때문인데요. 우승 팀인 토론토 대학의 SuperVision(알렉스 크리제프스키·일리야 수츠케버·제프리 힌튼)이 들고 나온 모델이 바로 오늘날 딥러닝 혁명의 방아쇠를 당긴 AlexNet입니다.
AlexNet 구조를 옮겨 그린 도해. 앞쪽 합성곱 층(Frozen Layers)은 그대로 두고 마지막 분류기(Top)만 새로 붙이는 방식까지 함께 표시돼 있다.
1. 1,500만 장의 사진 데이터셋, ImageNet의 탄생
2000년대 후반까지 인공지능이 사진을 구별하지 못했던 이유 중 하나는 데이터 부족이었습니다. 스탠퍼드 대학의 페이페이 리(Fei-Fei Li) 교수팀은 2009년, 22,000개 범주에 걸쳐 1,500만 장 이상의 고해상도 이미지를 크라우드소싱(아마존 메커니컬 터크)으로 라벨링한 ImageNet을 공개했습니다. 이 가운데 1,000개 클래스·약 120만 장의 학습 이미지를 대상으로 겨루는 대회가 ILSVRC였습니다.
페이페이 리(Fei-Fei Li). ImageNet을 만든 스탠퍼드 대학 연구팀을 이끈 인물. ITU(국제전기통신연합) 행사 연단에 선 모습.
2. 오차율 26.2% vs 15.3%, 수작업 규칙을 무너뜨린 합성곱 신경망
2012년 이전까지 컴퓨터 비전의 주류는 사람이 직접 특징(SIFT·Fisher Vector 등)을 설계해 넣는 방식이었습니다. 2012년 대회에서도 기존 방식의 최고 성적(2위 팀)은 Top-5 오차율 26.2%였습니다. 반면 토론토 대학 베헨 센터(Bahen Centre)에서 제프리 힌튼 교수와 두 제자가 만든 AlexNet(합성곱 계층 5개 + 완전연결 계층 3개, 파라미터 약 6,000만 개·뉴런 65만 개)은 15.3%라는 압도적인 성적으로 우승을 차지했습니다.
토론토 대학 베헨 센터(Bahen Centre for Information Technology). 알렉스 크리제프스키와 일리야 수츠케버가 힌튼 교수와 함께 AlexNet을 만든 곳이다.
제프리 힌튼. 스웨덴 왕립과학원(Kungl. Vetenskapsakademien) 기자회견장. 이름표에 GEOFFREY HINTON이 적혀 있다.
| 비교 항목 | 기존 수작업 특징 방식 (2012 2위) | AlexNet (2012 1위, 7개 앙상블) |
|---|---|---|
| 핵심 구조 | SIFT + Fisher Vector 등 수작업 특징 | 8층 심층 합성곱 신경망 (CNN) |
| ILSVRC-2012 Top-5 오차율 | 26.2% | 15.3% (단일 모델 18.2%) |
| 활성화·정규화 | 기존 비선형 함수 | ReLU + Dropout + 데이터 증강 |
| 학습 하드웨어 | CPU 중심 | NVIDIA GTX 580 3GB × 2장 |
3. 왜 하필 게임용 그래픽카드(GTX 580) 두 장이었을까?
원문 논문(ImageNet Classification with Deep Convolutional Neural Networks, 2012)을 보면 흥미로운 대목이 나옵니다. 당시 120만 장의 이미지를 90에폭(epoch) 동안 학습시키는 데 걸린 시간은 5~6일이었는데, 사용한 장비는 슈퍼컴퓨터가 아니라 게이밍용 NVIDIA GTX 580 (VRAM 3GB) 그래픽카드 두 장이었습니다. 네트워크가 너무 커서 3GB 그래픽카드 한 장의 메모리에 다 들어가지 않았기 때문에, 저자들은 신경망을 위·아래 두 줄기로 쪼개 두 GPU에 절반씩 나눠 태운 뒤 특정 계층에서만 서로 통신하도록 설계했습니다. (위 구조도에 두 줄기가 나란히 그려진 이유도 바로 이 때문입니다.)
엔비디아 페르미(Fermi) 세대 GPU 보드. 쿨러를 벗기면 가운데 GPU 다이가 드러난다. AlexNet에 쓰인 GTX 580도 같은 페르미 계열 칩이다.
GPU 다이 표면의 근접 촬영. 손톱만 한 실리콘 조각에 연산 회로가 격자처럼 새겨져 있다.
4. "더 빠른 GPU와 더 큰 데이터셋만 기다리면 된다"
논문 결론에서 저자들은 이렇게 적었습니다. "우리의 모든 실험 결과는 단순히 더 빠른 GPU와 더 큰 데이터셋이 나오기를 기다리는 것만으로도 성능이 향상될 수 있음을 시사한다." 실제로 2012년 AlexNet 이후 이미지 인식뿐 아니라 음성·번역·생성형 AI까지 모든 연구가 대규모 데이터 + GPU 병렬 연산 + 심층 신경망으로 쏠렸고, 오늘날의 GPU 생태계와 초거대 AI 시대로 이어지는 결정적 분기점이 됐습니다.
사진·도해: 위키미디어 커먼즈(CC BY-SA 4.0 · CC0) 및 공개 아카이브






댓글
댓글 쓰기