글

1969년 『퍼셉트론스』: 책 한 권이 신경망의 겨울을 만들었나

이미지
1969년, MIT 출판부에서 책 한 권이 나왔다. 저자는 마빈 민스키와 시모어 페이퍼트, 제목은 『퍼셉트론스: 계산기하학 입문』이다. 책은 신경망을 죽이지 않았다. 신경망이 할 수 없는 것 을 증명했을 뿐이다. 그런데 그 증명이 인용되는 방식이 달랐고, 이후 10여 년 동안 신경망 연구비는 거의 끊겼다. 이 글은 그 책이 실제로 무엇을 증명했는지, 그리고 왜 "XOR 하나 때문에 신경망이 멈췄다"는 요약이 절반만 맞는지 순서대로 따라간다. 퍼셉트론을 만든 프랭크 로젠블라트. 1950년 무렵 촬영. 1958년 퍼셉트론을 발표했을 때 서른 살이었다. 1958년 7월 8일, 미국 해군이 내보낸 기사 이야기는 책보다 11년 앞에서 시작한다. 1958년 7월 8일, 뉴욕타임스는 "New Navy Device Learns By Doing"(해군의 새 장치, 하면서 배운다)이라는 제목의 기사를 실었다. 장치는 코넬 항공연구소(Cornell Aeronautical Laboratory)의 심리학자 프랭크 로젠블라트 가 만든 퍼셉트론이었다. 위 사진은 1950년 무렵의 로젠블라트다. 그가 퍼셉트론을 세상에 내놓을 때 서른 살이었다. 같은 해 그는 심리학 학술지에 논문을 냈다. "The perceptron: a probabilistic model for information storage and organization in the brain"(Psychological Review 65권 6호, 386~408쪽). 뇌의 신경 세포가 정보를 저장하고 조직하는 방식을 확률 모형으로 옮겼다는 것이 논문의 주장이다. 기사 제목에 '해군'이 붙은 이유가 있다. 연구비가 해군연구청(ONR)에서 나왔다. 냉전기 미국에서 계산기 연구는 곧 국방 연구였고, 그래서 퍼셉트론은 처음부터 군사 자금으로 자란 기술이었다. 코넬 항공연구소에서 마크 I 퍼셉트론을 조작하는 로젠블라트. 카메라 앞에 알파벳 C 판을 세워 두고 인식 실험을 하...

1998년 LeNet-5와 얀 르쿤: 손글씨 우편번호가 미국 수표 10~20%를 읽기까지

이미지
1989년, 미국 우체국을 지나간 봉투에서 우편번호 다섯 자리를 잘라 모은 숫자 9,298장이 한 연구실로 들어왔다. 그 이미지로 학습한 신경망은 3일 만에 시험 데이터의 95%를 맞혔다. 사람 손글씨를, 사람이 만든 규칙 없이, 픽셀에서 답까지 한 번에 배운 것이었다. 그리고 1998년, 같은 연구실에서 나온 논문 한 편이 합성곱 신경망(CNN) 이라는 이름과 MNIST 라는 데이터셋을 세상에 남겼다. 오늘날 이미지 인식 모델의 뼈대는 이 논문의 그림에서 출발한다. 1987년 미 지질조사국(USGS)이 찍은 뉴저지 홀름델의 AT&T 벨연구소 부지. 타원형 도로 안의 긴 건물이 연구동이다. 벨연구소 홀름델, 뉴저지의 긴 복도 무대는 미국 뉴저지 홀름델의 AT&T 벨연구소 다. 사진은 1987년 미 지질조사국(USGS)이 찍은 이 부지의 항공사진이다. 타원형 도로 안에 긴 건물 하나가 누워 있고, 주차장이 건물을 감싸고 있다. 논문의 저자 주소에 적힌 곳이 바로 여기다. 얀 르쿤은 이곳 적응시스템연구부(Adaptive Systems Research Department)에서 라리 잭켈이 이끄는 팀에 있었다. 1989년 논문의 저자는 일곱 명이다. 르쿤, 보저, 덴커, 헨더슨, 하워드, 허바드, 잭켈. 문제는 우편번호였다. 우체국은 우편번호를 자동으로 읽어야 했지만, 사람이 쓴 숫자는 크기도 기울기도 제각각이었다. NIST가 필기 인식 연구용으로 배포한 표본 양식. 날짜 칸에 1989년 8월 23일이 적혀 있고, 숫자와 문장이 격자 안에 손으로 채워져 있다. 사진은 미국 국립표준기술연구소(NIST)가 필기 인식 연구용으로 배포한 표본 양식이다. 맨 위 날짜 칸에 1989년 8월 23일 이 적혀 있고, 지원자가 손으로 쓴 숫자와 문장이 격자 안에 들어차 있다. 이렇게 모은 종이 수만 장이 훗날 MNIST의 원료가 된다. 연구팀이 실제로 쓴 데이터는 우체국에서 온 것이었다. 뉴욕주 버펄로 우체국을 지나간 우편물의 우편번호에서 숫자를 잘라낸 9,298장 ...

2017년 「Attention Is All You Need」: 트랜스포머는 어떻게 '순서대로 계산하기'를 버렸나

이미지
2017년 6월 12일(현지 시간) arXiv에 15쪽짜리 논문 하나가 올라왔습니다. 제목은 「Attention Is All You Need」 . 지금은 ChatGPT를 비롯한 대부분의 언어 모델이 이 논문이 제안한 구조 위에 서 있지만, 당시에는 번역 성능을 조금 올린 또 하나의 모델일 뿐이었습니다. 논문이 던진 문장은 짧고 도발적입니다. "어텐션만 있으면 된다." 순환 신경망(RNN)도, 합성곱(CNN)도 없이 문장을 처리하겠다는 선언이었습니다. 트랜스포머 전체 구조. 왼쪽이 인코더, 오른쪽이 디코더이며 각 블록이 6번 반복된다. 여덟 명의 이름, 순서는 무작위 저자는 여덟 명입니다. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin. 논문 첫 페이지 각주에는 "모두 동등하게 기여했으며, 이름 순서는 무작위" 라고 적혀 있습니다. 이 각주에는 역할도 함께 적혀 있습니다. Jakob Uszkoreit이 RNN을 셀프 어텐션으로 대체하자는 아이디어를 냈고 , Noam Shazeer가 스케일드 닷 프로덕트 어텐션과 멀티 헤드 어텐션, 위치 표현 방식을 제안했습니다. Ashish Vaswani와 Illia Polosukhin은 첫 트랜스포머 모델을 설계·구현했습니다. 공저자 Llion Jones. 2024년 도쿄 CIC에서 열린 행사에서 발표하는 모습. 여덟 저자 가운데 한 명이다. 순서대로 계산하기를 버리다 기존 번역 모델은 단어를 하나씩 읽으며 이전 상태를 다음 상태로 넘겼습니다. 이 방식은 앞 단어를 계산해야 뒤 단어를 계산할 수 있으니, 아무리 GPU가 많아도 한 문장 안에서는 병렬로 처리할 수 없습니다. 트랜스포머는 이 제약을 없앴습니다. 인코더 6층과 디코더 6층을 쌓되, 각 층에서 문장 전체를 한꺼번에 보는 멀티 헤드 셀프 어텐션 을 씁니다. 단어의 순...

1956년 다트머스 회의: ‘인공지능(AI)’이라는 이름이 처음 태어난 여름

이미지
오늘날 누구나 당연하게 부르는 ‘인공지능(Artificial Intelligence, AI)’ 이라는 말은 1956년 여름, 미국 뉴햄프셔주의 작은 대학 캠퍼스에서 열린 한 워크숍에서 처음 세상에 이름을 알렸습니다. 거대한 정부 프로젝트도, 수천 명이 모인 국제 학회도 아니었습니다. 젊은 수학 교수와 서른 안팎의 연구자들이 칠판 앞에 모여 두 달 남짓 머리를 맞댔던 다트머스 여름 연구 프로젝트(Dartmouth Summer Research Project on Artificial Intelligence) 가 현대 AI 역사의 공식 출발점이 되었습니다. 1955년 8월 31일자 「A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence」 표지. 매카시·민스키·로체스터·섀넌 네 사람의 이름과 소속이 함께 적혀 있다. 1955년 8월 31일, ‘Artificial Intelligence’가 적힌 제안서 1950년대 초반까지 ‘생각하는 기계’를 다루는 연구는 사이버네틱스(Cybernetics) 나 오토마타 이론(Automata Theory) 등 제각각의 이름으로 불리고 있었습니다. 당시 다트머스 칼리지의 젊은 수학 조교수였던 존 매카시(John McCarthy) 는 이 흐름을 하나의 독립된 연구 분야로 묶어 세울 새로운 이름이 필요했습니다. 노버트 위너의 사이버네틱스가 아날로그 피드백 제어에 너무 치우쳐 있었기 때문입니다. 1955년 8월 31일(9월 2일 공식 제출), 매카시는 하버드의 마빈 민스키(Marvin Minsky) , IBM의 너새니얼 로체스터(Nathaniel Rochester) , 벨 연구소의 클로드 섀넌(Claude Shannon) 과 함께 록펠러 재단에 연구비 지원 제안서를 제출했습니다. 이 문서의 제목과 첫 문단에 ‘Artificial Intelligence’ 라는 표현이 역사상 처음으로 공식 등장합니다. "학습의 모든 측면이나 지능의 다른 어떤 특징도...

2012년 ImageNet과 AlexNet: 그래픽카드 두 장이 딥러닝의 겨울을 끝낸 밤

이미지
2012년 9월 30일, 컴퓨터 비전 학계를 뒤흔든 ILSVRC(ImageNet 대규모 시각 인식 챌린지) 결과가 발표됐습니다. 매년 1~2%p씩 힘겹게 줄어들던 이미지 분류 오차율이 그해 단숨에 10%p 넘게 뚝 떨어졌기 때문 인데요. 우승 팀인 토론토 대학의 SuperVision(알렉스 크리제프스키·일리야 수츠케버·제프리 힌튼) 이 들고 나온 모델이 바로 오늘날 딥러닝 혁명의 방아쇠를 당긴 AlexNet 입니다. AlexNet 구조를 옮겨 그린 도해. 앞쪽 합성곱 층(Frozen Layers)은 그대로 두고 마지막 분류기(Top)만 새로 붙이는 방식까지 함께 표시돼 있다. 1. 1,500만 장의 사진 데이터셋, ImageNet의 탄생 2000년대 후반까지 인공지능이 사진을 구별하지 못했던 이유 중 하나는 데이터 부족 이었습니다. 스탠퍼드 대학의 페이페이 리(Fei-Fei Li) 교수팀은 2009년, 22,000개 범주에 걸쳐 1,500만 장 이상 의 고해상도 이미지를 크라우드소싱(아마존 메커니컬 터크)으로 라벨링한 ImageNet 을 공개했습니다. 이 가운데 1,000개 클래스·약 120만 장의 학습 이미지를 대상으로 겨루는 대회가 ILSVRC 였습니다. 페이페이 리(Fei-Fei Li). ImageNet을 만든 스탠퍼드 대학 연구팀을 이끈 인물. ITU(국제전기통신연합) 행사 연단에 선 모습. 2. 오차율 26.2% vs 15.3%, 수작업 규칙을 무너뜨린 합성곱 신경망 2012년 이전까지 컴퓨터 비전의 주류는 사람이 직접 특징(SIFT·Fisher Vector 등)을 설계해 넣는 방식이었습니다. 2012년 대회에서도 기존 방식의 최고 성적(2위 팀)은 Top-5 오차율 26.2% 였습니다. 반면 토론토 대학 베헨 센터(Bahen Centre)에서 제프리 힌튼 교수와 두 제자가 만든 AlexNet (합성곱 계층 5개 + 완전연결 계층 3개, 파라미터 약 6,000만 개·뉴런 65만 개)은 15.3% 라는 압도적인 성적으로 우승을 차지했습니다. 토론토 ...

2024년 8월 1일, EU AI Act는 발효됐지만 모든 규정이 즉시 적용된 것은 아니었다

이미지
2024년 8월 1일, 유럽연합의 인공지능법(AI Act, Regulation (EU) 2024/1689)이 발효 됐습니다. 하지만 그날부터 유럽의 모든 AI가 같은 규칙 아래 들어온 것은 아닙니다. 법에는 발효일과 적용일을 따로 두는 장치 가 들어 있었고, 그 시차는 2028년 8월 까지 이어집니다. 2026년 11월 현재, 유럽에서는 투명성 의무와 집행권 이 막 시행에 들어갔고 고위험 AI 의무 는 1년 더 미뤄진 상태입니다. 이 글은 발효일 계산에서 출발해 , 지금 무엇이 시행 중이고 무엇이 아직 대기 중인지 시간순으로 정리합니다. 인공지능법이 실린 유럽연합 관보(Official Journal) L 2024/1689 1면. 규정 번호와 채택일(2024년 6월 13일)이 그대로 인쇄돼 있습니다. 자료 · Publications Office of the European Union(퍼블릭 도메인) 1. 발효일은 왜 2024년 8월 1일인가 답은 법 조문에 있습니다. Article 113 은 이 규정이 관보 게재일부터 20일째 되는 날 에 발효한다고 정합니다. 관보 게재일은 2024년 7월 12일 이었습니다. 7월 13일부터 7월 31일까지가 19일 이고, 8월 1일을 더하면 20일째 가 됩니다. 그래서 발효일은 2024년 8월 1일입니다. 채택일(2024년 6월 13일)도, 관보 게재일도 아닙니다. 이 계산은 유럽연합 법령이 공통으로 쓰는 방식입니다. 그래서 유럽 법령을 인용할 때는 “6월 13일 채택”과 “8월 1일 발효”를 섞어 쓰지 않는 것 이 첫 번째 원칙입니다. 관보 123면의 Article 113 . “20일째 발효”와 함께 조항별 적용 시점이 나뉘어 적혀 있습니다. 이 한 조가 이 글의 출발점입니다. 자료 · Publications Office of the European Union(퍼블릭 도메인) 2. 적용은 한꺼번에 오지 않았습니다 발효 다음이 곧 전면 시행은 아닙니다. 법은 준비 기간을 두고 단계별로 적용 되도록 설계됐습...

2016년 알파고(AlphaGo) 대 이세돌 9단: 제4국 78수 ‘신의 한 수’와 바둑판 너머의 딥러닝 혁명

이미지
1997년 IBM 딥 블루가 체스 세계 챔피언 가리 카스파로프를 꺾었을 때, 컴퓨터 과학자들은 곧바로 다음 목표를 바라봤습니다. 바로 동양의 바둑(Go) 이었습니다. 하지만 체스 다음이 바둑까지 오는 데에는 무려 19년 이 걸렸습니다. 체스의 평균 수순 분기수가 약 35개인 데 비해 바둑은 약 250개 에 달해, 가능한 판의 경우의 수가 우주의 원자 수보다 많은 10의 170제곱 을 넘겼기 때문입니다. 딥 블루처럼 모든 수를 끝까지 계산해 내려가는 방식으로는 바둑을 풀 수 없었습니다. 그 벽을 깬 것이 2016년 3월 서울에서 열린 구글 딥마인드 알파고(AlphaGo)와 이세돌 9단 의 다섯 판이었습니다. 알파고 연산 자원으로 쓰인 서버 랙. 왼쪽에 ‘AlphaGo’ 설명 패널이 붙어 있는 전시 상태. 1. “직관”을 흉내 낸 두 개의 신경망과 구글의 비밀 병기 TPU 알파고는 기존 게임 AI와 근본적으로 달랐습니다. 딥마인드 연구팀은 바둑을 ‘계산’이 아니라 ‘패턴 인식과 직관’ 으로 풀기 위해 세 가지 장치를 결합했습니다. ▪ 정책망(Policy Network) : 바둑판 이미지를 보고 인간 고수라면 어디에 돌을 둘지 후보 수를 좁혀주는 신경망 ▪ 가치망(Value Network) : 현재 판세가 흑과 백 중 누구에게 몇 퍼센트 유리한지 형세를 판단하는 신경망 ▪ 몬테카를로 트리 탐색(MCTS) : 좁혀진 유망 수만 끝까지 시뮬레이션해 최선의 한 수를 고르는 탐색 알고리즘 여기에 또 하나의 결정적 무기가 있었습니다. 알파고가 대국 중 막대한 행렬 연산을 실시간으로 처리하기 위해 구글이 자체 설계한 AI 전용 칩 TPU(Tensor Processing Unit) 가 실전에 투입된 것입니다. (분산형 알파고는 1,202개의 CPU와 176개의 GPU, 혹은 48개의 TPU를 연동해 가동됐습니다.) 구글 TPU 보드. 한 장에 프로세서 여러 개를 올리고 구리 히트파이프로 열을 빼낸다. 2. 2016년 3월 서울, 0 대 3으로 몰린 인간 챔피언의 반격 2016년...