- Published on
- 약 4분
똠방각하는 왜 깨졌나: 한글 인코딩의 역사
- Authors
- Name
- 스타차일드
'똠방각하'라는 제목은 한때 컴퓨터로 쓸 수 없는 말이었다. 정확히는 '똠' 한 글자가 문제였다. 1990년대 컴퓨터에서 이 글자를 치면 물음표가 찍히거나 엉뚱한 기호로 바뀌었다. 당시 표준이 정해 둔 한글 목록에 '똠'이 없었기 때문이다. 인터넷 유행어였던 '햏자'의 '햏', 의성어 '뷁'도 같은 신세였다.
한글은 자음과 모음을 모아 글자를 만든다. 첫소리 19개, 가운뎃소리 21개, 끝소리 27개에 끝소리가 없는 경우까지 합치면 만들 수 있는 글자는 이렇게 정해진다.
그런데 1987년에 정한 국가 표준은 이 가운데 2350자만 골라 담았다. 나머지 8822자는 표준 바깥에 있었다.
완성형과 조합형의 다툼
컴퓨터에 한글을 넣는 방법은 크게 두 가지였다.
조합형은 한글의 원리를 그대로 따른다. 글자 하나를 2바이트(16비트)로 쓰되, 그 안을 쪼개 첫소리, 가운뎃소리, 끝소리에 각각 5비트씩 번호를 준다. 자모의 번호만 있으면 1만 1172자를 모두 표현할 수 있다. 1980년대 국산 컴퓨터와 프로그램들은 저마다 조금씩 다른 조합형을 썼다.
완성형은 자주 쓰는 글자를 미리 골라 번호표를 붙이는 방식이다. '가'는 몇 번, '각'은 몇 번 하는 식으로 2350자에 번호를 매겼다. 1987년 정부는 완성형을 국가 표준(KS C 5601, 지금의 KS X 1001)으로 정했다. 국제 문자 코드 체계와 맞추기 쉽고, 이미 그 체계를 쓰던 외국산 운영체제에 얹기 편했기 때문이다. 대신 목록에 없는 글자는 쓸 수 없었다. 한글학자와 개발자들은 거세게 반발했고, 이 다툼은 1990년대 중반까지 이어졌다.
| 방식 | 담을 수 있는 한글 | 한 글자 크기 | 특징 |
|---|---|---|---|
| 조합형 | 1만 1172자 | 2바이트 | 자모 번호로 글자를 만든다. 업체마다 규격이 달랐다 |
| 완성형 (KS X 1001, EUC-KR) | 2350자 | 2바이트 | 국가 표준. 목록에 없는 글자는 쓸 수 없다 |
| 확장 완성형 (CP949) | 1만 1172자 | 2바이트 | 완성형 뒤에 나머지 8822자를 덧붙였다 |
| 유니코드 (UTF-8) | 1만 1172자 | 3바이트 | 세계 모든 문자를 한 체계에 담는다 |
문제를 사실상 정리한 것은 마이크로소프트였다. 윈도 95와 함께 나온 확장 완성형(코드 페이지 949)은 기존 2350자의 번호는 그대로 두고, 빈자리에 나머지 8822자를 덧붙였다. 옛 문서와도 호환되고 모든 글자를 쓸 수 있었다. 다만 덧붙인 글자들은 가나다순이 아니라 빈자리 순서로 흩어져 있어서, 번호만으로 정렬하면 순서가 엉켰다.
유니코드가 한글을 옮긴 날
세계의 문자를 하나의 표에 담으려는 유니코드도 한글 때문에 한 번 크게 흔들렸다. 1993년 유니코드 1.1에는 한글 6656자가 들어 있었다. 1996년 유니코드 2.0은 이 한글을 통째로 지우고, 다른 자리(U+AC00부터 U+D7A3까지)에 1만 1172자를 가나다순으로 새로 배치했다. 이미 저장된 문서의 글자 번호가 바뀌는 일이었다. 유니코드는 이 일을 겪은 뒤 한 번 정한 글자의 번호는 다시는 옮기지 않는다는 원칙을 세웠다.
덕분에 지금의 한글은 계산으로 번호를 구할 수 있다. 첫소리, 가운뎃소리, 끝소리의 순번만 알면 된다.
이 계산은 한글 자모 분리기 같은 도구가 하는 일 그대로다. 받침이 있는지 확인해 '은'과 '는', '이'와 '가'를 골라 붙이는 코드도 같은 계산을 쓴다. 번호에서 AC00을 빼고 28로 나눈 나머지가 0이면 받침이 없는 글자다.
UTF-8과 남은 숙제
웹에서 한글 문제를 끝낸 것은 UTF-8이다. 1992년 9월 켄 톰프슨(Ken Thompson)과 롭 파이크(Rob Pike)가 뉴저지의 한 식당에서 종이 식탁 매트에 설계를 적었다는 이 인코딩은, 영어는 1바이트로 쓰면서 다른 문자는 2~4바이트로 늘려 쓴다. 한글 한 글자는 3바이트가 든다. EUC-KR보다 1바이트 무겁지만, 세상의 모든 문자를 한 문서에 섞어 쓸 수 있다. 지금은 웹사이트의 98% 가량이 UTF-8을 쓴다.
한국의 웹은 꽤 오래 EUC-KR에 머물렀다. 그래서 2000년대에 만든 사이트에서 글자가 깨지거나, 주소창의 한글이 퍼센트 기호가 섞인 긴 문자열로 바뀌는 일을 자주 보았다. 주소에 들어가는 한글은 지금도 UTF-8 바이트를 퍼센트 인코딩으로 바꿔 전달된다. '한'은 주소 안에서 %ED%95%9C가 된다.
남은 숙제도 있다. 같은 '한'이라도 완성된 글자 하나(U+D55C)로 저장할 수도 있고, 자모 세 개(ㅎ, ㅏ, ㄴ)로 나누어 저장할 수도 있다. 앞의 방식을 NFC, 뒤의 방식을 NFD라고 부른다. 맥에서 만든 파일을 윈도로 옮기면 파일 이름이 'ㅎㅏㄴㄱㅡㄹ'처럼 풀어져 보이는 일이 있는데, 두 운영체제가 기본으로 쓰는 방식이 달라서 생기는 일이다. 문자열을 비교하거나 검색하는 코드라면 저장하기 전에 한 가지 방식으로 맞춰 두는 것이 안전하다.
'똠'이 깨지던 시절에서 30년쯤 지났다. 지금 화면에서 이 글자가 멀쩡히 보인다면, 그 뒤에는 완성형과 조합형을 두고 싸운 사람들과, 한글의 자리를 통째로 옮긴 결정과, 식탁 매트 위의 설계가 겹겹이 깔려 있다.
참고한 자료
- 한국산업표준 KS X 1001, 정보 교환용 부호계(한글 및 한자)
- The Unicode Standard, Hangul Syllables (U+AC00부터 U+D7A3까지) 및 Unicode Character Encoding Stability Policy
- Rob Pike, "UTF-8 history" (2003년 메일 기록)
- W3Techs, Usage statistics of character encodings for websites
이 글과 함께 보면 좋은 것
시리즈
기술이 바꾼 세계 (3/6)
표준시, 활자, 인코딩, 오픈소스처럼 기술이 세상의 규칙을 바꾼 순간을 읽는 글
함께 읽을 글
- 240만 명에게 묻고도 틀린 여론조사1936년 미국 잡지 리터러리 다이제스트는 1000만 명에게 모의 투표 용지를 보내 240만 장을 돌려받았다. 결과는 공화당 랜던의 압승이었다. 실제 선거에서는 루스벨트가 48개 주 가운데 46개 주를 가져갔다. 표본은 크기보다 누구를 뽑았는지가 중요하다는 교훈을 숫자로 짚어 본다.
- 늦은 프로젝트에 사람을 더하면 더 늦어진다: 브룩스와 콘웨이의 법칙프레드 브룩스는 IBM의 운영체제 OS/360 개발을 이끌며 늦어진 일정에 사람을 더 넣었다가 일정이 더 밀리는 것을 보았다. 사람이 늘면 일손보다 대화 통로가 더 빨리 는다. 조직의 대화 구조가 그대로 시스템의 구조가 된다는 콘웨이의 법칙과 함께, 팀의 모양이 코드에 남기는 흔적을 본다.
- 지도 한 장이 콜레라를 멈췄다: 존 스노와 브로드가의 펌프1854년 런던 소호에서는 열흘 만에 500명 넘게 콜레라로 죽었다. 사람들은 나쁜 공기를 탓했다. 의사 존 스노는 사망자를 지도에 찍고, 수도 회사별 사망률을 비교해 물이 범인이라고 짚었다. 데이터로 원인을 찾는 일이 어떻게 시작됐는지 따라가 본다.