0과 1로 세상을 담는 법: 비트, 바이트, 문자 인코딩

컴퓨터는 0과 1밖에 모르는데 어떻게 숫자와 한글과 사진과 음악을 담을까요? 2진수와 16진수로 세는 법, 8비트에 255가 넘치면 0이 되는 이유, 글자에 번호를 붙이는 유니코드와 한글이 UTF-8에서 3바이트가 되는 이유, 한글이 깨지는 원인인 인코딩 차이, 맥에서 온 파일 이름의 자모가 풀리는 정규화 문제를 파이썬으로 직접 확인해요. 사진과 소리를 숫자로 바꾸면 얼마나 커지는지, 파일 확장자의 진실까지 다뤄요.

입문강의 2 / 6약 10분

컴퓨터 안의 부품들은 전기가 흐르는지 안 흐르는지, 딱 두 가지 상태만 구별해요. 이걸 1과 0으로 적어요. 숫자도, 한글도, 사진도, 음악도 컴퓨터 안에서는 전부 0과 1의 긴 줄이에요. 이번 강의에서는 어떻게 그게 가능한지, 그리고 이 원리를 알면 왜 한글이 깨지는 문제를 스스로 풀 수 있는지 볼게요.

비트와 바이트

0이나 1 하나를 비트(bit)라고 해요. 비트 하나로는 두 가지(예/아니요, 켜짐/꺼짐)만 나타낼 수 있지만, 여러 개를 모으면 표현할 수 있는 가짓수가 두 배씩 늘어요.

  • 비트 2개: 00, 01, 10, 11 → 4가지
  • 비트 3개: 8가지
  • 비트 8개: 28=2562^8 = 256가지

비트 8개를 묶어 바이트(byte)라고 불러요. 컴퓨터가 데이터를 다루는 기본 단위예요. 앞 강의에서 본 KB, MB, GB는 모두 바이트를 센 거예요.

2진수와 16진수로 세기

우리는 0에서 9까지 열 개의 숫자를 쓰는 10진수로 세요. 9 다음에 자리가 올라가서 10이 되죠. 2진수는 0과 1 두 개만 써서, 1 다음에 바로 자리가 올라가요.

for n in (0, 1, 2, 5, 10, 255):
    print(n, format(n, "08b"), format(n, "X"))       # 10진수, 8자리 2진수, 16진수
print(int("1101", 2), int("FF", 16), 0b1010, 0xFF)  # 거꾸로 바꾸기
0 00000000 0
1 00000001 1
2 00000010 2
5 00000101 5
10 00001010 A
255 11111111 FF
13 255 10 255

2진수 1101은 오른쪽부터 1, 2, 4, 8의 자리예요. 8+4+0+1=138 + 4 + 0 + 1 = 13이죠. 8비트로 나타낼 수 있는 가장 큰 수는 11111111, 즉 255예요.

2진수는 너무 길어서 사람이 읽기 힘들어요. 그래서 16진수를 많이 써요. 0에서 9 다음에 A(10), B(11), C(12), D(13), E(14), F(15)를 써요. 16진수 한 자리가 정확히 2진수 네 자리라서, 1바이트(8비트)가 16진수 두 자리로 딱 떨어져요. 255는 FF예요. 프로그래밍에서 0x로 시작하는 숫자는 16진수, 0b로 시작하면 2진수라는 표시예요.

정해진 칸이 넘치면

컴퓨터는 숫자를 정해진 칸 수에 담아요. 8비트 칸에 255를 담고 1을 더하면 어떻게 될까요?

print(2**8, 2**16, 2**32)                            # 8, 16, 32비트로 나타낼 수 있는 가짓수
print((255 + 1) % 256, (200 + 100) % 256)            # 8비트 칸에서 넘치면
256 65536 4294967296
0 44

11111111에 1을 더하면 100000000이 되는데, 칸이 8개뿐이라 맨 앞의 1이 떨어져 나가고 00000000, 즉 0이 돼요. 자동차 주행 거리계가 99999에서 00000으로 돌아가는 것과 같아요. 이것을 넘침(오버플로)이라고 해요. 파이썬의 정수는 알아서 칸을 늘려서 넘치지 않지만, 다른 언어나 게임, 기계에서는 이 때문에 신기한 버그가 생기곤 해요. 32비트로는 약 43억 가지를 셀 수 있어서, 사람 수나 날짜를 세다 보면 이 한계에 닿는 일이 실제로 있어요.

글자를 숫자로: 문자 인코딩

컴퓨터가 글자를 담는 방법은 단순해요. 모든 글자에 번호를 붙이는 거예요. "A는 65번, B는 66번" 하는 식으로요. 어떤 글자에 어떤 번호를 붙이고, 그 번호를 어떤 바이트로 저장할지 정한 약속을 문자 인코딩이라고 해요.

  • ASCII(1960년대): 영어 알파벳, 숫자, 기호 128개에 번호를 붙였어요. 7비트면 충분했어요. 한글은 없었어요.
  • 나라별 인코딩: 한국은 한글을 담으려고 EUC-KR과, 이를 넓힌 CP949(윈도에서 쓰는 방식)를 만들었어요. 일본, 중국도 각자 만들었어요. 문제는 같은 바이트가 인코딩마다 다른 글자를 뜻한다는 거예요.
  • 유니코드: 세상의 모든 글자에 하나의 번호표를 붙이자는 약속이에요. 한글, 한자, 아랍 문자, 그리고 이모지까지 15만 개가 넘는 글자에 번호가 있어요.
  • UTF-8: 유니코드 번호를 바이트로 저장하는 가장 널리 쓰이는 방식이에요. 오늘날 웹 페이지의 대부분이 UTF-8이에요.
for ch in ["A", "a", "가", "한", "😀"]:
    data = ch.encode("utf-8")                        # 글자를 UTF-8 바이트로
    print(ch, ord(ch), hex(ord(ch)), len(data), data.hex(" "))
print("가".encode("cp949").hex(" "), len("가".encode("cp949")))
A 65 0x41 1 41
a 97 0x61 1 61
가 44032 0xac00 3 ea b0 80
한 54620 0xd55c 3 ed 95 9c
😀 128512 0x1f600 4 f0 9f 98 80
b0 a1 2

ord는 글자의 유니코드 번호를 알려 줘요. "가"는 44032번이에요. 유니코드에는 한글 음절 11,172자가 "가"부터 차례로 들어 있어요. UTF-8은 번호가 작은 글자는 짧게, 큰 글자는 길게 저장해요. 영어는 1바이트, 한글은 3바이트, 이모지는 4바이트예요. 같은 "가"를 CP949로 저장하면 전혀 다른 2바이트(b0 a1)가 돼요.

한글이 깨지는 이유

이제 한글이 깨지는 이유를 정확히 알 수 있어요. 저장할 때와 읽을 때의 인코딩이 다르면 깨져요.

s = "안녕"
print(s.encode("utf-8").decode("cp949", errors="replace"))   # UTF-8로 쓰고 CP949로 읽으면
print(s.encode("cp949").decode("utf-8", errors="replace"))   # CP949로 쓰고 UTF-8로 읽으면
�븞�뀞
�ȳ�

바이트는 멀쩡한데, 그 바이트를 다른 약속으로 해석해서 엉뚱한 글자나 �(해석할 수 없음 표시)가 나온 거예요. 예전 윈도 프로그램이나 엑셀이 만든 CSV 파일은 CP949인 경우가 많고, 요즘 웹과 개발 도구는 대부분 UTF-8을 써요. 그래서 이런 일이 자주 생겨요.

  • 글자가 깨지면 먼저 "이 파일은 어떤 인코딩으로 저장됐을까?"를 생각해요. 메모장 같은 편집기의 저장 메뉴나 상태 표시줄에서 인코딩을 보고 바꿀 수 있어요.
  • 새 파일은 UTF-8로 만들어요. 엑셀에서도 "CSV UTF-8" 형식으로 저장할 수 있어요.
  • 프로그램에서 파일을 열 때는 인코딩을 꼭 적어요. 파이썬이라면 open(경로, encoding="utf-8")이에요. 성장 트랙의 디버깅 강의에서 본 것과 같은 이야기예요.

같은 글자인데 다르다: 맥에서 온 파일 이름

한국어 사용자가 자주 만나는 또 하나의 문제가 있어요. 맥에서 만든 파일을 윈도로 옮기면 파일 이름이 "ㅎㅏㄴㄱㅡㄹ"처럼 자모가 풀려 보이는 일이요. 이건 인코딩이 아니라 정규화의 차이 때문이에요. 유니코드에는 "한"을 나타내는 방법이 두 가지 있어요. 완성된 글자 "한" 하나로 쓰는 방법(NFC)과, "ㅎ", "ㅏ", "ㄴ" 세 조각을 이어 쓰는 방법(NFD)이에요.

import unicodedata

nfc = "한글"
nfd = unicodedata.normalize("NFD", nfc)              # 자모 조각으로 풀어 쓰기
print(len(nfc), len(nfd), nfc == nfd, [hex(ord(c)) for c in nfd])
print(unicodedata.normalize("NFC", nfd) == nfc)     # 다시 모으면 같아져요
2 6 False ['0x1112', '0x1161', '0x11ab', '0x1100', '0x1173', '0x11af']
True

화면에서는 똑같이 "한글"로 보이는데, 컴퓨터에게는 2글자와 6글자, 서로 다른 문자열이에요. 맥의 파일 시스템과 일부 프로그램은 파일 이름을 조각으로 풀어 쓴 방식(NFD)으로 저장하고, 윈도는 보통 완성형(NFC)을 써요. 그래서 윈도의 일부 프로그램이 조각을 따로따로 보여 주는 거예요. 프로그램을 만들 때 이름을 비교하거나 검색한다면, 비교하기 전에 unicodedata.normalize("NFC", ...)로 한 가지 방식으로 맞춰 줘야 해요.

그림과 소리를 숫자로

사진

사진은 아주 작은 점(픽셀)들의 격자예요. 점마다 빨강(R), 초록(G), 파랑(B) 빛의 세기를 0에서 255 사이의 숫자로 저장하면, 섞어서 1,600만 가지가 넘는 색을 만들 수 있어요(2563256^3). 웹에서 쓰는 색 코드 #FF8800은 R=FF(255), G=88(136), B=00(0), 즉 밝은 주황이에요.

w, h = 1920, 1080                                    # 풀 HD 화면 크기
print(w * h * 3, round(w * h * 3 / 2**20, 2))       # 픽셀마다 3바이트(R, G, B)
6220800 5.93

풀 HD 사진 한 장을 그대로 저장하면 약 6MB예요. 그런데 휴대폰 사진은 보통 그보다 훨씬 작죠. 압축 덕분이에요. PNG는 정보를 하나도 잃지 않고 줄이고, JPEG는 사람 눈이 잘 못 알아채는 정보를 버려서 훨씬 많이 줄여요. 그래서 JPEG를 여러 번 저장하면 조금씩 화질이 나빠져요.

소리

소리는 공기의 떨림이에요. 그 떨림의 세기를 1초에 수만 번 재서 숫자로 적으면 디지털 소리가 돼요. 음악 CD는 1초에 44,100번, 한 번에 16비트로, 왼쪽과 오른쪽 두 채널을 기록해요.

bits_per_second = 44100 * 16 * 2
print(bits_per_second, round(bits_per_second / 8 * 60 / 2**20, 1))   # 초당 비트, 1분에 몇 MB
1411200 10.1

1분에 약 10MB예요. MP3나 AAC는 사람 귀가 잘 못 듣는 소리를 버려서 이걸 10분의 1 정도로 줄여요.

파일과 확장자의 진실

모든 파일은 결국 바이트의 줄이에요. 사진.jpg의 .jpg 같은 확장자는 "이 바이트를 어떤 방식으로 해석하면 되는지" 알려 주는 이름표일 뿐이에요. 확장자를 .txt로 바꾼다고 사진이 글이 되지는 않아요. 많은 파일 형식은 맨 앞 몇 바이트에 "나는 PNG 그림이에요" 같은 서명을 넣어 둬요.

print(bytes([0x89, 0x50, 0x4E, 0x47]))              # PNG 파일은 늘 이 4바이트로 시작해요
b'\x89PNG'

그래서 확장자를 바꿔 숨긴 파일도 프로그램은 알아볼 수 있어요. 반대로, 악성 프로그램이 사진.jpg.exe처럼 이름을 붙여 사진인 척하기도 해요. 윈도에서 파일 확장자 보이기를 켜 두면 이런 속임수에 덜 당해요(다음 강의).

실습

  1. 내 나이를 2진수와 16진수로 바꿔 보세요. 파이썬의 format(나이, "b")와 format(나이, "X")로 확인하세요.
  2. 내 이름의 글자마다 ord로 유니코드 번호를 알아보고, UTF-8로 몇 바이트가 되는지 세어 보세요.
  3. 메모장에서 한글 문장을 쓰고 "ANSI"(윈도에서는 CP949)와 "UTF-8"로 각각 저장해 보세요. 파일 크기가 어떻게 다른가요?
  4. 웹에서 좋아하는 색의 색 코드를 찾아 R, G, B 값으로 바꿔 보세요.
  5. 4K 화면(3840×2160) 한 장을 압축 없이 저장하면 몇 MB일까요?

자주 하는 오해

  • "한글이 깨졌으니 파일이 망가졌다." 대부분 바이트는 멀쩡하고 해석하는 인코딩이 다를 뿐이에요. 맞는 인코딩으로 열면 돌아와요.
  • "보이는 글자가 같으면 같은 문자열이다." 정규화 방식이 다르면 컴퓨터에게는 다른 문자열이에요.
  • "확장자를 바꾸면 파일 형식이 바뀐다." 이름표만 바뀌고 내용은 그대로예요. 형식을 바꾸려면 변환 프로그램이 필요해요.
  • "1바이트에 글자 하나." 영어는 그렇지만 UTF-8에서 한글은 3바이트, 이모지는 4바이트예요.

점검 문제

  1. 비트 8개로 나타낼 수 있는 가짓수와 가장 큰 수는?
  2. 2진수 1101은 10진수로 얼마인가요?
  3. 16진수가 2진수와 잘 맞는 이유는?
  4. 8비트 칸에 255를 담고 1을 더하면 왜 0이 되나요?
  5. 유니코드와 UTF-8은 각각 무엇인가요?
  6. 한글이 깨지는 가장 흔한 원인은?
  7. 맥에서 온 파일 이름의 자모가 풀려 보이는 이유는?
  8. 풀 HD 사진을 압축 없이 저장하면 대략 몇 MB인가요?

정답

  1. 28=2562^8 = 256가지이고, 가장 큰 수는 255예요.
  2. 8+4+0+1=138 + 4 + 0 + 1 = 13이에요.
  3. 16진수 한 자리가 정확히 2진수 네 자리라서, 1바이트가 16진수 두 자리로 딱 떨어지기 때문이에요.
  4. 결과 100000000이 9자리라 8칸에 다 못 담기고 맨 앞의 1이 떨어져 나가서, 남은 00000000이 되기 때문이에요.
  5. 유니코드는 세상의 모든 글자에 번호를 붙인 약속이고, UTF-8은 그 번호를 바이트로 저장하는 방식이에요.
  6. 저장할 때와 읽을 때의 인코딩이 다른 거예요. 예를 들어 CP949로 저장한 파일을 UTF-8로 읽는 경우예요.
  7. 맥은 파일 이름을 자모 조각으로 풀어 쓴 방식(NFD)으로 저장하기도 하고, 윈도는 완성형(NFC)을 써서 일부 프로그램이 조각을 따로 보여 주기 때문이에요.
  8. 1920×1080×31920 \times 1080 \times 3바이트로 약 6MB예요.

다음 강의

컴퓨터 안의 원리를 알았으니, 이제 컴퓨터를 빠르고 편하게 다루는 손기술을 익혀 볼 차례예요. 다음 강의에서는 단축키, 파일과 폴더를 정리하는 법, 그리고 소중한 파일을 지키는 백업 습관을 다뤄요.