텍스트를 다루는 도구: grep, sed, awk, 파이프
리눅스의 힘은 작은 도구들을 파이프로 이어 붙이는 데서 나와요. 웹 서버 접속 기록 12줄을 직접 만들어 놓고, grep으로 원하는 줄을 찾고, cut과 sort와 uniq로 세고, awk로 칸을 골라 더하고 조건으로 거르고, sed로 바꾸고 가려요. 오류가 난 요청 찾기, 가장 많이 접속한 IP 순위, 응답 코드별 개수, 보낸 데이터 합계, 취약점을 찔러 보는 봇 찾기, 개인 정보를 가린 로그 만들기를 한 줄 명령으로 해내요.
서버를 운영하면 텍스트가 끝없이 쌓여요. 웹 서버의 접속 기록, 앱의 오류 로그, 설정 파일, CSV 데이터. 이걸 매번 편집기로 열어 눈으로 찾을 수는 없어요. 수십만 줄이면 열리지도 않고요. 리눅스에는 텍스트를 다루는 작은 도구들이 있고, 이것들을 파이프(|)로 이어 붙이면 거의 모든 질문에 한 줄로 답할 수 있어요.
리눅스의 오래된 철학이 바로 이거예요. 한 가지 일을 잘하는 작은 프로그램들을 만들고, 텍스트로 서로 이어 붙인다. 이번 강의에서 그 힘을 직접 느껴 볼게요. 이 강의의 출력은 모두 실제로 실행한 결과예요.
연습할 로그 만들기
웹 서버의 접속 기록을 흉내 낸 파일을 만들어요. <<'EOF'부터 EOF까지의 내용이 그대로 파일에 들어가요. 이런 입력 방식을 히어 독(here document)이라고 불러요. IP 주소는 문서와 예제용으로 따로 정해 둔 대역을 썼어요.
$ cat > access.log <<'EOF'
203.0.113.5 - - [16/Nov/2026:10:00:01 +0900] "GET / HTTP/1.1" 200 5120
198.51.100.7 - - [16/Nov/2026:10:00:03 +0900] "GET /about HTTP/1.1" 200 2048
203.0.113.5 - - [16/Nov/2026:10:00:04 +0900] "GET /login HTTP/1.1" 200 1024
192.0.2.44 - - [16/Nov/2026:10:01:10 +0900] "GET /wp-admin HTTP/1.1" 404 512
192.0.2.44 - - [16/Nov/2026:10:01:11 +0900] "GET /.env HTTP/1.1" 404 512
203.0.113.5 - - [16/Nov/2026:10:02:00 +0900] "POST /login HTTP/1.1" 302 0
198.51.100.7 - - [16/Nov/2026:10:02:30 +0900] "GET /api/items HTTP/1.1" 500 128
203.0.113.9 - - [16/Nov/2026:10:03:05 +0900] "GET / HTTP/1.1" 200 5120
192.0.2.44 - - [16/Nov/2026:10:03:06 +0900] "GET /phpmyadmin HTTP/1.1" 404 512
198.51.100.7 - - [16/Nov/2026:10:04:00 +0900] "GET /api/items HTTP/1.1" 200 4096
203.0.113.9 - - [16/Nov/2026:10:05:12 +0900] "GET /about HTTP/1.1" 200 2048
198.51.100.7 - - [16/Nov/2026:10:06:45 +0900] "GET /api/items HTTP/1.1" 500 128
EOF
$ wc -l access.log
12 access.log
한 줄이 요청 하나예요. 띄어쓰기로 나누면 칸이 이렇게 돼요.
| 칸 번호 | 예 | 뜻 |
|---|---|---|
| 1 | 203.0.113.5 | 접속한 곳의 IP 주소 |
| 4 | [16/Nov/2026:10:00:01 | 시각 |
| 6 | "GET | 요청 방식 |
| 7 | /about | 요청한 경로 |
| 9 | 200 | 응답 코드 (200 성공, 302 다른 곳으로, 404 없음, 500 서버 오류) |
| 10 | 2048 | 보낸 데이터 크기(바이트) |
grep: 원하는 줄 찾기
grep은 글자가 들어 있는 줄만 골라 보여 줘요. 가장 자주 쓰는 도구예요.
$ grep " 500 " access.log # 서버 오류가 난 요청
198.51.100.7 - - [16/Nov/2026:10:02:30 +0900] "GET /api/items HTTP/1.1" 500 128
198.51.100.7 - - [16/Nov/2026:10:06:45 +0900] "GET /api/items HTTP/1.1" 500 128
500 앞뒤에 띄어쓰기를 넣은 데 주목하세요. 그냥 500으로 찾으면 크기가 5000바이트인 줄처럼 엉뚱한 줄까지 걸릴 수 있어요. 찾는 글자를 정확하게 쓰는 게 grep을 잘 쓰는 요령이에요.
| 옵션 | 뜻 |
|---|---|
-i | 대소문자 무시 |
-v | 거꾸로: 들어 있지 않은 줄 |
-c | 줄을 보여 주지 않고 개수만 |
-n | 줄 번호도 함께 |
-r | 폴더 안의 모든 파일에서 찾기 |
-E | 정규 표현식 확장 (여러 패턴을 |로 묶기 등) |
-o | 줄 전체가 아니라 맞는 부분만 |
$ grep -c " 404 " access.log # 404가 몇 번?
$ grep -n "POST" access.log # POST 요청과 그 줄 번호
$ grep -v "GET" access.log # GET이 아닌 요청
3
6:203.0.113.5 - - [16/Nov/2026:10:02:00 +0900] "POST /login HTTP/1.1" 302 0
203.0.113.5 - - [16/Nov/2026:10:02:00 +0900] "POST /login HTTP/1.1" 302 0
파이프: 도구 이어 붙이기
파이프(|)는 앞 명령의 출력을 뒤 명령의 입력으로 넘겨요. 물이 관을 타고 흐르듯 텍스트가 흘러가며 단계마다 다듬어져요. 서버를 찔러 보는 수상한 요청을 찾아볼게요. 워드프레스 관리자 페이지(wp-admin), 데이터베이스 관리 도구(phpmyadmin), 비밀 설정 파일(.env)은 이 사이트에 없는데도 자동화된 봇들이 늘 찔러 보는 경로예요.
$ grep -E "wp-admin|phpmyadmin|\.env" access.log | cut -d" " -f1,7
192.0.2.44 /wp-admin
192.0.2.44 /.env
192.0.2.44 /phpmyadmin
grep -E로 세 경로 중 하나라도 있는 줄을 고르고(\.은 "아무 글자"가 아니라 진짜 점이라는 뜻이에요), cut으로 1번과 7번 칸만 잘라 냈어요. 한 IP가 한꺼번에 여러 곳을 찔러 봤으니, 사람이 아니라 취약점을 찾는 봇이에요. 실제 서버라면 이런 IP를 막는 규칙을 만들 거예요(보안 트랙에서 다뤄요). 그리고 이게 성장 트랙의 Git 강의에서 .env를 절대 공개하지 말라고 한 이유예요. 실수로 웹에 올라가면 이런 봇이 몇 분 안에 찾아내요.
세기: sort, uniq
가장 많이 접속한 IP는 어디일까요?
$ cut -d" " -f1 access.log | sort | uniq -c | sort -rn
4 198.51.100.7
3 203.0.113.5
3 192.0.2.44
2 203.0.113.9
네 단계를 거쳤어요.
cut -d" " -f1: 띄어쓰기(-d" ")로 나눈 1번 칸(IP)만 남겨요.sort: 같은 IP끼리 붙도록 정렬해요.uniq -c: 붙어 있는 같은 줄을 하나로 합치면서 개수를 세요(-c). 붙어 있는 것만 합쳐서, 앞에sort가 꼭 필요해요.sort -rn: 개수를 숫자로(-n), 큰 것부터(-r) 정렬해요.
이 sort | uniq -c | sort -rn은 "무엇이 몇 번 나왔나"를 세는 공식처럼 쓰여요. 꼭 외워 두세요.
awk: 칸을 다루는 작은 언어
awk는 줄을 띄어쓰기로 나눠 $1, $2처럼 칸 번호로 다루게 해 주는 작은 프로그래밍 언어예요. $0은 줄 전체예요. 응답 코드(9번 칸)별로 세어 볼게요.
$ awk '{print $9}' access.log | sort | uniq -c
6 200
1 302
3 404
2 500
awk는 계산도 해요. 보낸 데이터를 모두 더해 볼게요.
$ awk '{sum += $10} END {print sum}' access.log
21248
{sum += $10}은 줄마다 10번 칸을 sum에 더하고, END {...}는 모든 줄을 다 읽은 뒤에 한 번 실행돼요. 조건을 앞에 쓰면 그 조건에 맞는 줄에만 실행해요.
$ awk '$9 >= 400 {print $1, $7, $9}' access.log # 오류 응답만, 필요한 칸만
192.0.2.44 /wp-admin 404
192.0.2.44 /.env 404
198.51.100.7 /api/items 500
192.0.2.44 /phpmyadmin 404
198.51.100.7 /api/items 500
가장 많이 요청된 경로도 같은 공식으로 구해요.
$ awk '{print $7}' access.log | sort | uniq -c | sort -rn | head -4
3 /api/items
2 /login
2 /about
2 /
/api/items가 가장 많고, 그중 두 번이 500 오류였어요. 개발자에게 알려야 할 곳이 바로 보여요. 오류가 언제 났는지도 뽑아 볼게요. 4번 칸 [16/Nov/2026:10:02:30을 :로 쪼개면 시와 분이 나와요.
$ awk '$9 == 500 {split($4, t, ":"); print t[2] ":" t[3]}' access.log
10:02
10:06
칸을 나누는 기준은 -F로 바꿀 수 있어요. CSV라면 awk -F, '{print $2}'처럼 쉼표로 나눠요. 이 로그에서 "로 나누면 요청 부분만 깔끔하게 뽑혀요.
$ awk -F'"' '{print $2}' access.log | head -2
GET / HTTP/1.1
GET /about HTTP/1.1
sed: 바꾸고 고르기
sed는 흐르는 텍스트를 고쳐요. 가장 많이 쓰는 건 바꾸기 s/찾을것/바꿀것/이에요.
$ sed -n '2,3p' access.log # 2번째부터 3번째 줄만 출력
198.51.100.7 - - [16/Nov/2026:10:00:03 +0900] "GET /about HTTP/1.1" 200 2048
203.0.113.5 - - [16/Nov/2026:10:00:04 +0900] "GET /login HTTP/1.1" 200 1024
-n은 "따로 말한 줄만 출력", 2,3p는 "2에서 3번째 줄을 출력(print)"이에요.
개인 정보를 가린 로그 만들기
로그를 다른 팀이나 외부에 공유할 때는 IP 주소처럼 개인을 알아볼 수 있는 정보를 가려야 해요. IP의 뒤 두 자리를 x로 바꿔 볼게요.
$ sed -E 's/^([0-9]+\.[0-9]+)\.[0-9]+\.[0-9]+/\1.x.x/' access.log | head -3
203.0.x.x - - [16/Nov/2026:10:00:01 +0900] "GET / HTTP/1.1" 200 5120
198.51.x.x - - [16/Nov/2026:10:00:03 +0900] "GET /about HTTP/1.1" 200 2048
203.0.x.x - - [16/Nov/2026:10:00:04 +0900] "GET /login HTTP/1.1" 200 1024
조금 복잡해 보이니 나눠 읽어 볼게요. 이런 패턴을 정규 표현식이라고 해요.
^: 줄의 맨 처음[0-9]+: 숫자가 하나 이상\.: 진짜 점( ... ): 이 부분을 기억해 둬요. 바꿀 글자에서\1로 다시 써요.
"줄 맨 앞의 숫자.숫자를 기억하고, 그 뒤의 .숫자.숫자까지 찾아서, 기억한 부분 뒤에 .x.x를 붙인 걸로 바꿔라"예요. 정규 표현식은 grep, sed, awk, 그리고 파이썬 같은 프로그래밍 언어에서도 거의 같은 규칙으로 쓰여서, 한 번 익혀 두면 어디서나 써먹어요.
sed의 바꾸기는 줄마다 처음 하나만 바꿔요. 줄 안의 모든 것을 바꾸려면 끝에 g를 붙여요(s/a/b/g). 그리고 sed -i는 파일을 직접 고쳐서 되돌릴 수 없으니, 먼저 -i 없이 결과를 확인하고, 쓸 때는 sed -i.bak처럼 원본을 남겨 두는 습관이 좋아요.
그 밖의 작은 도구들
| 도구 | 하는 일 | 예 |
|---|---|---|
head, tail | 앞, 뒤 몇 줄 | tail -n 100 app.log |
tail -f | 파일 끝에 새로 쌓이는 줄을 계속 보여 주기 | tail -f /var/log/nginx/access.log |
wc -l | 줄 수 세기 | grep ERROR app.log | wc -l |
cut | 칸이나 글자 위치로 잘라 내기 | cut -d, -f2 data.csv |
tr | 글자 바꾸기, 지우기 | tr 'a-z' 'A-Z' |
sort -u | 정렬하면서 중복 없애기 | sort -u ips.txt |
xargs | 앞의 출력을 다음 명령의 인자로 | find . -name "*.tmp" | xargs rm |
tee | 화면에도 보여 주고 파일에도 쓰기 | 명령 | tee result.txt |
$ echo 'Hello World' | tr 'a-z' 'A-Z'
$ grep ' 404 ' access.log | awk '{print $1}' | sort -u # 404를 받은 IP들 (중복 없이)
HELLO WORLD
192.0.2.44
tail -f는 서버 문제를 잡을 때 특히 자주 써요. 한 창에서 로그를 띄워 두고, 다른 창에서 문제를 재현하면 그 순간의 오류가 바로 보여요. 여기에 | grep ERROR를 붙이면 오류만 흘러가요.
언제 파이썬으로 넘어갈까
한 줄 명령은 빠르고 강력하지만, 길어지면 읽기 어려워져요. 대략 이럴 때 파이썬 같은 언어로 넘어가요.
- 파이프가 다섯 단계를 넘어 한눈에 안 읽힐 때
- 여러 파일의 내용을 서로 맞춰 봐야 할 때
- 날짜 계산, 복잡한 조건, 예외 처리가 필요할 때
- 여러 번 두고두고 쓸 도구가 필요할 때 (그 전에 다음 강의의 셸 스크립트도 좋은 선택이에요)
반대로 "지금 이 로그에서 이거 하나만 궁금하다"면 한 줄 명령이 훨씬 빨라요.
실습
grep -c로 200 응답이 몇 번인지 세고,awk로 구한 결과와 맞는지 확인해 보세요.- 응답 코드가 404인 요청의 경로(7번 칸)만 뽑아 보세요.
- IP마다 보낸 데이터의 합계를 구해 보세요. (힌트:
awk '{sum[$1] += $10} END {for (ip in sum) print ip, sum[ip]}') - 시각이 10시 3분부터 10시 5분 사이인 요청만 골라 보세요.
sed로HTTP/1.1을HTTP/2로 모두 바꾼 결과를 새 파일로 저장하고, 원래 파일은 그대로인지 확인해 보세요.
자주 하는 실수
uniq앞에sort를 빼먹기. 붙어 있는 같은 줄만 합쳐서, 개수가 틀리게 나와요.- 너무 느슨하게 찾기.
grep 500은 크기 5000이나 시각 10:50:00까지 걸려요. 앞뒤 경계를 넣어요. - 정규 표현식의
.을 진짜 점으로 쓰기..은 "아무 글자 하나"예요. 진짜 점은\.이에요. - 확인 없이
sed -i쓰기. 먼저-i없이 출력으로 확인하고, 원본을 백업해요. - awk 명령을 큰따옴표로 감싸기. 셸이
$1을 먼저 바꿔 버려요. awk 명령은 작은따옴표로 감싸요. - 로그를 공유하며 개인 정보 남기기. IP, 이메일, 전화번호는 가린 뒤 공유해요.
점검 문제
- 파이프(
|)는 무엇을 하나요? grep -v,grep -c,grep -n은 각각 무엇을 하나요?sort | uniq -c | sort -rn의 각 단계는 무엇을 하나요?uniq앞에sort가 필요한 이유는?- awk에서
$1,$0,END는 무엇인가요? awk '$9 >= 400 {print $7}'는 무엇을 출력하나요?- sed의
s/a/b/와s/a/b/g의 차이는? - 정규 표현식에서
[0-9]+와\.은 무슨 뜻인가요?
정답
- 앞 명령의 출력을 뒤 명령의 입력으로 넘겨서, 작은 도구들을 이어 붙이게 해 줘요.
-v는 들어 있지 않은 줄을,-c는 맞는 줄의 개수를,-n은 줄 번호와 함께 보여 줘요.- 정렬해서 같은 줄을 붙이고, 붙은 같은 줄을 세며 합치고, 개수가 큰 순서로 정렬해요.
uniq는 붙어 있는 같은 줄만 합치기 때문에 먼저 정렬해야 해요. $1은 첫 번째 칸,$0은 줄 전체,END는 모든 줄을 읽은 뒤에 한 번 실행할 부분이에요.- 9번 칸(응답 코드)이 400 이상인 줄의 7번 칸(경로)을 출력해요. 오류가 난 요청의 경로들이에요.
s/a/b/는 줄마다 처음 나온 하나만 바꾸고,g를 붙이면 줄 안의 모든 것을 바꿔요.[0-9]+는 숫자가 하나 이상 이어진 것,\.은 진짜 점이에요.
다음 강의
같은 명령을 여러 번 치고 있다면 스크립트로 만들 때예요. 다음 강의에서는 변수, 조건문, 반복문을 쓰는 셸 스크립트로 백업처럼 반복되는 작업을 자동화하고, 오류에 강한 스크립트를 쓰는 습관을 익혀요.