중복 줄 제거: 같아 보이는 한글이 다른 문자일 때
화면에 똑같이 '한글'이라고 보이는 두 줄이 컴퓨터에게는 다른 문자열일 수 있습니다. 맥에서 온 한글은 자모가 분리된 형태로 저장되기 때문입니다. 이 도구는 비교하기 전에 형태를 맞춰서, 눈에 보이는 대로 중복을 잡습니다.
목록에서 중복을 빼는 일은 단순해 보입니다. 줄마다 이미 본 것인지 확인하고 처음 나온 것만 남기면 됩니다. 실제로 대부분은 그렇게 동작합니다.
문제는 '같다'의 기준입니다. 대소문자를 구분할지, 앞뒤 공백을 무시할지는 선택으로 정할 수 있습니다. 그런데 한글에는 선택으로 해결되지 않는 함정이 하나 더 있습니다.
같은 한글, 다른 저장 방식
유니코드는 한글을 두 가지로 저장할 수 있습니다. '한'을 완성된 글자 하나(U+D55C)로 두는 방식과, 초성 ㅎ·중성 ㅏ·종성 ㄴ 세 글자(U+1112 U+1161 U+11AB)로 두는 방식입니다. 앞을 완성형(NFC), 뒤를 조합형(NFD)이라고 부릅니다.
화면에는 둘 다 똑같이 '한'으로 그려집니다. 폰트가 자모를 합쳐서 보여주기 때문입니다. 하지만 문자열로 비교하면 길이부터 다릅니다. '한글'은 완성형에서 2글자, 조합형에서 6글자입니다.
맥OS는 파일 이름을 조합형으로 다루기 때문에, 맥에서 만든 파일 목록이나 일부 프로그램에서 복사한 한글은 조합형으로 넘어옵니다. 윈도우에서 입력한 한글은 완성형입니다. 두 출처의 목록을 합치면 눈으로는 완전히 같은 줄들이 중복으로 잡히지 않습니다.
이 도구는 비교할 때만 완성형으로 맞춥니다. 출력되는 줄은 원본 그대로라서, 중복 제거를 이유로 글자가 바뀌는 일은 없습니다.
무엇을 같다고 볼지 정하는 옵션
대소문자 구분을 끄면 Apple과 apple을 같은 줄로 봅니다. 이메일 주소나 태그 목록을 정리할 때 유용합니다. 다만 사람 이름이나 고유명사가 섞인 목록에서는 원래 표기를 잃을 수 있으니 주의하세요. 남는 줄은 먼저 나온 쪽의 표기입니다.
앞뒤 공백 무시를 켜면 들여쓰기가 다른 같은 내용을 같은 줄로 봅니다. 엑셀에서 복사한 목록이나 여러 사람이 작성한 파일을 합칠 때 거의 항상 필요합니다. 이 옵션은 출력에서도 공백을 잘라냅니다.
처음 것을 남길지 마지막 것을 남길지도 고를 수 있습니다. 결과는 어느 쪽이든 원래 순서를 유지합니다. 정렬해서 중복을 지우는 방식과 다른 점인데, 로그처럼 순서 자체가 정보인 자료에서는 이 차이가 큽니다.
옵션 조합이 만드는 결과
입력: Apple / apple / " Apple" (앞에 공백) 세 줄
| 대소문자 구분 | 앞뒤 공백 무시 | 남는 줄 수 | 설명 |
|---|---|---|---|
| 켬 | 끔 | 3 | 셋 다 다른 문자열 |
| 켬 | 켬 | 2 | 공백만 다른 줄이 합쳐짐 |
| 끔 | 끔 | 2 | 대소문자만 다른 줄이 합쳐짐 |
| 끔 | 켬 | 1 | 셋이 하나로 |
이 도구가 잘 맞는 상황
- •여러 곳에서 모은 이메일 주소 목록에서 중복 발송 대상 제거
- •키워드나 해시태그 목록 정리
- •맥과 윈도우에서 각각 만든 파일 목록 합치기
- •로그에서 같은 오류 줄이 반복되는 것을 걷어내고 종류만 보기
- •설문 응답이나 신청자 명단에서 중복 제출 찾기
자주 묻는 질문
눈으로 봐도 똑같은 줄인데 중복으로 안 잡힙니다.
한글이라면 완성형과 조합형이 섞였을 가능성이 큽니다. 이 도구는 비교 전에 형태를 맞추므로 그대로 붙여넣으면 처리됩니다. 한글이 아니라면 눈에 안 보이는 공백 문자가 섞였을 수 있으니, 앞뒤 공백 무시를 켜 보거나 여분 공백 제거 도구를 먼저 돌려 보세요.
순서가 바뀌나요?
바뀌지 않습니다. 남은 줄은 원래 순서 그대로입니다. 정렬 후 중복 제거와 달리 순서 정보를 잃지 않습니다.
'처음 것 남기기'와 '마지막 것 남기기'는 언제 다른가요?
남는 줄의 내용이 같다면 결과도 같습니다. 차이가 생기는 경우는 대소문자나 공백 옵션 때문에 서로 다른 표기의 줄들이 하나로 합쳐질 때입니다. 그때 어느 표기가 살아남는지가 달라집니다.
빈 줄도 중복으로 지워지나요?
빈 줄이 여러 개면 처음 하나만 남습니다. 문단 구분을 유지하려는 목적이라면 줄바꿈 제거 도구의 '빈 줄 정리'가 더 맞습니다.
입력한 목록이 저장되나요?
아니요. 브라우저 안에서만 처리하고 서버로 보내지 않습니다.