인코딩(Encoding)

💡해당 내용은 pentestqym의 내용을 다시 한 번 정리한 내용이며,
모든 저작권은 해당 사이트에게 있습니다.

---

인코딩(Encoding)이란?

인코딩 : 어떤 한 형식의 데이터를 다른 형식으로 변환하는 기술이나 과정
디코딩 : 인코딩된 형식을 다시 원래의 형식으로 변환하는 기술이나 과정

---

웹(App)은 왜 인코딩을 할까?

 초기 웹 환경에서는 ASCII 기반의 문자 표기에 대한 요구사항이 주로 있었지만, 인터넷의 글로벌 확장과 다국어 표기의 필요성이 대두되면서 다양한 인코딩 기법이 개발되었습니다. 웹에서 주로 사용되는 인코딩 기법은 중요한 개념으로 알아두어야 합니다.

---

인코딩 종류와 유형

URL 인코딩

 URL 인코딩은 URL에서 문자를 표현하기 위한 기법으로, % 문자 뒤에 16진수 ASCII 문자를 붙혀 사용합니다. URL에는 출력 가능한 ASCII 문자만 사용할 수 있으며, 특수 문자나 다국어 문자 등이 포함된 경우 인코딩을 해야 합니다. 또한 URL에서 사용되는 예약 문자는 특별한 의미를 갖는 구분자로 사용되므로 충돌을 피하기 위해 인코딩이 필요합니다.

대표적인 예약 문자

HTML URL Encoding Reference

 상세한 내용은 위에 링크를 통해 확인하시면 됩니다. 많이 사용되는 예약 문자를 숙지하면 좋지만.. 그 부분은 사용하다 보면 늘기도 하고 짜피 툴로 돌려서 하는 경우가 다반이기에 사용되는 툴을 검색하시거나 아래 링크를 통해 하시면 됩니다.

dreamhack-tools

---

이중 인코딩(Double Encoding)

 URL 디코딩을 수행하는 과정에서 입력값을 두 번 URL 인코딩하는 기법

 이로 인해 URL 인코딩된 값이 한 번 더 인코딩되어 % 문자가 %25로 표현되는 결과를 가져옵니다. 예를 들어, 공백문자는 URL 인코딩 시 %20으로 표현되는데, 이중 인코딩을 적용하면 %2520으로 표현됩니다.

정리하면, 이중 인코딩은 입력값을 두 번 URL 인코딩하여 % 문자를 %25로 표현하는 기법입니다.

---

HTML 인코딩

 HTML 문서에서 특수문자(<, >)들은 특정 기능을 수행할 수 있기 때문에 악의적인 공격에 이용될 수 있습니다. 이를 방어하기 위해 특수문자들을 인코딩하여 안전하게 표시합니다. 이러한 인코딩은 스크립트 실행에 이용될 수 있는 특수문자들을 변환하여 HTML 문서 안에서 안전하게 표현하는 역할을 합니다.

• 쌍따옴표("): &quot;
• 홑따옴표('): &apos;
• 앤드기호(&): &amp;
• 여는 꺽쇠괄호(<): &lt;
• 닫는 꺽쇠괄호(>): &gt;
• 공백문자(Space): &nbsp;

---

Base64 Encoding

 즉, Base64는 바이너리 데이터를 ASCII 문자로 이루어진 문자열로 변환하는 인코딩 방식^[각주:1]을 사용됩니다.

 

 인코딩된 문자열은 알파벳 대소문자(a-zA-Z), 숫자(0-9), "+"와 "/" 기호로 구성되며, "="를 사용하여 끝을 알립니다. 그리고 Base64로 인코딩하면 데이터 크기가 약 33% 증가한다는 특징이 있습니다.

---

Base64 인코딩은 다음과 같은 프로세스를 통해 이루어집니다:

1. 각 글자를 8bit(1byte)의 블럭으로 나눔
2. (8bit * 3) = 24bit(3bytes)의 그룹을 만듬
3. 24bit/6bit 단위의 개별 그룹으로 나눔
4. 각 6bit 단위의 개별 그룹을 색인표에 따라 변환합니다.
5. 24bit 그룹 구성시 8bit 단위로 채워지지 않고 누락되는 경우 글자수만큼 "="로 채움

해당 문자열을 인코딩 한 모습

세부적인 설명에 따른 변환

실습(예시)해보기

위와 같이 다른 문자열을 생성학 만들어봅시다..

Base64 visualizer

 해당 사이트를 통해 확인 할 수 있습니다.

 클라이언트는 이후 해당 정보를 사용하기 위해 쿠키를 서버에게 전달(GET)하여 데이터를 받는 형식으로 진행됩니다. 이를 통해 클라이언트는 서버로부터 발급받은 쿠키를 사용하여 인증, 세션 유지, 상태 관리 등을 수행하게 됩니다.

---

유니코드 인코딩(Unicode Encoding)

 유니코드 인코딩은 다양한 문자를 컴퓨터에서 표현하기 위해 사용되는 인코딩 방식입니다. 유니코드는 전 세계의 모든 문자를 고유한 코드 포인트^[각주:2]로 매핑하는 표준이며, 다양한 문자 세트를 포함하고 있습니다.

해당 문자열을 유니코드로 표현한

어떻게 저장하는지에 따른 형식(엔디안)은 아레 이미지를 통해 확인할 수 있습니다.

익스 코드 설명에서 정리한 내용인데.. 데이터를 저런 식으로 저장합니다.

// Name: endian.c
// Compile: gcc -o endian endian.c
 
#include <stdio.h>
 
int main() {
  unsigned long long n = 0x4005a7;
  printf("Low <-----------------------> High\n");
 
  for (int i = 0; i < 8; i++) printf("0x%hhx ", *((unsigned char*)(&n) + i));
  return 0;
}

 동작 구조나 데이터 저장 등의 자세한 내용은 시스템 트랙에서 배울 부분이기에 여긴 웹으로 설명은 넘어가겠습니다. 또한 유니코드 인코딩의 더욱 상세한 내용은 아래에 명시되어 있습니다.

Unicode - Wikipedia

 

가장 일반적인 유니코드 인코딩 방식은 UTF-8과 UTF-16입니다.

UTF-8

 가변 길이 인코딩 방식으로, ASCII 문자는 1바이트로 표현되고, 다른 유니코드 문자는 2바이트 이상으로 표현됩니다. 이를 통해 영어와 기타 대부분의 언어를 효율적으로 표현할 수 있습니다.

UTF-16

 고정 길이 인코딩 방식으로, 모든 유니코드 문자를 2바이트 또는 4바이트로 표현합니다. 기본 다국어 평면(Basic Multilingual Plane, BMP)에 속하는 문자는 2바이트로 표현되고, 나머지는 4바이트로 표현됩니다

 

 유니코드 인코딩을 사용하면 다양한 언어와 문자를 동일한 문서 또는 데이터에서 표현할 수 있으며, 전 세계의 다양한 텍스트 데이터를 상호 호환성 있게 처리할 수 있습니다.

---

알들신잡

01234

해당 Unicode Encoding의 적용 예시

---

Hex Encoding

 Hex 인코딩은 16진수로 표현된 문자열로 바이너리 데이터를 변환하는 인코딩 기법입니다. 각 문자는 바이트의 16진수 값을 나타내며, 이를 통해 바이너리 데이터를 일반 텍스트로 표현할 수 있습니다.

위에 있는 이미지를 보시면서 Hex Encoding을 다시 생각해보시면 금방 이해 될 겁니다.

---

참고 자료

인코딩(Encoding) | Pentest Gym | 버그바운티클럽

https://www.w3schools.com/tags/ref_urlencode.ASP

https://en.wikipedia.org/wiki/Base64#Base64_table

 

 

참고 이미지

 

 

1. 주로 이메일이나 웹에서 이미지나 바이너리 데이터를 전송하거나 난독화하는 용도 [본문으로]
2. 유니코드 컨소시엄이란 단체에서 관리하고 있으며, 유니코드 컨소시엄에서는 각 글자마다 고유한 코드를 매핑해 놓았습니다. 이 고유한 코드를 코드 포인트(Code Point)라고 칭합니다. [본문으로]