Background: Calling Convention

---

함수 호출 규약🤙

함수의 호출 및 반환의 약속

 한 함수에서 다른 함수를 호출 시, 프로그램의 실행 흐름은 다른 함수로 이동합니다. 그리고 호출된 함수가 반환되면 다시 원래의 함수로 돌아와 기존의 실행 흐름을 이어가죠.

 함수 호출 시 반환된 이후를 위해 호출자(Caller)의 상태(Stack frame) 및 반환 주소(Return Address)를 저장해야 함!

 또한, 호출자는 피호출자(Callee)가 요구한 인자를 전달하며, 피호출자의 실행이 종료 시 반환 값을 전달 받아야함

 

 함수 호출 규약 적용은 일반적으론 컴파일의 몫이며, 프로그래밍 언어에 맞게 호출 규약을 알맞게 적용에 컴파일합니다. 호출 규약은 여러가지가 있으며, 코드에 명시가 안되어 있다면 컴파일에서 지원하는 호출 규약 중 CUP의 아키텍처에 적합한 것을 선택합니다. 따라서 대개의 프로그래머는 함수 호출 규약 몰라도 상관 없다는 이야기죠

 만약, 컴파일러 도움 없이 어셈블리 코드 작성 또는 어셈블리 코드를 읽고자 한다면 알 필요가 있다는 이야기
시스템 해킹에선 이 둘 모두 필수 기술이니 이번엔 함수의 호출 규약에 대해 알아볼까요

---

함수 호출 규약의 종류

컴파일러는 지원한 호출 규약 중, CPU 아키텍처에 적합한 것을 선택!

 x86(32bit) | Callee(피호출자)의 인자 → 스택(Stack) 
 x86-64(64bit) | Callee의 인자 → 레지스터(남는 건 스택에..)

 예를 들면, x86(32bit) 아키텍처는 레지스터를 통해 피호출자(Callee)의 인자를 전달하기엔 레지스터의 수가 적으므로, 스택으로 인자를 전달하는 규약을 사용합니다. 반대로 x86-64(64bit) 아키텍처는 레지스터가 많으므로 적은 수의 인자는 레지스터만 사용해 인자를 전달하고, 인자가 넘 많을 땐 스택을 사용함

 그러나 CPU의 아키텍처가 같아도, 컴파일러가 다르면 적용한 호출 규약이 다를 수도 있다는 점!!
C언어를 컴파일 시, 윈도우는 MSVC는 MS x64 호출 규약을 적용하지만, gcc는 SYSTME V 호출 규약을 적용
이 외에 같은 호출 규약을 컴파일러마다 다르게 구현하기도 함

다양한 함수 호출 규약

x86
 - cdecl
 - stdcall
 - fastcall
 - thiscall

x86-64
 - System V AMD64 ABI의 Calling ConventionMS
 - ABI의 Calling Convention

---

x86호출 규약 : cdecl

인자를 전달하기 위해 사용한 스택을 호출자가 정리함

 x86(32bit) | Callee(피호출자)의 인자 → 스택(Stack)

 스택을 통해 인자를 전달 시 마지막 인자부터 첫 번째 인자까지 거꾸로 스택에 push(스택의 특징..같은거?)

컴파일 옵션 중 모르는게 많을건데 너무 많아서.. 저도 잘 모르겠네요 ㅠ 나중에 정리해야겠죠..

// Name: cdecl.c
// Compile: gcc -fno-asynchronous-unwind-tables -nostdlib -masm=intel -fomit-frame-pointer -S cdecl.c -w -m32 -fno-pic -O0
 
// cdecl에 호출
void __attribute__((cdecl)) callee(int a1, int a2){}
 
void caller(){ callee(1, 2); }

저러면 objdump나 hexdump 쓸 필요도 없죠 그리고 잠깐 알아볼 사실!

---

💡컴파일의 정확한 의미

어떤 언어로 작성된 소스 코드 → 목적 코드로 번역하는 것
소스코드 → 어셈블리어로, 또는 소스코드 → 기계어로 번역하는 행위 모두 범주에 포함됨


C언어를 실행 바이너리로 만드는 과정을 보통 전처리, 컴파일, 어셈블, 링크의 4단계로 구분하는데, 이를 합해서 '컴파일'이라고 부르는 이유랑 같음

---

x86-64호출 규약 : SYSV

리눅스는 SYSTEM V(SYSV)/ Application Binary Interface(ABI)를 기반으로 만듬!

SYSV ABI는 ELF 포맷, 링킹 방법, 함수 호출 규약 등의 내용을 내포함
File 명령어를 이용해 바이너리 정보를 살펴보면 아래와 같이 SYSV 문자열이 포함되었죠

예시

SYSV에서 정의한 함수 호출 규약은 다음의 특징을 같습니다.

1. 6개의 인자를 RDI, RSI, RDX, RCX, R8, R9에 순서대로 저장하며 전달
   - 더 많은 인자를 사용할 땐 스택을 추가로 이용함
2. Caller에서 인자 전달에 사용된 스택을 정리
3. 함수의 반환 값은 RAX로 전달함

다음으로 SYSV 상세 분석으로 들어가기 전에 필요한 코드를 컴파일 하고 할까요 ㅎㅎ

---

// Name: sysv.c
// Compile: gcc -fno-asynchronous-unwind-tables  -masm=intel -fno-omit-frame-pointer -S sysv.c -fno-pic -O0
 
#define ull unsigned long long
 
ull callee(ull a1, int a2, int a3, int a4, int a5, int a6, int a7) {
  ull ret = a1 + a2 + a3 + a4 + a5 + a6 + a7;
  return ret;
}
 
void caller() { callee(123456789123456789, 2, 3, 4, 5, 6, 7); }
 
int main() { caller(); }

---

SYSV 상세 분석🔍

gcc -fno-asynchronous-unwind-tables -masm=intel -fno-omit-frame-pointer -o sysv sysv.c -fno-pic -O0

gcc -fno-asynchronous-unwind-tables -masm=intel -fno-omit-frame-pointer -o sysv sysv.c -fno-pic -O0

컴파일을 한 후, SYSV는 앞으로 자주 접할 호출 규약이며 자세히 알아봅시다.

---

1. 인자 전달🚚

gdb로 sysv를 로드한 후 중단점 설정해 caller 함수까지 실행합시다.
context의 DISASM을 보면, caller+6 부터 caller+33 까지 6개의 인자가 각자 레지스터 설정
caller+4 에서는 7번째 인자인 7을 스택으로 전달함

gdb -q sysv | b* caller | r
b* caller+43 | c | x/10gx $rsp

1. callee 함수를 호출하기 전까지 실행하고, 레지스터와 스택을 확인해봅시다.

2. 소스 코드에서 callee(123456789, 2, 3, 4, 5, 6, 7)로 함수를 호출했는데,
인자들이 순서대로 rdi, rsi, rdx, rcx, r8, r9 그리고 [rsp]에 설정되어 있는 걸 확인 가능

---

2. 반환 주소 저장🏠

si 명령어로 한 단계 더 실행합시다. 0x555555554682가 반환 주소로 저장됨
0x555555554682는 callee 호출 다음 명령어의 주소이며, callee에서 반환됐을 때,
이 주소를 꺼내어 원래의 실행 흐름으로 돌아갈 수 있습니다.

---

3. 스택 프레임에 저장

 x/5i $rip명령어로 callee함수의 도입부(Prologue)를 살펴보면, 가장 먼저 push rbp를 통해 호출자의 rbp를 저장함 
rbp가 스택프레임의 가장 낮은 주소를 가리키는 포인터이므로, 이를 Stack Frame Pointer(SFP)라고도 불림 
callee에서 반환될 때, SFP를 꺼내어 caller의 스택 프레임으로 돌아갈 수 있음

 si로 push rbp를 실행하고, 스택을 확인해보면
rbp값인 0x00007fffffffdf80가 저장된 것을 확인할 수 있습니다.

---

4. 스택 프레임 할당

이제 mov rbp, rsp로 rbp와 rsp가 같은 주소로 가리키며,
바로 다음에 rsp의 값을 빼게 되면, rbp와 rsp의 사이 공간을 새로운 스택 프레임으로 할당되지만,
callee 함수는 지역 변수 사용을 하지 않으므로, 새로운 스택 프레임 만들지 않음

si로 실행하고, 레지스터를 보면 이 둘이 같은 주소 가르키는 걸 확인 가능

💡 callee함수에서 ret라는 지역 변수를 선언하지 않았나요?

 코드를 보면, ret를 선언하기는 했으나, 반환 값을 저장하는 용도 외로는 사용 X
gcc는 이런 변수에 대해 스택을 할당하지 않고, rax를 직접 사용합니다.

int callee(ull a1, int a2, int a3, int a4, int a5, int a6, int a7){
    ull ret = a1 + a2 + a3 + a4 + a5 + a6 + a7;
    return ret;
}

---

5. 반환값 전달

연산을 모두 마치고, 함수의 종결부(Epilogue)에 도달하면, 반환값을 rax로 옮김
반환 직전에 rax를 출력하면 전달한 7개 인자의 합을 확인 할 수 있음

---

6. 반환

반환은 저장해뒀던 스택 프레임과 반환 주소를 꺼내며 이루어짐
여기서 callee함수가 스택 프레임을 만들지 않기에, pop rbp로 스택 프레임을 꺼낼 수 있지만,
일반적으론 leave로 스택 프레임을 꺼내야 함

 

스택 프레임을 꺼낸 뒤, ret로 호출자로 복귀
앞에서 저장해둔 sfp로 rbp가, 반환 주소로 rip가 설정된 걸 확인 가능

---

코스 요약🗒

 

x86 함수 호출 규약

---

함수호출규약사용 컴파일러인자 전달 방식스택 정리적용

stdcall	MSVC	Stack	Callee	WINAPI
cdecl	GCC, MSVC	Stack	Caller	일반 함수
fastcall	MSVC	ECX, EDX	Callee	최적화된 함수
thiscall	MSVC	ECX(인스턴스), Stack(인자)	Callee	클래스의 함수

---

x86-64 함수 호출 규약

---

함수호출규약사용 컴파일러인자 전달 방식스택 정리적용

MS ABI	MSVC	RCX, RDX, R8, R9	Caller	일반 함수, Windows Syscall
System ABI	GCC	RDI, RSI, RDX, RCX, R8, R9, XMM0–7	Caller	일반 함수

 

문제 같은 경우는 너무 기초 그대로 나와서 딱히.. 설명할 부분이 없기에 넘어갈께요

---

참고 자료

Background: Calling Convention

질문

 

참고 이미지

Background: Calling Convention

Human Rights free icons designed by Freepik