Byn's Research Note

AI based Mixed Reality, Human-Computer Interaction

↓ My Web CV & Portfolio 자세히보기

Computer Graphics/Rendering Pipelines

Rendering Pipelines [0] : 렌더링 파이프라인 개론

JaehyeonByun 2024. 10. 8. 16:16

 

렌더링 파이프라인 3D 객체의 기하학적 형태를 정의하고 조명 효과를 계산한 후 최종적으로 2D 이미지로 변환해 시각적으로 표현하는 컴퓨터 그래픽스의 핵심 과정이다. 일반적으로 모델링, 변환, 조명, 클리핑, 래스터화, 텍스처 매핑, 그리고 최종적으로 픽셀 색상을 결정하는 단계로 구성된다. 파이프라인은 그래픽스의 이론을 토대로 전산에 불과한 정점의 배열들이 3D 객체로 2D 이미지에 변환되는 핵심 원리를 이해하는 데 중요하며 각 단계가 최종 이미지의 품질과 성능에 직접적인 영향을 미치기 때문에  이를 이해하는 것은 효율적인 그래픽 처리 기술을 개발하는 데 필수적이다. 본 카테고리에서는 대표적인 그래픽 API인 DirectX를 토대로 렌더링 파이프라인의 각 단계에 대해 다룰 것이다.

DireX11 Pipelines

 

컴퓨터 그래픽을 생성하는 GPU(Graphics Processing Unit)에서는 파이프라인 방식을 통해 렌더링이 진행되며 각 단계의 출력이 다음 단계의 입력으로 사용된다. 이 과정에서 원형으로 보이는 쉐이더 부분은 프로그래밍이 가능한 영역으로, 개발자는 GPU 렌더링을 위해 정점 쉐이더(vertex shader)와 픽셀 쉐이더(pixel shader)라는 두 가지 주요 프로그램을 작성해야 한다. 정점 쉐이더는 3D 모델의 정점 데이터를 처리하고 변환하여 화면에 올바르게 표시할 수 있도록 하고 픽셀 쉐이더는 각 픽셀의 색상 및 조명 정보를 계산하여 최종 이미지를 생성하는 역할을 한다. 반면 래스터라이저(rasterizer)와 출력 병합기(output merger)와 같은 단계는 하드웨어적으로 고정되어 있어, 정해진 연산과 기능만을 수행하기 때문에 프로그래머가 직접 조작할 수 없는 영역이다.


1. Input Assembler

 

Input Assembler (IA) 단계는 CPU에서 입력하는 그려야 할 정보를 모아 primitive 형태로 조립하는 과정이다. 이 단계에서는 사용자 정의 버퍼에서 정점 데이터와 인덱스 데이터를 읽어와 삼각형, 선, 점 등의 기본 도형으로 변환한다. 이러한 기본 도형들은 그래픽 파이프라인의 다음 단계로 전달되며 이 과정에서 입력된 정점 정보를 기반으로 렌더링할 객체의 구조를 정의한다.

 

DirectX 기반의 그래픽스 프로그래밍에서는 Input Assembler(IA) 단계에서 3D 모델을 효과적으로 처리하기 위해 여러 과정을 수행한다. 우선, 입력 버퍼를 생성하고, 이러한 버퍼를 포함하는 입력 레이어 객체를 생성한다. 이때 IA는 여러 버퍼를 포함할 수 있으며, 다음으로 이러한 객체들을 입력 조립기 단계에 바인딩한다.. 이어서 프리미티브 타입을 지정하고, 마지막으로 드로우 메서드를 호출하여 렌더링을 시작하는ㄷ 여기서 Vertex Buffer Views (VBVs)는 3D 모델의 각 정점 정보를 포함하며 위치, 색상, 노말, UV 좌표 등의 데이터가 포함된다. 또한 Index Buffer View (IBV)는 정점 간의 연결 순서를 정의하여 삼각형 리스트를 구성한다. 예를 들어, 지형 데이터는 vertex buffer에 지형의 각 정점 정보를 저장하고, index buffer에 지형을 구성하는 삼각형 리스트를 저장하여, 이러한 데이터를 통해 효율적으로 지형을 렌더링할 수 있게 된다.

 

2. Vertex Shader

Vertex Shader (VS)는 3D 그래픽스에서 각 정점에 대한 위치, 색상, 질감 좌표 등을 계산하여 모델의 변형과 조명 효과를 적용하는 과정이다. VS는 하나의 정점을 입력받아 해당 정점의 변환 및 조작을 수행한 후 변환된 정점을 출력한다. 이 과정은 전체 정점 수만큼 반복되며 따라서 VS는 개별 정점을 처리하는 함수로 정의할 수 있다. 3D 그래픽스에서 객체를 화면 공간으로 변환하기 위해서는 객체 공간(Object Space)에서 시작하여 세계 공간(World Space), 카메라 공간(Camera Space), 클립 공간(Clip Space)으로의 변환이 필요하다. 이러한 모든 변환 과정은 Vertex Shader 내에서 구현되며 각각의 변환은 행렬 연산을 통해 이루어진다. 변환 행렬은 각 단계에서 정점의 위치를 수정하여 최종적으로 화면에 렌더링할 수 있는 형태로 변환한다.

 

HLSL(High Level Shader Language)은 이러한 셰이더 프로그래밍을 위한 언어로 GPU에서 행렬과 벡터 연산을 효율적으로 처리할 수 있게 설계되었다. 여러 개의 객체를 렌더링할 경우 각 객체마다 고유의 월드 행렬(World Matrix)이 필요하며, 이를 위해 각 객체에 대한 상수 버퍼(Constant Buffer)를 생성해야 한다. 예를 들어, 정점의 위치 데이터를 받아 해당 변환 행렬을 적용하면, 지형을 원하는 위치로 이동하고 회전시킬 수 있다. 이러한 방식으로 각각의 객체는 독립적으로 변환되고 화면에 올바르게 표시되는 것이다,

 

3. Hull Shader & 4. Tessellator & 5. Domain Shader 6. Geometry Shader

 

Hull Shader(HS)는 테셀레이션을 위한 제어 패치(control patch)를 생성하는 역할을 합니다. 이 과정에서는 NURBS(Non-Uniform Rational B-Splines) 커브 및 표면을 생성하고 각 패치의 꼭짓점에 대한 위치, 법선 벡터, 텍스처 좌표를 계산하여 지형의 특정 영역을 표현한다. 예를 들어, Hull Shader가 생성한 제어 패치는 지형의 특정 영역(예: 봉우리, 계곡)을 나타내어 보다 세밀한 디테일과 변형을 가능하게 한다.

 

Tessellator(TS)는 Hull Shader(HS)에서 생성된 제어 패치를 더 세밀한 삼각형 메쉬로 변환하는 과정이다. 이 단계에서는 곡선과 패치를 더욱 매끄럽고 정교하게 표현하기 위해 삼각형 메쉬의 세밀도를 조절합니다. Tessellator는 지형의 기울기나 곡률 등을 고려하여 필요한 만큼의 세밀한 메쉬를 생성함으로써, 결과적으로 더욱 디테일한 지형 표현을 가능하게 합니다.

 

Domain Shader (DS)는 테셀레이션된 각 픽셀에 대한 속성을 계산하는 역할을 합니다. 이 과정에서는 각 픽셀의 위치, 법선 벡터, 텍스처 좌표 등을 계산하여, 그에 따라 조명 효과와 텍스처 맵핑을 적용합니다. Domain Shader는 테셀레이션된 메쉬의 각 세부 요소에 대해 정확한 속성을 부여함으로써, 최종적으로 더 사실감 있고 풍부한 비주얼을 구현합니다.

 

Geometry Shader (GS)는 기존의 삼각형 메쉬를 변형하거나 새로운 삼각형을 생성하는 역할을 gks다. 이 단계에서는 파티클 시스템, 곡면 곡선, 풀 시뮬레이션 등을 생성할 수 있으며, 기존 메쉬에 다양한 변형을 적용하여 굴곡이나 움직임을 표현할 수 있다. 예를 들어, Geometry Shader는 지형의 특징을 더욱 강조하기 위해 추가적인 삼각형 메쉬를 생성하여, 계곡을 더 깊게 표현하거나 봉우리를 더 날카롭게 만드는 등 더욱 사실적이고 다채로운 지형을 구현할 수 있다.

 

이 과정에서 Hull Shader (HS), Tessellator (TS), Domain Shader (DS), Geometry Shader (GS)의 네 가지 셰이더가 협력하여 3D 지형을 생성하고 표현하는 것이다. HS는 NURBS 커브와 표면을 활용하여 테셀레이션을 위한 제어 패치를 생성하고, 이를 통해 지형의 특정 영역을 세밀하게 표현한다. 이어서 TS는 이 제어 패치를 더 세밀한 삼각형 메쉬로 변환하여 곡선과 패치를 정교하게 나타내며 지형의 기울기나 곡률을 고려하여 메쉬의 세밀도를 조절한다. DS는 테셀레이션된 각 픽셀의 위치, 법선 벡터, 텍스처 좌표를 계산하여 조명 효과와 텍스처 맵핑을 적용하여 사실감 있는 비주얼을 구현한다. 마지막으로 GS는 기존 삼각형 메쉬를 변형하거나 새로운 삼각형을 생성하여 지형의 특징을 강조하며 다채로운 지형 표현을 가능하게 하는 것이다.

 

7. Rasterizer

 

Rasterizer는 3차원 좌표계에 있는 vertex들을 화면에 그리기 위해 2D 픽셀(raster image)로 변환하는 역할을 수행한다. 이 과정은 3D 그래픽을 2D 픽셀에 매핑하는 단계로, 각 픽셀이 칠해져야 할지 여부를 결정한다. GPU는 어떤 픽셀이 삼각형에 포함되고 따라서 칠해져야 하는지를 계산하며 이렇게 결정된 픽셀들에 대해 Pixel Shader를 실행한다. Rasterizer는 3D 모델 데이터를 2D 픽셀 데이터로 변환하면서 각 픽셀의 위치, 색상, 깊이 정보를 계산하고 텍스처 맵핑을 적용하여 지형 표면을 사실적으로 표현한다.

 
8. Pixel Shader
 
 

 

Pixel Shader (PS)는 각 픽셀에 대해 연산을 처리하는 단계로 빛과 그림자 효과를 계산하고 최종적으로 픽셀의 색상을 결정한다. 이 과정에서는 입력으로 픽셀의 색상 결정에 필요한 정보들이 전달되며 이러한 정보는 주로 Vertex Shader의 출력으로부터 온다. Pixel Shader는 이 정보를 바탕으로 조명 효과 및 후처리(post-processing)를 수행하여, 계산된 결과로 각 픽셀의 색상 정보(RGBA)를 출력한다. 예를 들어 Pixel Shader는 빛과 그림자 효과를 계산하여 지형의 각 픽셀에 대한 최종 색상을 결정하고 텍스처 이미지를 지형 표면에 적용하여 더욱 사실적인 표현을 만들어낸다.

 
9. Output Merger

 

 

 

Output Merger (OM) 단계는 여러 렌더링 타겟(Render Target)의 데이터를 결합하여 최종 이미지를 생성하고 화면에 출력하는 역할을 한다. 이 과정에서는 Depth Stencil Resource를 사용하여 깊이와 스텐실 정보를 처리하며 최종적으로 계산된 픽셀 데이터를 프레임 버퍼(Frame Buffer)에 저장한다. OM은 다중 텍스처, 깊이 버퍼, 스텐실 버퍼 등 다양한 렌더링 타겟을 결합하여, 복잡한 장면을 효과적으로 표현한다. 예를 들어, Pixel Shader(PS)에서 처리된 픽셀 데이터를 각 렌더링 타겟으로부터 결합하여 프레임 버퍼에 저장하고, 이를 통해 화면에 출력되는 최종 이미지가 생성된다. 이 단계는 최종 이미지의 품질과 성능에 중요한 영향을 미치며, 최종적으로 사용자가 볼 수 있는 화면을 형성한다.