Byn's Research Note

AI based Mixed Reality, Human-Computer Interaction

↓ My Web CV & Portfolio 자세히보기

2024/11/29 3

AI Programming [1] : 하버드 트랜스포머 (Harvard Transformer)

Transformer는 문장이나 텍스트를 처리하는 데 사용되는 모델로, 주로 Encoder와 Decoder라는 두 큰 구성 요소로 나뉜다. Encoder는 입력된 문장을 이해하고 중요한 정보를 추출하는 역할을 하며, Decoder는 그 정보를 바탕으로 새로운 문장을 생성한다. 각 Encoder와 Decoder는 여러 층으로 이루어져 있고, 각 층은 Multi-Head Attention으로 입력의 중요 부분을 분석하고, Normalization으로 데이터의 변동성을 줄이며, Residual Connection으로 각 층의 출력을 더 원활하게 연결하며, Feed Forward network로 데이터를 처리한다. 입력된 단어는 Embedding이라는 과정을 통해 숫자 벡터로 변환되어 컴퓨터가 이해할 수 있도록..

카테고리 없음 2024.11.29

AI Programming [0] : AI 학습을 위한 가상 환경 세팅 (Virtual Environment Settings for AI)

1. MiniConda   Anaconda는 데이터 분석과 AI 학습에 필요한 다양한 패키지를 한 번에 설치하고 관리할 수 있는 프로그램 관리 도구로, 창고와 같은 역할을 한다. 이를 통해 사용자는 필요한 도구들을 쉽게 설치하고 업데이트할 수 있다. 여러 프로젝트를 진행하다 보면 각 프로젝트마다 다른 버전의 라이브러리나 파이썬을 요구할 때가 많다. 이런 경우, 가상 환경이 유용하다. 가상 환경은 컴퓨터의 독립적인 가상 폴더와 같아서 각 프로젝트가 독립적인 공간을 가지며, 서로 다른 버전의 패키지들을 설치하고 사용할 수 있다. 예를 들어, 프로젝트 A에서 numpy 1.21이 필요하고 프로젝트 B에서 numpy 1.23이 필요할 때, 같은 환경에서 작업하면 버전 충돌이 일어날 수 있지만, 가상 환경을 사용..