April 19, 2023
요약: 안드레이 카파시(Andrej Karpathy)가 GPT 모델을 컴팩트한 오픈소스로 구현한 nanoGPT를 예제로, 가속화된 파이토치 2.0 트랜스포머와 새로 도입된 torch.compile() 메서드를 사용하여 대규모 언어 모델을 가속하는 방법을 보여줍니다. 가속화된 PT2 트랜스포머와 함께 도입된 새로운 스케일드 닷 프로덕트 어텐션 연산자(scaled dot product attention operator)를 사용하여 플래시-어텐션(flash_attenti...
사용 환경을 선택하고 설치 명령을 복사해서 실행해 보세요. Stable 버전은 테스트 및 지원되고 있는 가장 최근의 PyTorch 버전으로, 대부분의 사용자에게 적합합니다. Preview 버전은 아직 완전히 테스트나 지원이 되지 않는 최신 버전으로 매일 밤 업데이트됩니다. 사용 중인 패키지 매니저에 따라 아래의 사전 요구사항(예: numpy)이 충족되었는지 확인해 주세요. 모든 의존성을 설치할 수 있는 Anaconda를 패키지 매니저로 추천합니다. 이전 버전의 PyTorch도 설치할 수 있습니다. LibTorch는 C++에서만 지원합니다.
참고: PyTorch LTS는 종료되었습니다. 자세한 내용은 공식 블로그를 참고해주세요.
이전 버전의 PyTorch