September 12, 2023
파이토치 재단(PyTorch Foundation) 1주년
파이토치 재단(PyTorch Foundation)의 설립을 발표한지 1년이 되었습니다! 🎉
It’s been one year since we announced the formation of the PyTorch Foundation! 🎉
April 19, 2023
가속화된 트랜스포머로 대규모 언어 모델 가속화하기
요약: 안드레이 카파시(Andrej Karpathy)가 GPT 모델을 컴팩트한 오픈소스로 구현한 nanoGPT를 예제로, 가속화된 파이토치 2.0 트랜스포머와 새로 도입된 torch.compile() 메서드를 사용하여 대규모 언어 모델을 가속하는 방법을 보여줍니다. 가속화된 PT2 트랜스포머와 함께 도입된 새로운 스케일드 닷 프로덕트 어텐션 연산자(scaled dot product attention operator)를 사용하여 플래시-어텐션(flash_attenti...