June 23, 2024
PyTorch로 전문가 혼합(MoE) 모델 학습 확장하기
최근 1년간 전문가 혼합(MoE, Mixture-of-Experts) 모델들의 인기가 급증했습니다. 이러한 인기는 DBRX, Mixtral, DeepSeek를 비롯하여 다양하고 강력한 오픈소스 모델들로부터 비롯된 것입니다. Databricks에서는 PyTorch 팀과 협력하여 MoE 모델의 학습을 확장했습니다. 이번 글에서는 PyTorch Distributed 및 PyTorch로 구현한 효율적인 오픈소스 MoE 구현체인 MegaBlocks...
April 24, 2024
PyTorch 2.3 출시 공지
PyTorch® 2.3(릴리즈 노트)의 출시를 발표하게 되어 기쁩니다! PyTorch 2.3은 torch.compile()에서 사용자 정의(user-defined) Triton 커널을 지원합니다. 사용자들은 성능 저하나 연산 그래프의 문제 없이 자체 트리톤 커널을 eager 모드에서 torch.compile()로 이전(migration)할 수 있습니다. Tensor Parallelism(텐서 병렬 처리)은 PyTorch 네이티브 함수를 사...
April 16, 2024
torchtune: PyTorch를 사용한 쉬운 LLM 파인튜닝
대규모 언어 모델(LLM)을 손쉽게 파인튜닝(미세조정)할 수 있는 PyTorch 네이티브 라이브러리인 torchtune의 알파 릴리즈를 발표하게 되어 기쁩니다. We’re pleased to announce the alpha release of torchtune, a PyTorch-native library for easily fine-tuning large language models.
February 06, 2024
PyTorch 2 논문 및 튜토리얼 @ ASPLOS 2024
2024년 4월 27일부터 5월 1일까지 미국 캘리포니아주 샌디에이고에서 열릴 예정인 ACM 국제 컨퍼런스 ASPLOS(Architectural Support for Programming Languages and Operating Systems)에서 PyTorch 2에 대한 논문이 선정되어 발표하게 되었다는 소식을 전할 수 있어 기쁘게 생각합니다. The PyTorch team is excited to share that our pa...
November 29, 2023
PyTorch 2.1에 새로 추가된 성능 향상 기능 소개
PyTorch(파이토치) 2.1을 출시하여 매우 기쁩니다. 이번 글에서는 PyTorch 2.1에 인텔(Intel)이 크게 기여한 다섯가지 기능들에 대해서 설명하겠습니다: We are excited to see the release of PyTorch 2.1. In this blog, we discuss the five features for which Intel made significant contributions to PyTorc...
September 12, 2023
파이토치 재단(PyTorch Foundation) 1주년
파이토치 재단(PyTorch Foundation)의 설립을 발표한지 1년이 되었습니다! 🎉 It’s been one year since we announced the formation of the PyTorch Foundation! 🎉