Følgende artikel hjælper dig med: PyTorch 2.0 Release: En større opdatering til Machine Learning Framework
PyTorch har annonceret udgivelsen af PyTorch 2.0, open source-maskinlæringsrammerne, som var meget ventet af datavidenskabssamfundet. Holdet leverede flere nye funktioner og forbedringer til platformen, hvilket øgede dens styrke og tilpasningsevne.
Rammen bruges til computervision og naturlige sprogbehandlingsapplikationer og er under Linux Foundation-paraplyen. Det giver tensor-databehandling med GPU-acceleration og dybe neurale netværk bygget på automatisk differentiering. Nogle deep learning-software, såsom Tesla Autopilot, Pyro, Transformers, PyTorch Lightning og Catalyst, er bygget oven på PyTorch.
PyTorch 2.0 implementerer en ny højtydende Transformer API, som har til formål at gøre træning og implementering af state-of-the-art Transformer-modeller mere overkommelige. Udgivelsen inkluderer også højtydende support til træning og inferens ved hjælp af en tilpasset kernearkitektur til skaleret punktproduktopmærksomhed (SPDA).
På et lignende tidspunkt, PyTorch frigivet OpenXLA og PyTorch/XLA 2.0. Kombinationen af PyTorch og XLA giver en udviklingsstak, der kan understøtte både modeltræning og inferens. Dette er muligt, fordi PyTorch er et populært valg i AI, og XLA har fremragende compilerfunktioner. For at forbedre denne udviklingsstak vil der blive investeret i tre hovedområder.
For at træne store modeller investerer PyTorch/XLA i funktioner såsom blandet præcisionstræning, runtime-ydeevne, effektiv modelskæring og hurtigere dataindlæsning. Nogle af disse funktioner er allerede tilgængelige, mens andre vil blive frigivet senere på året og udnytter den underliggende OpenXLA-compilerstak.
Til modelslutning fokuserer PyTorch/XLA på at levere konkurrencedygtig ydeevne med Dynamo i PyTorch 2.0-udgivelsen. Yderligere slutningsorienterede funktioner omfatter modelserveringssupport, Dynamo til sharded store modeller og kvantisering via Torch.Export og StableHLO.
Med hensyn til økosystemintegration udvider PyTorch/XLA integrationen med Hugging Face og PyTorch Lightning, så brugere kan drage fordel af kommende funktioner og de downstream OpenXLA-funktioner gennem velkendte API’er. Dette inkluderer understøttelse af FSDP i Hugging Face og Quantization i OpenXLA.
PyTorch/XLA er et open source-projekt, hvilket betyder, at du kan bidrage til dets udvikling ved at rapportere problemer, indsende pull-anmodninger og sende anmodninger om kommentarer (RFC’er) på GitHub.
PyTorch 2.0 inkluderer Accelerated Transformers, hvilket gør effektiv træning og implementering af state-of-the-art Transformer-modeller praktisk.
Denne implementering blev optimeret til at give hastighed og effektivitet til nye Generative AI-modeller.
Læs mere: https://t.co/3FZQdf4TR0 pic.twitter.com/kQ1IjbVYnx
— PyTorch (@PyTorch) 29. marts 2023
Læs mere:
