PyTorch

Mit der Programmbibliothek lassen sich zum einen mit GPUs beschleunigte Tensor-Analysen erstellen und zum anderen Neuronale Netze auf Basis eines bandbasierten Autograd-Systems erstellen. Dabei lassen sich bewährte Python-Bibliotheken wie NumPy, SciPy und Cython nutzen. Beim Deep Learning zeichnet sich die Programmbibliothek durch viel Flexibilität und eine hohe Geschwindigkeit aus.^[9] ONNX zum Austausch von Modellen mit anderen Programmbibliotheken wird unterstützt. TorchScript-Dokumente können durch einen Compiler in PyTorch-Modelle umgewandelt werden. TorchScript kann unabhängig von Python ausgeführt werden und ist seit der Version 1.2 in PyTorch enthalten.^[10][11]

Die im Oktober 2019 erschienene 1.3-Version ermöglicht die Nutzung von PyTorch auf den mobilen Plattformen Android und iOS (PyTorch Mobile). Ein 8-Bit-Quantisierungsmodell soll ebenfalls das Deployment auf Servern und Edge-Geräten effizienter gestalten. Da die traditionelle Implementierung von Tensoren Mängel auswies, können Tensoren seit der Version 1.3 auch als Named Tensors benannt werden.^[12] Mit der Version 1.4 von Januar 2020 wurde Pruning für künstliche neuronale Netze und ein paralleles Training von Modellen mit Remote Procedure Call ergänzt. Des Weiteren wurde eine Anbindung zu Java hinzugefügt.^[13] Seit der Version 1.5, die Mitte April 2020 erschienen ist, wird TorchServe als Open-Source-Server für PyTorch verwendet. Neben Facebook ist dabei auch der Cloud-Anbieter Amazon Web Services (kurz: AWS) an dem Dienst beteiligt. Ebenfalls lässt sich seit der Version eine C++-Frontend-API verwenden.^[14]

PyTorch setzt sich aus mehreren Bibliotheken und Plattformen zusammen, die für Maschinelles Lernen eingesetzt werden.^[15] Nachfolgend eine Liste der einzelnen Elemente von PyTorch mit einer Übersicht der wichtigsten Funktionen:^[16]

Wichtige Bibliotheken in PyTorch für Maschinelles Lernen sind torchvision für die Bilderkennung, torchtext für die Texterkennung und torchaudio für die Sprach- und Audioerkennung.^[11]

Das folgende Programm zeigt die Funktionalität der Bibliothek anhand eines einfachen Beispiels.

import torch
dtype = torch.float
device = torch.device("cpu") # Hiermit werden alle Berechnungen auf der CPU ausgeführt
# device = torch.device("cuda:0") # Hiermit werden alle Berechnungen auf der GPU ausgeführt

# Erstellung eines Tensors und Befüllung des Tensors mit Zufallszahlen
a = torch.randn(2,3,device=device,dtype=dtype)
print(a) # Ausgabe des Tensors A
# Ausgabe: tensor([[-1.1884,  0.8498, -1.7129],
#                  [-0.8816,  0.1944,  0.5847]])

# Erstellung eines Tensors und Befüllung des Tensors mit Zufallszahlen
b = torch.randn(2,3,device=device,dtype=dtype)
print(b) # Ausgabe des Tensors B
# Ausgabe: tensor([[ 0.7178, -0.8453, -1.3403],
#                  [ 1.3262,  1.1512, -1.7070]])

print(a*b) # Ausgabe einer Multiplikation der beiden Tensoren
# Ausgabe: tensor([[-0.8530, -0.7183,  2.58],
#                  [-1.1692,  0.2238, -0.9981]])

print(a.sum()) # Ausgabe der Summe aller Elemente im Tensor A
# Ausgabe: tensor(-2.1540)

print(a[2,3]) # Ausgabe des Elements in der dritten Spalte der zweiten Zeile
# Ausgabe: tensor(0.5847)

print(a.min()) # Ausgabe des Minimumwertes im Tensor A
# Ausgabe: tensor(-1.7129)

PyTorch verwendet eine automatische Differenzierungsmethode. Es zeichnet Vorwärtsberechnungen auf und spielt diese dann rückwärts ab, um Gradienten zu berechnen. Diese Methode ist besonders beim Aufbau neuronaler Netze nützlich, da man hiermit differenzielle Parameterkorrekturen parallel zu einem Vorwärtsdurchlauf berechnen kann.

Torch.optim ist ein Modul, das mehrere Optimierungsalgorithmen implementiert, die beim Aufbau neuronaler Netze verwendet werden. Die meisten der am häufigsten verwendeten Methoden wurden implementiert.

Das Autograd-Modul von PyTorch erleichtert das Definieren von Berechnungsgraphen und das Arbeiten mit Gradienten, ist jedoch möglicherweise zu niedrig, um komplexe neuronale Netze zu definieren. Eine Abstraktion auf höherer Ebene für solche Anwendungen ist das nn-Modul.

• http://pytorch.org

• Tariq Rashid: Neuronale Netze selbst programmieren: Ein verständlicher Einstieg mit Python, O’Reilly, 2017, ISBN 978-3-96010-103-1

• Delip Rao, Brian McMahan: Natural Language Processing mit PyTorch: Intelligente Sprachanwendungen mit Deep Learning erstellen, Dpunkt.Verlag, 2019, ISBN 978-3-96009-118-9
• Sebastian Raschka: Machine Learning mit Python: das Praxis-Handbuch für Data Science, Predictive Analytics und Deep Learning, mitp Verlags, 2017, ISBN 978-3-95845-423-1
• Ramon Wartala: Praxiseinstieg Deep Learning: Mit Python, Caffe, TensorFlow und Spark eigene Deep-Learning-Anwendungen erstellen, O’Reilly, 2018, ISBN 978-3-96010-157-4

• Chitra Vasudevan: Concepts and Programming in PyTorch, Chitra Vasudevan, 2018, ISBN 978-93-88176-05-7
• Sherin Thomas, Sudhanshu Passi: PyTorch Deep Learning Hands-On: Build CNNs, RNNs, GANs, reinforcement learning, and more, quickly and easily, Packt Publishing Ltd, 2019, ISBN 978-1-78883-343-1
• Pradeepta Mishra: PyTorch Recipes: A Problem-Solution Approach, Apress, 2019, ISBN 978-1-4842-4258-2
• Samuel Burns: Python Deep Learning: Develop Your First Neural Network in Python Using Tensorflow, Keras, and Pytorch, Independently Published, 2019, ISBN 978-1-0925-6222-5
• Vishnu Subramanian: Deep Learning with PyTorch: A practical approach to building neural network models using PyTorch, Packt Publishing, 2018, ISBN 978-1-78862-607-1
• Hyatt Saleh: Applied Deep Learning with PyTorch: Demystify neural networks with PyTorch, Packt Publishing, 2019, ISBN 978-1-78980-705-9
• Eli Stevens, Luca Antiga: Deep Learning with Pytorch, MANNING PUBN, 2019, ISBN 978-1-61729-526-3
• David Julian: Deep Learning with PyTorch Quick Start Guide: Learn to train and deploy neural network models in Python, Packt Publishing, 2018, ISBN 978-1-78953-973-8

1. ↑ PyTorch 2.5.0 Release, SDPA CuDNN backend, Flex Attention. 17. Oktober 2024 (abgerufen am 17. Oktober 2024).
2. ↑ Serdar Yegulalp: Facebook brings GPU-powered machine learning to Python. In: InfoWorld. (infoworld.com [abgerufen am 26. Januar 2018]). 
3. ↑ Ben Lorica: Why AI and machine learning researchers are beginning to embrace PyTorch. In: O’Reilly Media. 3. August 2017 (oreilly.com [abgerufen am 26. Januar 2018]). 
4. ↑ Nikhil Ketkar: Introduction to PyTorch. In: Deep Learning with Python. Apress, Berkeley, CA, 2017, ISBN 978-1-4842-2765-7, S. 195–208, doi:10.1007/978-1-4842-2766-4_12 (springer.com [abgerufen am 26. Januar 2018]). 
5. ↑ Mo Patel: When two trends fuse: PyTorch and recommender systems. In: O’Reilly Media. 7. Dezember 2017 (oreilly.com [abgerufen am 26. Januar 2018]). 
6. ↑ John Mannes: Facebook and Microsoft collaborate to simplify conversions from PyTorch to Caffe2. In: TechCrunch. (techcrunch.com [abgerufen am 26. Januar 2018]). 
7. ↑ Tech giants are using open source frameworks to dominate the AI community | VentureBeat. Abgerufen am 26. Januar 2018 (amerikanisches Englisch). 
8. ↑ PyTorch strengthens its governance by joining the Linux Foundation. Abgerufen am 13. September 2022 (englisch). 
9. ↑ Alexander Neumann: PyTorch: Ein Deep-Learning-Framework von Facebook. Abgerufen am 26. Januar 2018 (deutsch). 
10. ↑ Was ist ONNX (Open Neural Network Exchange)? Abgerufen am 30. August 2019. 
11. ↑ ^{a b} heise online: Machine Learning: PyTorch 1.2 verbessert Scripting und Export. Abgerufen am 30. August 2019. 
12. ↑ heise online: Machine Learning: PyTorch 1.3 setzt auf Mobilgeräte. Abgerufen am 14. Oktober 2019. 
13. ↑ heise online: Machine Learning: PyTorch 1.4 öffnet sich für Java. Abgerufen am 18. Mai 2020. 
14. ↑ heise online: Machine Learning: TorchServe dient PyTorch 1.5 als neuer Open-Source-Server. Abgerufen am 18. Mai 2020. 
15. ↑ Jeremy Howard, Sylvain Gugger: Deep Learning for Coders with fastai and PyTorch. O’Reilly, 2020, ISBN 978-1-4920-4552-6 (python.engineering). 
16. ↑ PyTorch. Archiviert vom Original (nicht mehr online verfügbar) am 20. Januar 2020; abgerufen am 30. August 2019 (englisch).   Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.pytorch.org 
17. ↑ https://www.bigdata-insider.de/was-ist-horovod-a-846416/. Abgerufen am 30. August 2019.