Detailansicht
A multi-directional approach for accelerating single-node image classification neural network training via pruning
Lorenz Kummer
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Informatik
Betreuer*in
Wilfried Gansterer
DOI
10.25365/thesis.72034
URN
urn:nbn:at:at-ubw:1-11197.13639.396063-3
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die kontinuierliche Zunahme der architektonischen Komplexität von Deep Neural Networks (DNNs) sowie der Druck auf DNN-Anwendungen, eine immer größere Datenmenge sowie immer komplexere Probleme zu bewältigen, hat zu einer Nachfrage nach Ansätzen geführt, welche die zeitliche und räumliche Komplexität solcher Netzwerke während Training und Inferenz reduzieren, insbesondere für Training unter Ressourcenbeschränkungen oder Inferenz unter Zeitbeschränkungen. Arbeiten auf dem Stand der Technik, die darauf abzielen, den DNN-Bedarf an Speicher und Rechenzeit während des Trainings und/oder der Inferenz zu reduzieren, können in Techniken kategorisiert werden, die Pruning, Quantisierung, neuronale Architektursuche (NAS), verteiltes Lernen oder eine Kombination davon anwenden. In dieser Arbeit liegt der Fokus auf dem Intra-Training-DNN-Pruning (d.h. dem Beschneiden des Netzwerks während und mit dem Ziel, das Training zu beschleunigen), für das neue Ansätze vorgestellt werden. Dies wird durch eine umfassende Literaturrecherche und eine eingehende Analyse des Stands der Technik auf dem Gebiet der DNN-Beschneidung während des Trainings erreicht, wobei aktuelle wissenschaftliche Lücken hervorgehoben und neuartige Lösungen für eine ausgewählte Teilmenge der identifizierten offenen Forschungsfragen synthetisiert und implementiert werden. Die in dieser Arbeit vorgeschlagenen Lösungen werden einer umfangreichen analytischen und empirischen Bewertung im Vergleich mit anderen Methoden des Standes der Technik unterzogen, um ihren wissenschaftlichen Beitrag zu demonstrieren.
Abstract
(Englisch)
Deep neural networks (DNNs) continuously increase in architectural complexity and DNN applications are under pressure to handle an every-increasing amount of data as well as more and more complex problems. This has created demand for approaches reducing time and space complexity of such networks during training and inference, especially for training under resource constraints or inference under time constraints.} State-of-the-Art (SotA) works aimed at reducing DNNs' demand for memory and computation time during training and/or the inference can be categorized into techniques applying pruning, quantization, neural architecture search (NAS), distributed learning or a combination of these to the network. In this work, the focus lies on intra-training DNN pruning (i.e., pruning the network during and with the aim of accelerating training) for which new approaches are introduced. This is accomplished by an extensive literature survey and in-depth analysis of the State-of-the-Art in the field of intra training DNN pruning, highlighting current scientific gaps and synthesizing and implementing novel solutions to a selected subset of the identified open research questions. The proposed solutions in this thesis will be subjected to extensive analytical and empirical evaluation in comparison with other State-of-the-Art methods in order to demonstrate their scientific contribution.
Schlagwörter
Schlagwörter
(Deutsch)
Neuronale Netzwerke Maschinelles Lernen Effizienz
Schlagwörter
(Englisch)
Neural networks Machine learning Efficiency
Autor*innen
Lorenz Kummer
Haupttitel (Englisch)
A multi-directional approach for accelerating single-node image classification neural network training via pruning
Paralleltitel (Deutsch)
Ein multidirektionaler Ansatz zur Beschleunigung des Trainings neuronaler Netzwerke zur Bildklassifizierung auf einzelnen Rechnerknoten
Publikationsjahr
2022
Umfangsangabe
xxv, 215 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Wilfried Gansterer
Klassifikation
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC16598084
Utheses ID
63874
Studienkennzahl
UA | 066 | 921 | |