Detailansicht
LRCP: evaluation and application of prevalent linear regression techniques used in channel pruning to enable GNN inference in resource-constrained environments
Lorenz Börtlein
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Informatik
Betreuer*in
Siegfried Benkner
Mitbetreuer*in
Atakan Aral
DOI
10.25365/thesis.74153
URN
urn:nbn:at:at-ubw:1-23581.41981.465089-1
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Graphische neuronale Netze (GNN) haben sich in verschiedenen Bereichen wie der Graphenanalyse und der räumlich-zeitlichen Modellierung als sehr erfolgreich erwiesen. Die zunehmende Komplexität von GNN-Architekturen erfordert jedoch effiziente Modellkomprimierungstechniken, um die Rechenkosten und den Speicherbedarf zu reduzieren. Channel Pruning, eine beliebte Komprimierungstechnik, zielt darauf ab, redundante Kanäle in GNNs zu eliminieren und gleichzeitig deren Leistung zu erhalten. Insbesondere der Einsatz von GNNs auf ressourcenbeschränkten Geräten in der Nähe des Netzwerkrandes ist noch nicht erforscht worden. Diese Masterarbeit konzentriert sich auf die Evaluierung der Wirksamkeit von linearen Regressionstechniken welche innerhalb von Channel Pruning Techniken für GNNs verwendet werden. Insbesondere untersuchen wir die Leistung von Lasso-Regression, Ridge-Regression und Elastic Net Regression. Durch umfangreiche Experimente zeigen wir, dass Ridge- und Elastic NetRegression die Lasso-Regression bei der Erhaltung der GNN-Leistung während des Channel Pruning-Prozesses durchweg übertreffen. Darüber hinaus wenden wir die identifizierten Regressionstechniken auf raum-zeitliche Modelle innerhalb der Torch Spatio-Temporal Library an. Diese Bibliothek bietet einen umfassenden Satz von Werkzeugen und Modellen für die Analyse von raum-zeitlichen Daten. Sie wird im SWAIN-Projekt verwendet, um Wasserproben von möglicherweise verschmutzten Flüssen auf ressourcenbeschränkten Geräten zu untersuchen. Diese erfordern, dass die verwendeten GNNs recheneffizient sind. Dies macht es zu einem idealen Testfeld, um die Effektivität des Channel Prunings in diesem Kontext zu evaluieren. Unsere Experimente zeigen, dass der vorgeschlagene Channel Pruning-Ansatz erfolgreich räumlich-zeitliche GNN-Modelle komprimiert und dabei eine konkurrenzfähige Leistung beibehält. Zu den Beiträgen dieser Arbeit gehört eine gründliche Evaluierung von linearen Regressionstechniken für das Channel Pruning in GNNs, die Einblicke in ihre vergleichbare Leistung bietet. Darüber hinaus demonstrieren wir die erfolgreiche Anwendung von Channel Pruning auf raumzeitliche Modelle in der Torch Spatiotemporal Bibliothek und zeigen damit das Potenzial für den Einsatz von raum-zeitlichen Modellen auf ressourcenbeschränkten Geräten am Netzwerkrand.
Abstract
(Englisch)
Graph Neural Networks (GNNs) have been proven to be remarkably effective in solving graph prediction tasks, and help with modeling spatio-temporal data. However, they suffer from great computational intensity and memory requirements, making efficient model compression and acceleration essential. A popular approach is channel pruning, which eliminates redundant feature dimensions inside middle layers of GNNs without sacrificing performance. This thesis evaluates linear regression techniques used to identify dimensions to remove during channel pruning. Therefore, three popular approaches are being compared in Lasso regression, Ridge regression, and Elastic Net regression by conducting extensive experiments to evaluate their efficacy while retaining the predictive performance of the networks. In addition, the channel pruning approach with all tested linear regression techniques is also applied to spatio-temporal models of the Torch Spatiotemporal library. They are part of the SWAIN project’s analytical tools to survey possible pollution of waterways by examining water samples with resource-constrained devices on the network’s edge. These require computational efficiency. The experiments indicated that the proposed channel pruning technique compresses the spatio-temporal GNNs effectively while maintaining competitive performance. The contributions of this work include a thorough evaluation of linear regression techniques for channel pruning GNNs, to provide insights into their comparative performance. Moreover, the successful application of channel pruning to spatio-temporal models has been demonstrated for the first time. This showcases the potential for deploying spatiotemporal models on resource-constrained edge devices, such as Raspberry Pis or Arduinos.
Schlagwörter
Schlagwörter
(Deutsch)
Channel pruning Graphische Neuronale Netze Lineare Regressionstechniken Lasso Regression Ridge Regression Elastic Net Regression Spatio-temporale Modelle Torch Spatiotemporal Bibliothek
Schlagwörter
(Englisch)
Channel pruning Graph Neural Networks Linear regression techniques Lasso regression Ridge regression Elastic Net regression Spatio-temporal models Torch Spatiotemporal Library
Autor*innen
Lorenz Börtlein
Haupttitel (Englisch)
LRCP: evaluation and application of prevalent linear regression techniques used in channel pruning to enable GNN inference in resource-constrained environments
Paralleltitel (Deutsch)
LRCP: Bewertung und Anwendung gängiger linearer Regressionstechniken im Channel Pruning zur Erleichterung der GNN Inferenz in ressourcenbeschränkten Umgebungen
Publikationsjahr
2023
Umfangsangabe
xiii, 92 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Siegfried Benkner
AC Nummer
AC16927015
Utheses ID
67471
Studienkennzahl
UA | 066 | 921 | |