Detailansicht
Adversarial training with Lookahead
Philip Neuhart
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Mathematik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Mathematik
Betreuer*in
Radu Ioan Boţ
DOI
10.25365/thesis.72555
URN
urn:nbn:at:at-ubw:1-21784.62480.927276-9
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Deep Learning wird in immer mehr sicherheitsrelevanten Bereichen wie zum Beispiel für autonomes Fahren oder in der automatischen Gesichtserkennung erfolgreich eingesetzt. Daher rückt der Sicherheitsaspekt von Deep Learning Algorithmen zunehmend in den Fokus der Forschung. Eine der wichtigsten Entdeckungen in diesem Zusammenhang war, dass Angreifer state-of-the-art Machine Learning Modelle, wie z.B. Deep Convolutional Neural Networks, täuschen können, indem sie die zu klassifizierenden Objekte mit kleinen, aber gezielt gesetzten Störungen manipulieren (z.B.: die Pixelwerte eines Bildes leicht abändern). Die daraus resultierenden manipulierten Objekte werden als Adversarial Examples bezeichnet. Obwohl Adversarial Examples für ein bestimmtes Modell erstellt werden, sind sie nachweislich auf andere Modelle übertragbar, d.h. sie täuschen auch andere Modelle mit hoher Wahrscheinlichkeit. Diese Übertragbarkeitseigenschaft von Adversarial Examples stellt ein großes Sicherheitsrisiko für den Einsatz von Deep Learning Algorithmen speziell in sicherheitssensiblen Bereichen dar. Im Zuge dieser Entdeckungen entstand ein neuer Unterbereich von Deep Learning, genannt Adversarial Learning, welcher sich unter anderem mit potenziellen Verteidigungsstrategien gegenüber Angriffen auf Deep Learning Modelle mit Hilfe von Adversarial Examples, auch Adversarial Attacks genannt, befasst. Eine vielversprechende Verteidigungsstrategie, Adversarial Training genannt, ersetzt die nicht manipulierten Objekte in der Trainingsphase durch Adversarial Examples, um so die Fähigkeit des Klassifizerungsmodells zu stärken, Adversarial Examples zu erkennen. In dieser Arbeit werden wir Adversarial Examples formal einführen, die wichtigsten Adversarial Attacks behandeln und etablierte Hypothesen zur Existenz von Adversarial Examples sowie deren Übertragbarkeitseigenschaft diskutieren. Darüber hinaus werden wir eine ausgewählte Liste an Verteidigungsstrategien beschreiben und Adversarial Training aus der Perspektive der robusten Optimierung analysieren. Im zweiten Teil dieser Arbeit werden wir Lookahead, einen kürzlich vorgeschlagenen Optimierungsalgorithmus, vorstellen und analysieren. Es wurde gezeigt, dass Lookahead in der Lage ist, Standard Optimierungsalgorithmen wie SGD oder Adam unter bestimmten Vorraussetzungen zu übertreffen. Schließlich werden wir Lookahead verwenden, um Convolutional Neural Networks in mehreren numerischen Experimenten zu trainieren und die Ergebnisse mit fünf anderen Optimierungsalgorithmen zu vergleichen: SGD, Adam, OGD, ExtraSGD und ExtraAdam.
Abstract
(Englisch)
Deep learning is applied successfully in more and more security-sensitive areas such as autonomous driving or face recognition. Thus, the safety aspect of deep learning algorithms is increasingly getting in the focus of research. One of the most important discoveries in this regard has been that adversaries can deceive state-of-the-art machine learning models by inducing small but deliberate perturbations to inputs (e.g: changing the pixel values of images slightly). The resulting perturbed inputs are called adversarial examples. Even though adversarial examples are crafted on a specific model, they were shown to be transferable to other models, i.e., they also fool other models with a high likelihood. This transferability property of adversarial examples poses major security threats to the safe deployment of deep learning algorithms in security-sensitive areas. This gave rise to a new branch of deep learning called adversarial learning which also studies potential defenses against adversarial attacks. A promising defense strategy, adversarial training, replaces the unperturbed inputs in the training phase with adversarial examples in order to strengthen the model’s ability to detect adversarial examples. In this thesis, we will formally introduce adversarial examples, cover the most important adversarial attacks, and discuss established hypotheses regarding the existence of adversarial examples and their transferability property. Furthermore, we will discuss a selected list of defenses and analyze adversarial training from the perspective of robust optimization. In the second part of this thesis, we will introduce and analyze a recently proposed optimization algorithm called Lookahead which has been shown to be able to outperform standard optimization algorithms like SGD or Adam in certain optimization settings. Lastly, we will use Lookahead to adversarially train convolutional neural networks in several numerical experiments and benchmark Lookahead against five other optimization algorithms: SGD, Adam, OGD, ExtraSGD, and ExtraAdam.
Schlagwörter
Schlagwörter
(Deutsch)
Adversarial Learning Adversarial Training Adversarial Examples Adversarial Attacks Adversarial Defenses Lookahead
Schlagwörter
(Englisch)
Adversarial Learning Adversarial Training Adversarial Examples Adversarial Attacks Adversarial Defenses Lookahead
Autor*innen
Philip Neuhart
Haupttitel (Englisch)
Adversarial training with Lookahead
Paralleltitel (Deutsch)
Adversarial Training mit Lookahead
Publikationsjahr
2022
Umfangsangabe
x, 86 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Radu Ioan Boţ
Klassifikation
31 Mathematik > 31.80 Angewandte Mathematik
AC Nummer
AC16669283
Utheses ID
64766
Studienkennzahl
UA | 066 | 821 | |