Detailansicht
Concurrent large-scale network data analysis in high-speed mobile networks
Arian Bär
Art der Arbeit
Dissertation
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Dr.-Studium der technischen Wissenschaften (Dissertationsgebiet: Informatik)
Betreuer*in
Erich Schikuta
DOI
10.25365/thesis.37259
URN
urn:nbn:at:at-ubw:1-30456.78575.113870-1
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Mobilfunknetzwerke sind heutzutage eine allgegenwärtige Infrastruktur, welche in ihrer Bedeutung mit dem Straßen- oder Stromnetz vergleichbar sind. Für die Betreiber solcher Netze ist es von größter Wichtigkeit, hohe Qualität sicherzustellen und auf Ausfälle und mögliche Gefahren so schnell wie möglich reagieren zu können. Um einen ordnungsgemäßen Netzbetrieb zu gewährleisten, sind eine gute Gesamtübersicht, sowie die Möglichkeit, spezielle Probleme bis ins Detail zu begutachten, um deren Ursache zu ergründen, notwendig. Das Hauptziel dieser Arbeit ist die Entwicklung und Evaluierung eines Datenverarbeitungssystems, welches in der Lage ist, oben genannte Aufgaben zu erfüllen.
Traditionelle Datenbank- und Data-Warehouse-Systeme sind nach wie vor die am häufigsten gewählte Lösung zum Speichern und Abrufen von Daten. Während Datenbanksysteme für einfache Anfragen und sich häufig ändernde Einträge verwendet werden, werden komplexe Datenanalysen in Data-Warehouse-Systemen durchgeführt, welche typischerweise in Zeitintervallen von Tagen, Wochen oder sogar Monaten aktualisiert werden. Datenstromsysteme sind eine neuere Entwicklung in diesem Forschungsbereich. Diese Systeme verarbeiten Daten direkt nach der Erzeugung und liefern Ergebnissein Echtzeit. Für Netzwerk-Monitoring-Anwendungen sind Eigneschaften von Data-Warehouse-Systemen und Datenstromsystemen erforderlich. Tatsächlich ist es nicht nur wichtig, auf Netzwerkzwischenfälle möglichst schnell, in nahezu Echtzeit, reagieren zu können, sondern auch diese zu einem späteren Zeitpunkt im Detail analysieren zu können. Der Schwerpunkt dieser Arbeit ist es, ein System zu entwerfen und zu evaluieren, welches diese zwei Datenverarbeitungsanforderungen effektiv und effizient in einem einzigen Computersystem kombiniert.
Die in dieser Arbeit vorgeschlagene Lösung ist DBStream, ein neuartiges Data-Stream-Warehouse-System. In DBStream wird ein kontinuierlicher Datenstrom aus einem Netzwerk-Monitoring-System in kleine Partitionen aufgeteilt und gespeichert. Die DBStream-Benutzer hinterlegen Datenverarbeitungsaufgaben, die kontinuierlich über jede neue Partition ausgeführt werden, sobald deren Speicherung abgeschlossen ist. Abfrageergebnisse werden zurück in das System gespeichert und stehen für weitere Abfragen sofort zur Verfügung. Diese können für grafische Visualisierungen verwendet werden oder an externe Tools für die weitere Ausarbeitung exportiert werden.
Im ersten Teil dieser Arbeit untersuchen wir den Entwurfsprozess und präsentieren die Erkenntnisse die wir aus der Gestaltung von DBStream gezogen haben. Zudem vergleichen wir die Leistung von DBStream mit modernen Konkurrenzsystemen wie z. B. Hadoop oder Spark. Darüber hinaus geben wir eine theoretische Formulierung der DBStream Abfragesprache an und nutzen diese, um eine Leistungssteigerung durch eine verbesserte Zeitablaufplanung zu erzielen.
Im zweiten Teil dieser Arbeit werden mehrere Netzwerk-Monitoring-Anwendungen vorgestellt, von welchen wir zwei im Detail beschreiben. Die erste Anwendung befasst sich mit der Erkennung von bösartigen Botnetzen, die zweite mit der Klassifizierung von Machine-to-Machine Geräten in Mobilfunknetzwerken. Vor allem bei der zweiten Anwendung wird deutlich, dass DBStream Netzwerkexperten dabei unterstützen kann, sich auf die anstehende Aufgabe zu konzentrieren und sich nicht mit dem Problem der Optimierung der Datenverarbeitung beschäftigen zu müssen.
Obwohl der Schwerpunkt in dieser Arbeit auf Netzwerk-Monitoring-Anwerndungen liegt, können die entwickelten Lösungen auch auf andere Bereiche angewendete werden. Netzwerkdaten sind von historischer Natur, das heißt, alle Daten beziehen sich auf vergangene Ereignisse. Sobald ein solches Datum erstellt wurde, ändert es sich nicht mehr, es werden ausschließlich neue Daten erzeugt und an die bestehenden angehängt. Daten mit ähnlichen Eigenschaften kommen auch in anderen Anwendungsgebieten vor, wie z. B. bei drahtlosen Sensornetzen, intelligenten Stromnetzen und intelligenten Transportsysteme. Deshalb sind wir überzeugt, dass die vorgeschlagenen Lösungen auch in diesen anderen Anwendungsgebieten erfolgreich einsetztbar sind.
Abstract
(Englisch)
Mobile computer networks have become an ubiquitous infrastructure comparable in importance to the road system or the power grid. For the operators of such networks it is fundamental to ensure high quality and react to outages and possible threats as soon as possible. To guarantee proper network operation, a high level view as well as the ability to drill down specific problems to find their root cause is needed. The main objective of this thesis is to design and evaluate a data processing system to accomplish this goal.
Traditional database and data warehouse system are still the most commonly adopted solution for storing and retrieving data today. While in database systems items may change frequently, deeper data analysis is done in data warehouse systems refreshed in time scales of days, weeks or even months. More recently, stream processing systems have been introduced. Those system focus on processing data as they are produced and provide results in real-time. For network monitoring applications, features of both types of systems are required. In fact, detection and diagnosis of network incidents requires accessing and processing current and historical information, whereas effective troubleshooting requires near real-time alarming. The main focus of this thesis is how those two processing requirements can be effectively and efficiently combined in a single computing system.
The solution proposed by this thesis is DBStream, a novel data stream warehouse system. In DBStream a continuous stream of data from a network monitoring system is split into small batches and stored in the system. The DBStream user registers queries which are continuously executed over each batch as soon as importing has finished. Query results are stored back into the system and are immediately available for further queries, live graphical visualization or can be exported to external tools for further
elaboration.
In the first part of this thesis we review the design process, as well as the lessons we learned during the design of the DBStream system. We also investigate the performance of our approach by a comprehensive comparison to other competitive systems. Furthermore, we give a theoretical formulation of the properties of the query language and exploit it to achieve enhanced performance through cache-oblivious scheduling.
In the second part of this thesis, we show several applications from the network monitoring domain. Two of them are presented in full detail. The first one tackles the detection of malicious mobile botnets; the second application deals with the classification of machine-to-machine devices in mobile networks. Especially the second application clearly shows that DBStream enables network experts to focus on the task at hand rather than on the functional problem of how to process the data.
Although, in this thesis, the focus is on network traffic monitoring and analysis applications, the developed solutions can be generalized to other domains. Network data are historic by nature, that is, all reported data items refer to maybe only a few Milli seconds old, but past events. Once such a data item has been created it never changes, only new items are appended over time. Data with similar properties are collected in other application fields such as wireless sensor networks, smart grids and intelligent transportation systems. In this sense it is possible to adopt the proposed solutions to other application domains.
Schlagwörter
Schlagwörter
(Englisch)
Big Data Mobile Networks Stream Data Warehousing DBStream Scheduling Machine Learning Botnet Detection
Schlagwörter
(Deutsch)
Big Data Mobilfunknetze Stream Data Warehousing DBStream Ablaufkoordination Maschinelles Lernen Botnet Detection
Autor*innen
Arian Bär
Haupttitel (Englisch)
Concurrent large-scale network data analysis in high-speed mobile networks
Paralleltitel (Deutsch)
Simultane Analyse großer Datenmengen aus Hochgeschwindigkeits-Mobilfunknetzen
Publikationsjahr
2015
Umfangsangabe
176 S. : graph. Darst.
Sprache
Englisch
Beurteiler*innen
Kurt Stockinger ,
Pere Barlet-Ros
AC Nummer
AC12644063
Utheses ID
33021
Studienkennzahl
UA | 786 | 880 | |