Detailansicht
Designing domain-specific help agents with small language models
Yurii Voronenko
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Medieninformatik
Betreuer*in
Helmut Hlavacs
DOI
10.25365/thesis.81626
URN
urn:nbn:at:at-ubw:1-24399.66911.304175-4
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die Integration domänenspezifischen Wissens in Sprachmodelle stellt eine zentrale Herausforderung für deren Einsatz in Unternehmens- und Bildungsumgebungen dar, in denen Daten vertraulich, unstrukturiert und häufigen Änderungen unterworfen sind. Diese Arbeit untersucht zwei praxisnahe Ansätze zur Domänenanpassung unter solchen realistischen Rahmenbedingungen: das domänenspezifische Fine-Tuning kleiner Sprachmodelle sowie Retrieval-Augmented Generation (RAG). Die Untersuchung basiert auf einem heterogenen, proprietären Korpus aus der Praxis eines IT-Unternehmens, bestehend aus Dokumentationen, Support-Tickets und Codefragmenten in mehreren Sprachen, die als minimal verarbeitete Markdown-Exporte vorliegen. Es werden mehrere offene, lokal einsetzbare, chat-orientierte Sprachmodelle mit etwa einer bis vierzehn Milliarden Parametern evaluiert. Die Fine-Tuning-Experimente analysieren den Einfluss von Lernratenstrategien, Trainingsdauer und Modellgröße, während Retrieval-augmented Konfigurationen mittels einer vollständig lokalen, vektorbasierten Pipeline mit unterschiedlichen Retrieval-Strategien implementiert werden. Die Evaluation erfolgt anhand eines kombinierten Ansatzes aus quantitativen, ähnlichkeitsbasierten Metriken und einer strukturierten qualitativen Bewertung der faktischen Korrektheit durch Domänenexperten. Die Ergebnisse zeigen, dass Fine-Tuning die sprachliche Kohärenz, die Antwortstruktur sowie die domänenspezifische Ausdrucksweise verbessert, jedoch Halluzinationen und faktische Fehler nicht zuverlässig eliminiert. Retrieval-Augmented Generation verbessert hingegen die faktische Fundierung deutlich und reduziert Halluzinationen durch die Einbindung abgerufener Korpusbelege, wobei diversitätsorientierte Retrieval-Strategien die konsistentesten Leistungsgewinne erzielen. Insgesamt zeigen die Ergebnisse, dass Fine-Tuning und RAG komplementäre Aspekte der Domänenintegration adressieren. Während Fine-Tuning insbesondere die konversationelle und stilistische Anpassung unterstützt, ermöglicht Retrieval eine höhere faktische Zuverlässigkeit sowie eine bessere Wartbarkeit bei sich änderndem Wissen. Unter lokalen Einsatzbedingungen erweist sich Retrieval-Augmented Generation als robustere Grundlage für domänenspezifische Assistenzsysteme, während Fine-Tuning eine sinnvolle ergänzende Rolle einnimmt.
Abstract
(Englisch)
The integration of domain-specific knowledge into language models is a key challenge for their deployment in corporate and educational environments, where data is confidential, unstructured, and subject to frequent changes. This thesis investigates two practical approaches to domain adaptation under realistic constraints using small language models: domain-adaptive fine-tuning and retrieval-augmented generation (RAG). The research is conducted using a heterogeneous real-world proprietary IT-company corpus. Several open, locally deployable chat-oriented language models ranging from approximately one to fourteen billion parameters are evaluated. Fine-tuning experiments explore the impact of learning rate strategies, training duration, and model scale, while retrieval-augmented configurations are implemented using a fully local vector-based pipeline with multiple retrieval strategies. Evaluation is conducted using a mixed approach that combines quantitative similarity-based metrics with structured qualitative domain-expert labeling of factual correctness. The results show that fine-tuning improves linguistic coherence, response structure, and domain-specific vocabulary usage, but does not reliably eliminate hallucinations or factual errors, even for larger models. Retrieval-augmented generation substantially improves factual grounding and reduces hallucinations by conditioning model outputs on retrieved corpus evidence, with diversity-oriented retrieval strategies providing the most consistent improvements. Overall, the findings indicate that fine-tuning and retrieval-augmented generation address different aspects of domain integration. Fine-tuning is effective for conversational adaptation and stylistic alignment, while retrieval provides stronger factual control and maintainability. The thesis concludes that retrieval-augmented generation represents a more robust foundation for domain-specific help agents in constrained, locally hosted environments, while fine-tuning remains a useful complementary technique.
Schlagwörter
Schlagwörter
(Deutsch)
small language models retrieval-augmented generation fine-tuning domain adaptation helper agent local deployment vector search Chroma multilingual embeddings domain-specific question answering
Schlagwörter
(Englisch)
kleine Sprachmodelle Retrieval-Augmented Generation Fine-Tuning Domänenanpassung Assistenzsysteme lokale Bereitstellung Vektorsuche mehrsprachige Einbettungen
Autor*innen
Yurii Voronenko
Haupttitel (Englisch)
Designing domain-specific help agents with small language models
Publikationsjahr
2026
Umfangsangabe
vii, 68 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Helmut Hlavacs
Klassifikationen
54 Informatik > 54.72 Künstliche Intelligenz ,
54 Informatik > 54.75 Sprachverarbeitung
AC Nummer
AC17956301
Utheses ID
81696
Studienkennzahl
UA | 066 | 935 | |