Detailansicht
The geography of token efficiency in large language models
Florian Mathias Venier
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Geowissenschaften, Geographie und Astronomie
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Kartographie und Geoinformation
Betreuer*in
Krzysztof Janowicz
DOI
10.25365/thesis.81154
URN
urn:nbn:at:at-ubw:1-29244.24650.102863-1
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Tokenisierung ist ein zentraler Vorverarbeitungsschritt in großen Sprachmodellen und beeinflusst direkt, wie Text repräsentiert und verarbeitet wird. Dennoch wird Token-Effizienz meist als sprach- oder modellspezifische Eigenschaft betrachtet, ohne ihre räumliche Verteilung zu berücksichtigen. Diese Arbeit greift diese Forschungslücke auf, indem sie Token-Effizienz als globales räumliches Phänomen analysiert. Auf Basis eines globalen H3-Rasters und von OpenStreetMap abgeleiteten Ortsnamen wird die Token-Effizienz gemessen und über drei aktuelle Tokenizer-Architekturen hinweg verglichen. Die Analyse kombiniert deskriptive Statistik, räumliche Autokorrelation, Clusterverfahren sowie Modellvergleiche, um zu untersuchen, wie sich Effizienz räumlich verteilt und zwischen Modellen unterscheidet. Zusätzlich wird die Token-Effizienz mit externen Datensätzen in Beziehung gesetzt, darunter Bevölkerungsdichte, dominantes Schriftsystem, CO₂-Intensität der Stromerzeugung und Internetdurchdringung. Die Ergebnisse zeigen, dass Token-Effizienz klare räumliche Muster aufweist und sich in zusammenhängenden Regionen mit relativ hoher und niedriger Effizienz organisiert, die über verschiedene räumliche Aggregationen hinweg stabil bleiben. Obwohl sich die untersuchten Tokenizer in ihrem allgemeinen Effizienzniveau unterscheiden, sind ihre räumlichen Verteilungen sehr ähnlich. Dies deutet darauf hin, dass die Modellwahl das Ausmaß der Effizienz beeinflusst, nicht jedoch deren geografische Struktur. Die Ergebnisse legen nahe, dass räumliche Unterschiede in der Token-Effizienz eher durch übergeordnete strukturelle Faktoren als durch individuelles Modelldesign geprägt sind. Durch die Einführung einer räumlichen Perspektive auf Tokenisierung zeigt diese Arbeit, wie Unterschiede in der sprachlichen Repräsentation ungleich über den geografischen Raum verteilt sind und welche Implikationen sich daraus für Rechenaufwand und den Zugang zu KI-Systemen ergeben können.
Abstract
(Englisch)
Tokenization is a core preprocessing step in large language models and directly influences how text is represented and processed. However, token efficiency is typically examined as a language- or model-specific property, without considering its spatial distribution. This thesis addresses this gap by analyzing token efficiency as a global spatial phenomenon. Using a global H3 grid and OpenStreetMap-based place names, token efficiency is measured and compared across three contemporary tokenizer architectures. The analysis combines descriptive statistics, spatial autocorrelation, clustering methods, and cross-model comparison to examine how efficiency varies across regions and between models. In addition, token efficiency is related to external data layers, including population density, dominant writing system, carbon intensity of electricity, and internet penetration. The results show that token efficiency exhibits clear spatial patterns, forming coherent regions of relatively high and low efficiency that remain stable across different spatial aggregations. While the analyzed tokenizers differ in their overall efficiency levels, their spatial distributions are highly similar. This indicates that the choice of the model affects the degree of efficiency, but not its geographic structure These findings suggest that spatial variation in token efficiency is shaped by broader structural factors rather than individual model design. By introducing a spatial perspective on tokenization, this thesis highlights how differences in linguistic representation are unevenly distributed across geographic space and may have implications for computational cost and access to AI systems.
Schlagwörter
Schlagwörter
(Deutsch)
Tokenisierung Token-Effizienz Large Language Models GeoAI Sprachliche Diversität Digitale Ungleichheit Räumliche Analyse
Schlagwörter
(Englisch)
Tokenization Token Efficiency Large Language Models GeoAI Linguistic Diversity Digital Inequality Spatial Analysis
Autor*innen
Florian Mathias Venier
Haupttitel (Englisch)
The geography of token efficiency in large language models
Publikationsjahr
2026
Umfangsangabe
70 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Krzysztof Janowicz
Klassifikation
38 Geowissenschaften > 38.00 Geowissenschaften. Allgemeines
AC Nummer
AC17891098
Utheses ID
80581
Studienkennzahl
UA | 066 | 856 | |