LLM Hosting in 2026: Local, Self-Hosted und Cloud-Infrastruktur Vergleich

LLM Hosting — Übersicht und Entscheidungshilfe

Large languageLanguage modelsModels arelaufen nolängst longernicht limitedmehr tonur hyperscalein cloudder APIs.Cloud. In2026 2026,ist youdie canFrage hostnicht LLMs:mehr "Kann ich ein LLM selbst betreiben?" — sondern:

Welche Hosting-Strategie passt zu meinem Workload, meinem Budget und meinen Anforderungen an Kontrolle und Datenschutz?

Diese Seite ist meine persönliche Referenz. Ich dokumentiere hier, was ich tatsächlich betreibe und getestet habe — keine vollständige Marktübersicht, sondern ehrliche Erfahrungswerte aus zwei verschiedenen Kontexten: dem Arbeitsumfeld (Kubernetes-Cluster, Team-Betrieb) und dem Home-Lab (Workstation, Einzelnutzer).

---

Was LLM Hosting eigentlich bedeutet

LLM Hosting beschreibt, wie und wo Modelle für Inferenz betrieben werden. Diese Entscheidung hat direkte Auswirkungen auf:

• OnLatenz consumerund GPUsTime-to-First-Token
• OnDurchsatz localund serversParallelität
• InKosten containerizedpro environmentsRequest
• OnDatenschutz dedicatedund AI workstationsDatenhoheit
• Or entirely through cloud providers

The real question is no longer "Can I run an LLM?" The real question is:

What is the right LLM hosting strategy for my workload, budget, and control requirements?

---

What Is LLM Hosting?

LLM hosting refers to how and where you run large language models for inference. Hosting decisions directly impact:

LatencyInfrastrukturkomplexität ThroughputOperativen Cost per request Data privacy Infrastructure complexity Operational controlAufwand

LLM hostingHosting isist notkeine justreine installingInstallationsaufgabe a— tooles ---ist it'seine an infrastructure design decision.Infrastrukturentscheidung.

---

LLM Hosting Decision MatrixEntscheidungsmatrix

ApproachAnsatz	BestGeeignet Forfür	Hardware Needed	Production ReadyProduktionstauglich	ControlKontrolle
Ollamallama.cpp	LocalGGUF-Modelle, dev,CLI small+ teamsServer, Offline

CPU / GPU Ja (llama-server) Sehr hoch vLLM Hochdurchsatz-Produktion Dedizierter GPU-Server Ja Hoch Jan.ai Lokale Experimente, Einzelnutzer Consumer GPU / CPU Limited scaleBegrenzt HighHoch llama.cppLM Studio GGUFLokale models,Experimente, CLI/server, offlineParameter-Tuning CPUConsumer GPU / GPUCPU Yes (llama-server)Begrenzt Very highHoch vLLMLiteLLM High-throughputProxy-Layer, productionMulti-Backend, API-Unified DedicatedKeiner GPU(nur serverProxy) YesJa HighHoch TGIOpen WebUI HuggingTeam-Frontend Facefür models,lokale streaming, metricsModelle DedicatedKeiner GPU(nur serverFrontend) YesJa HighHoch SGLangOllama HFSchneller models,Einstieg, OpenAIminimale + native APIsKonfiguration DedicatedConsumer GPU server/ CPU YesEingeschränkt HighHoch llama-swap One /v1 URL, many local backends Varies (proxy only) Medium High Docker Model Runner Containerized local setups GPU recommended Medium High LocalAI OSS experimentation CPU / GPU Medium High Cloud ProvidersCloud-Anbieter Zero-opsOps, scaleSkalierung ohne Hardware NoneKeiner (remote) YesJa LowGering

Each option solves a different layer of the stack.

---

LocalLokales LLM Hosting

LocalLokales hostingHosting gives you:bringt:

• FullVollständige controlKontrolle overüber modelsModelle und Parameter
• NoKeine per-tokentokenbasierte API billingAbrechnung
• PredictableVorhersehbare latencyLatenz
• DataDatenschutz privacyohne Kompromisse

Trade-offsDie includeKehrseite: hardwareHardware-Grenzen, constraints,Wartungsaufwand maintenanceund overhead,manuelle and scaling complexity.Skalierung.

---

Ollama

Ollama is one of the most widely adopted local LLM runtimes.

Use Ollama when:

You need rapid local experimentation You want simple CLI + API access You run models on consumer hardware You prefer minimal configuration

When you want Ollama as a stable single-node endpoint---reproducible containers with NVIDIA GPUs and persistent models, then HTTPS and streaming through Caddy or Nginx---the Compose and reverse-proxy guides below cover the settings that usually matter for homelab or internal deployments.

Start here:

Ollama Cheatsheet Move Ollama Models Ollama in Docker Compose with GPU and Persistent Model Storage Ollama behind a reverse proxy with Caddy or Nginx for HTTPS streaming Remote Ollama access via Tailscale or WireGuard, no public ports Ollama Python Examples Using Ollama in Go DeepSeek R1 on Ollama

For building intelligent search agents with Ollama's web search capabilities:

Ollama Web Search API in Go Ollama Web Search API in Python

Operational + quality angles:

Translation Quality Comparison on Ollama Choosing the Right LLM for Cognee on Ollama Self-Hosting Cognee: Choosing LLM on Ollama Ollama Enshittification

---

llama.cpp

llama.cpp isist amein lightweightprimäres Inference-Backend — sowohl auf der Arbeit als auch zu Hause. Es ist eine schlanke C/C++-Engine inferencefür engineGGUF-Modelle formit GGUFsehr models.feingranularer UseKontrolle itüber when:Speicher, Threads, Kontextgröße und Quantisierung.

Ich nutze llama.cpp wenn:

Ich maximale Kontrolle über Inference-Parameter brauche Das Deployment offline oder ohne Python-Stack laufen muss llama-server als OpenAI-kompatibler Endpunkt gefragt ist Ich GGUF-Modelle direkt aus dem Hub laden will

Arbeit: llama.cpp-Instanzen laufen als Kubernetes-Pods, je ein Modell pro Quadro-RTX-6000-Ada-GPU (24 GB VRAM), hinter LiteLLM als einheitlichem API-Proxy.

Zuhause: llama.cpp direkt auf der RTX 5070 (12 GB VRAM), meistens als Backend für Jan.ai oder OpenCode.

llama.cpp RPC Multi-GPU Setup Guide (Windows 11 & Linux Distributed Cluster) Agentic LLM Inference Tuning Reference für Qwen 3.6 und Gemma 4 llama-server Konfiguration und Slot-Management — in Vorbereitung llama.cpp unter Kubernetes: Deployment-Muster und Fallstricke — in Vorbereitung

---

LiteLLM

LiteLLM ist kein Inference-Backend — sondern der Proxy-Layer davor. Ein einheitlicher OpenAI-kompatibler Endpunkt, der Requests an verschiedene Backends weiterleitet: llama.cpp-Instanzen, vLLM, externe Cloud-APIs. Das ist der Kern meines Arbeits-Setups.

Ich nutze LiteLLM wenn:

• YouMehrere wantModelle fine-grainedund controlBackends overhinter memory,einer threads,einzigen andAPI-URL contextliegen sollen

• YouLoad-Balancing needzwischen offlinemehreren orllama.cpp-Instanzen edgegefragt deployment without a Python stackist

• YouNutzungsstatistiken preferund llama-cliAPI-Key-Management forzentral interactiveverwaltet usewerden and llama-server for OpenAI-compatible APIssollen

• llama.cppClients Quickstart(Open withWebUI, CLICoding-Tools, andSkripte) Servernichts vom Backend-Wechsel mitbekommen sollen

• llama-serverLiteLLM routerals mode:Proxy dynamicvor modelllama.cpp: switchingSetup withoutund restartsKonfiguration — in Vorbereitung

• UnloadAPI-Usage-Tracking Allmit llama.cppLiteLLM Routerund ModelsOpen WithoutWebUI Restarting

Qwen 3.6 MTP vs Standard Decoding on 16GB GPU --- measured generation speeds and VRAM trade-offs for built-in speculative decoding on a 16 GB card

---

llama.swap

llama-swap (often written llama.swap) is not an inference engine---it is a model switcher proxy: one OpenAI- or Anthropic-shaped endpoint— in front of multiple local backends (llama-server, vLLM, and others). Use it when:Vorbereitung

You want a stable base_url and /v1 surface for IDEs and SDKs

Different models are served by different processes or containers

You need hot-swap, TTL unload, or groups so only the right upstream stays resident

llama.swap Model Switcher Quickstart

---

Docker Model Runner

Docker Model Runner enables containerized model execution.

Best suited for:

Docker-first environments Isolated deployments Explicit GPU allocation control

Deep dives:

Docker Model Runner Cheatsheet Adding NVIDIA GPU Support to Docker Model Runner Context Size in Docker Model Runner

Comparison:

Docker Model Runner vs Ollama

---

vLLM

vLLM focusesist onauf high-throughputHochdurchsatz-Inferenz inference.ausgelegt Choose— itPagedAttention, when:kontinuierliches Batching, tensor-paralleles Sharding. Ich habe vLLM installiert und getestet, betreibe es aber nicht produktiv, weil llama.cpp + LiteLLM für mein Workload-Profil ausreichend ist.

Interessant wird vLLM wenn:

• YouViele serveparallele concurrentRequests productiongleichzeitig workloadsbedient werden müssen

• ThroughputDurchsatz matterswichtiger moreist thanals "iteinfache just works"Konfiguration

• YouHugging-Face-Modelle want(Safetensors) adirekt moregeladen production-orientedwerden runtimesollen

• Lokale Installation und Ausführung von LLMs mit vLLM

vLLM Quickstartvs. llama.cpp: Wann lohnt sich der Wechsel? — in Vorbereitung

---

TGI (Text Generation Inference)Jan.ai

TextJan.ai Generationist Inferencemein isprimäres Hugginglokales Face'sFrontend HTTPzu servingHause stack— foreine TransformersElectron-App models:mit continuouseingebautem batching,llama.cpp-Backend, tokenübersichtlicher streaming,Modellverwaltung tensorund paralleldirektem sharding,Zugang Prometheuszu metrics,Inference-Parametern. andGut angeeignet OpenAI-compatiblefür MessagesExperimente, API.Rollenspiel-Prompts Chooseund itModellvergleiche when:im interaktiven Betrieb.

Ich nutze Jan.ai wenn:

• YouIch wantschnell averschiedene matureModelle routerausprobieren +will model-serverohne split and first-class ObservabilityCLI

• YourParameter modelswie andTemperature, weightsTop-P liveoder inRepeat-Penalty thedirekt Hugginganpassen Face ecosystemwill

• YouEine acceptlokale thatGUI upstreamohne isCloud-Abhängigkeit ingefragt maintenance mode (stable surface, slower feature churn)ist

• TGIJan.ai: -Setup, TextModellverwaltung Generationund InferenceParameter-Tuning -— Install,in Config,Vorbereitung

  Troubleshoot

Jan.ai vs. LM Studio: Vergleich aus der Praxis — in Vorbereitung

---

SGLangLM Studio

SGLangLM isStudio aist high-throughputeine servingAlternative frameworkzu forJan.ai Huggingmit Face--styleähnlichem models:Ansatz: lokale GUI, eingebettetes llama.cpp-Backend, OpenAI-compatiblekompatibler HTTPlokaler APIs,Server. aEtwas nativestärker /generateauf path,Entwickler-Workflows andausgerichtet, anmit offlinebesserem EnginePrompt-Template-Editor.

for

Ich in-processnutze batchLM work.Studio Choose it when:wenn:

• YouDer wanteingebaute production-orientedlokale servingServer withals strongAPI-Endpunkt throughputfür andandere runtimeTools featuresgefragt (batching, attention optimizations, structured output)ist

• YouIch arePrompt-Templates comparingfür alternativesverschiedene toModellformate vLLMpflegen on GPU clusters or heavy single-host setupswill

• YouIch needModelle YAMLaus /Hugging CLIFace serverdirekt configurationin andder optionalApp Docker-firstsuchen installsund laden will

• SGLangLM QuickStartStudio als lokaler API-Server für OpenCode und andere Clients — in Vorbereitung

---

LocalAIOpen WebUI

LocalAIOpen isWebUI anist OpenAI-compatibledas inferenceTeam-Frontend serverim focusedArbeitsumfeld on— flexibilityeine andChatGPT-ähnliche multimodalWeb-Oberfläche, support.die Choosehinter itLiteLLM when:auf die llama.cpp-Instanzen zugreift. Kollegen brauchen nichts zu installieren; sie öffnen den Browser.

Ich nutze Open WebUI wenn:

• YouMehrere needNutzer aZugang drop-inzu OpenAIden APIlokalen replacementModellen on your own hardwarebrauchen

• YourEin workloadbenutzerfreundliches spansFrontend text,ohne embeddings,technische images,Hürden orgefragt audioist

• YouRAG, wantBildupload aund built-inGesprächsverwaltung Webzentral UIverwaltet alongsidewerden the API

You need the widest model format support (GGUF, GPTQ, AWQ, Safetensors, PyTorch)sollen

LocalAIOpen QuickStartWebUI — Übersicht und Setup

Open WebUI hinter LiteLLM: Konfiguration und Fallstricke — in Vorbereitung

---

OpenCode

OpenCode ist mein KI-gestütztes Coding-Werkzeug — ein CLI-Agent, der llama.cpp als Backend nutzt und direkt in den Entwicklungsworkflow integriert ist. Kein Frontend, kein Chat — sondern Codeanalyse, Refactoring und Aufgabenausführung im Terminal.

The AI Coding Loop: Verification-Driven Development with AI Agents OpenCode LLM Benchmarks: IndexNow & Migration Mapping OpenCode mit lokalem llama.cpp-Backend: Konfiguration und Modellwahl — in Vorbereitung

---

Ollama

Ollama habe ich getestet, betreibe ich aber nicht aktiv. Es ist der einfachste Einstieg in lokale LLMs — gute CLI, automatisches Modell-Pulling, minimale Konfiguration. Die Einschränkungen beim Scheduling und die begrenzte Kontrolle über Inference-Parameter haben mich zu llama.cpp geführt.

Ollama macht Sinn wenn:

Der schnellste Weg zu einem laufenden Modell gefragt ist

Kein Interesse an Parameter-Tuning besteht

Ein einzelner Nutzer lokal experimentiert

Warum ich von Ollama zu llama.cpp gewechselt habe — in Vorbereitung

---

Cloud LLM Hosting

CloudCloud-Anbieter providersabstrahieren abstractdie hardwareHardware entirely.vollständig. Ich nutze Cloud-APIs punktuell — vor allem für Modelle, die lokal nicht sinnvoll betreibbar sind (frontier-Modelle wie Claude oder GPT-4-class).

Advantages:Vorteile:

• InstantSofortige scalabilitySkalierbarkeit
• ManagedKein infrastructureHardware-Investment
• NoKeine GPU investment

Fast integrationWartung

Trade-offs:Nachteile:

• Recurring API

  Laufende costsKosten pro Token

• Vendor lock-in

  Daten verlassen die eigene Infrastruktur

• Reduced control

  Vendor-Abhängigkeit

ProviderCloud-APIs overview:sinnvoll einsetzen: wann lokales Hosting nicht reicht — in Vorbereitung

Cloud LLM Providers

---

Hosting Comparisons

If your decision is "which runtime should I host with?", start here:

Hosting LLMs: Ollama vs LocalAI vs Jan vs LM Studio vs vLLM

---

LLM Frontends & InterfacesOberflächen

HostingDas theHosting-Backend modelist isnur onlyein partTeil ofdes theSystems. systemWelches ---Frontend frontendsNutzer matter.sehen, beeinflusst die Akzeptanz erheblich.

LLM Frontends Overview Open WebUI: Overview, Quickstart, Alternatives Chat UI for Local Ollama LLMs Self-hosting Perplexica with Ollama Vane (Perplexica 2.0) Quickstart With Ollama and llama.cpp

Comparing RAG-focused frontends:

Farfalle vs Perplexica

---

Self-Hosting & Sovereignty

If you care about local control, privacy, and independence from API providers:

LLM Self-Hosting and AI Sovereignty

---

Performance Considerations

Hosting decisions are tightly coupled with performance constraints:

CPU core utilization Parallel request handling Memory allocation behavior Throughput vs latency trade-offs

Related performance deep dives:

Ollama CPU Core Usage Test How Ollama Handles Parallel Requests Memory Allocation in Ollama (New Version) Ollama GPT-OSS Structured Output Issues

Benchmarks and runtime comparisons:

DGX Spark vs Mac Studio vs RTX 4080 Choosing Best LLM for Ollama on 16GB VRAM GPU Comparing NVIDIA GPU for AI Logical Fallacy: LLMs Speed LLM Summarising Abilities Mistral Small vs Gemma2 vs Qwen2.5 vs Mistral Nemo Gemma2 vs Qwen2 vs Mistral Nemo 12B Qwen3 30B vs GPT-OSS 20B

---

Cost vs Control Trade-Off

FactorFrontend	Local HostingKontext	Cloud HostingTyp
UpfrontOpen CostWebUI	HardwareArbeit, purchaseTeam	NoneWeb-App
Ongoing CostJan.ai	ElectricityZuhause, Einzelnutzer	Token billingDesktop-App
PrivacyLM Studio	HighZuhause, Entwicklung	LowerDesktop-App
ScalabilityOpenCode	ManualZuhause, Terminal	Automatic

Maintenance You manage Provider managesCLI-Agent

---

Kosten und Kontrollvergleich

Faktor Lokal Cloud Anschaffungskosten Hardware Keine Laufende Kosten Strom Token-Abrechnung Datenschutz Vollständig Eingeschränkt Skalierung Manuell Automatisch Wartung Selbst Anbieter Modellkontrolle Vollständig Eingeschränkt

---

Wann welcher Ansatz?

Oncellama.cpp youwenn havemaximale aKontrolle runtimeund running,GGUF-Modelle thegefragt nextsind set— ofsowohl decisionsfür isEinzelnutzer architectural:als whichauch modelim handlesKubernetes-Cluster.

which

LiteLLM request,sobald howmehrere toBackends manageoder tokenmehrere costs,Nutzer howhinter toeiner validateeinheitlichen inputsAPI andzusammengefasst outputs.werden Thosesollen.

design

vLLM patternswenn livellama.cpp unter Parallellast zum Engpass wird und Durchsatz Priorität hat.

Jan.ai oder LM Studio für lokale Experimente mit GUI, ohne CLI-Aufwand.

OpenCode wenn KI direkt in theden LLMCoding-Workflow Architectureintegriert cluster.werden soll.

Open WebUI wenn Kollegen ohne technisches Setup Zugang zu lokalen Modellen brauchen.

Cloud wenn frontier-Modelle gefragt sind oder lokale Hardware nicht ausreicht.

---

WhenHäufige to Choose WhatFragen

ChooseWas ist der einfachste Einstieg in lokale LLMs? Ollama if:— minimale Konfiguration, sofort lauffähig. Wer mehr Kontrolle braucht, wechselt zu llama.cpp.

Ist YouSelf-Hosting wantgünstiger theals simplestCloud-APIs? localBei setup

hohem, Yougleichmäßigem runVolumen internaloft toolsja or— prototypessobald Youdie preferHardware minimalamortisiert frictionist. Bei sporadischer Nutzung rechnet sich Cloud meistens besser.

ChooseKann llama.cppman if:

LLMs

You run GGUF models and want maximum control You need offline or edge deployment without Python You want llama-cli for CLI use and llama-server for OpenAI-compatible APIs

Choose vLLM if:

You serve concurrent production workloads You need throughput andohne GPU efficiencybetreiben? Ja, aber die Inferenzgeschwindigkeit ist erheblich eingeschränkt. Für produktiven Betrieb ist eine dedizierte GPU praktisch Pflicht.

ChooseWelches SGLangFrontend if:empfehle ich für ein Team? Open WebUI — es braucht keine lokale Installation auf den Client-Rechnern und lässt sich gut hinter einen Reverse-Proxy stellen.

You want a vLLM-class serving runtime with SGLang's feature set and deployment options You need OpenAI-compatible serving plus native /generate or offline Engine workflows

Choose llama-swap if:

You already run multiple OpenAI-compatible backends and want one /v1 URL with model-based routing and swap/unload

Choose LocalAI if:

You need multimodal AI (text, images, audio, embeddings) on local hardware You want maximum OpenAI API drop-in compatibility Your team needs a built-in Web UI alongside the API

Choose Cloud if:

You need fast scale without hardware You accept recurring costs and vendor trade-offs

Choose Hybrid if:

You prototype locally Deploy critical workloads to cloud Keep cost control where possible

---

Frequently

Zur AskedPerformance Questionsund

WhatOptimierung isder theInference-Backends: bestLLM wayPerformance to host LLMs locally?

For most developers, Ollama is the simplest entry point. For high-throughput serving, consider runtimes like vLLM.Hub

Is self-hosting cheaper than OpenAI API?

It depends on usage patterns and hardware amortization. If your workload is steady and high-volume, self-hosting often becomes predictable and cost-effective.

Can I host LLMs without a GPU?

Yes, but inference performance will be limited and latency will be higher.

Is Ollama production ready?

For small teams and internal tools, yes. For high-throughput production workloads, a specialized runtime and stronger operational tooling may be required.