Advanced Search
Search Results
193 total results found
Update April 26
Update auf 26.03.3 gemacht. Keine besonderen Vorkommnisse. Scheint noch alles zu funktionieren. Snapshot noch aktiv.
Agentic LLM Inference Tuning Reference for Qwen 3.6 and Gemma 4
This page is a practical reference for agentic LLM inference tuning (temperature, top_p, top_k, penalties, and how they interact in multi-step and tool-heavy workflows). It sits alongside the broader LLM performance engineering hub and matches best with a clea...
LLM Performance Hub
LLM-Performance ist ein Systemproblem, kein GPU-Einkaufsproblem. Ob man ein einzelnes Modell auf einer lokalen Workstation betreibt oder einen Multi-Modell-Kubernetes-Cluster verwaltet — Inferenzgeschwindigkeit, Latenz und Effizienz werden durch das Zusammensp...
LLM Hosting in 2026: Local, Self-Hosted und Cloud-Infrastruktur Vergleich
LLM Hosting — Übersicht und Entscheidungshilfe Large Language Models laufen längst nicht mehr nur in der Cloud. 2026 ist die Frage nicht mehr "Kann ich ein LLM selbst betreiben?" — sondern: Welche Hosting-Strategie passt zu meinem Workload, meinem Budget und m...
Speculative Decoding: Mechanics, Variants, and Implementation Guide
A 70B model generates one token per forward pass, and each pass reloads weights from VRAM, computes attention across the context, and synchronises memory. Between tokens, the GPU sits idle while it waits for sequential dependencies to resolve. On an H100, a 70...
OpenCode LLM Benchmarks: IndexNow & Migration Mapping
This document provides a technical comparison of various Large Language Models (LLMs) evaluated using OpenCode. Testing focused on agentic workflow performance across two distinct domains: Model Context Protocol (MCP) implementation and structured data transfo...
Qwen 3.6 27B and 35B MTP vs Standard on 16GB GPU
I tested Speculative decoding (Multi-Token Prediction, MTP) performance in Qwen 3.6 27B and 35B on an RTX 4080 with 16 GB VRAM. For a broader view of token speeds and VRAM trade-offs across more models on the same hardware, see 16 GB VRAM LLM benchmarks with l...
Hermes
Hermes Agent is a self-hosted, model-agnostic AI assistant that runs on a local machine or low-cost VPS, works through terminal and messaging interfaces, and improves over time by turning repeated tasks into reusable skills. Many developers found their way to ...
AI Systems: Self-Hosted Assistants, RAG, and Local Infrastructure
Hermes: A Persistent Agent with Skills and Tool Sandboxing The Hermes Agent is a self-hosted, model-agnostic assistant designed for persistent operation. It functions as a long-lived process, capable of executing tools through configurable backends and iterati...
Companion Models
Here is an incomplete list of language models which can be used for roleplay and companion like chats.
llama.cpp — Installation, Betrieb und Konfiguration
llama.cpp ist mein primäres Inference-Backend — sowohl im Arbeitscluster als auch zu Hause. Es ist eine schlanke C/C++-Engine für GGUF-Modelle mit sehr direktem Zugang zu allen relevanten Parametern: Kontextgröße, GPU-Layer-Verteilung, Quantisierung, Threading...
Dell Pro Max (GB10): Edge-KI-Infrastruktur & ROI-Analyse
Übersicht Das Dell Pro Max System, ausgestattet mit dem Nvidia GB10 (Grace Blackwell) Prozessor, stellt ein hochinteressantes Edge-KI-Kraftpaket dar. Mit seinem kompakten Formfaktor, 128 GB verlötetem LPDDR5X-RAM und einer leistungsstarken Nvidia ConnectX-7 Ne...
Cavecrew Reviewer Prompt
Cavecrew Reviewer Prompt Dieser Prompt dient als Vorlage für Code-Reviews im Rahmen des Cavecrew-Projekts. Er fokussiert sich auf spezifische Datei-Strukturen und sicherheitskritische Importe sowie Konfigurationsanpassungen. Prompt-Vorlage # Task: Review and f...