Ett Ambivrt-experiment

ml-brainclone

En andra hjärna byggd med AI-agenter

Ett öppet experiment: ett personligt kunskapssystem där AI-agenter samarbetar över text, bild, ljud, tid och förståelse. Ett levande system, inte en produkt.

12

agenter

3 900+

vault-noter

37 000+

semantiska minnen

Agentekosystemet

Tolv agenter. En hjärna.

En dirigent, tre sinnen, åtta organ, ett skelett. Från ord till bild till ljud till rum till minne till känsla till logistik till drömmar till samvete.

L

Larry

Orkestreraren

LIVE

Text, kod, planering, minne. Huvudhjärnan. Körs som Claude Code med full vault-åtkomst, semantisk sökning och ett personlighetssystem med tolv karaktärer på en ratt. Varje handlingstyp har en oversight-nivå, in the loop, on the loop eller autonomous. Skickar avgränsade uppdrag till andra modellfamiljer via Multi-LLM Inference Gateway. Nås från terminalen, Telegram och ett lokalt kontrollrum på webben.

Claude Code (Opus 5.5 orchestrates, Sonnet 5.5 for bulk) + Multi-LLM Gateway

B

Barry

Ögonen

LIVE

Bildgenerering, visuell analys, stilminne. Fotorealism och text i bild går via ChatGPT Images i Codex CLI, stiliserat via Venice AI Chroma-modellen i Playwright. Varje bild spårad, taggad och backupad. Nya bilder granskar Barry själv, och varje bild får sin egen privacy-nivå, aldrig en schablon per mapp.

ChatGPT Images (Codex CLI) + Venice AI (Chroma) via Playwright

H

Harry

Öronen

LIVE

Text-till-tal, transkribering, musik, ljudeffekter. Flera röster med känslomedveten prosodi. Diktering i realtid körs lokalt på GPU:n som en egen daemon. Musik på begäran direkt i chatten. Dubbning till andra språk, och en diskcache så samma mening aldrig betalas två gånger.

ElevenLabs (v4 Turbo + dubbing) + faster-whisper (CUDA) + Lyria + Venice Audio

G

Garry

Händerna

LIVE

Spatial hjärna. Konverterar bilder till 3D-mesh (GLB) via Trellis 2, med automatisk bakgrundsborttagning (rembg) och en Blender-brygga över MCP. Full asset-pipeline: källspårning, versionering, projektorganisering och en exportkedja till Unity. Allt landar i Studion, där TheAmbivrt betygsätter varje modell och skriver vad som är fel. Garry bygger om ur ändringskön och sparar lärdomarna till nästa gång.

Trellis 2 + rembg + Blender 5.2 (MCP) + Unity 6

P

Parry

Väktaren

LIVE

Integritetsfilter, tonalitetskontroll, kvalitetsgrind. Middleware som ser alla meddelanden mellan agenter innan de når sin mottagare, och golvet för de oversight-regler som styr daemonerna. Flaggar, blockerar aldrig.

Python daemon + SQLite bus

T

Tarry

Klockan

LIVE

Temporal orkestrerare, och den första hjärnan som körs på capability-runtimen. Påminnelser, uppföljningar, återkommande uppgifter, deadline-eskalering, var och en komponerad som en förmåga med felisolering per förmåga. Agenten som dröjer kvar och ser till att inget faller mellan stolarna.

Capability runtime (Brain) + JSON queue

C

Carry

Blodomloppet

LIVE

Innehållslogistik. Bär allt den sista milen, inåt (scraping, import), utåt (publicering, mejl) och internt (sortering, backup, cleanup). Pipelines med retry och godkännandegrind.

Python daemon + pipeline engine

D

Darry

Drömmaren

LIVE

Nattskiftet. Nio parallella batchar medan användaren sover: vault-hygien, inbox-triage, kunskapsdestillering, kunskapsgraf-uppdateringar, feedback-audit, minneskonfliktlösning, dagbok. Sammanställer morgonbrief 05:30. Sonnet 5.5 sköter bulken, Opus 5.5 skriver det människan läser. Sessioner som läser mail och webbinnehåll kör read-only, utan shell och MCP.

Task Scheduler + Sonnet 5.5 / Opus 5.5 (batch pipeline)

S

Scarry

Samvetet

LIVE

Retroaktiv scanner. Söker historiken efter saker nämnda men aldrig gjorda, läkarbesök, obetalda räkningar, brutna löften, döda projekt, och plockar upp öppna trådar utan att bli ombedd. Hookad i Darrys deep sleep-fas. Fynden döms av en System One-beslutsmodell, skarp sedan september. Ställer frågor, ger aldrig instruktioner.

Python + Milla KG + System One decision gate

F

Farry

Tolken

LIVE

Universell tolk. Tolkläge i realtid i ett "Babel fish"-läge, maskinöversättning och formatkonvertering mellan json, yaml, toml, xml och csv. Söker minnet först, så terminologin hålls konsekvent över språk och format.

Python + Claude (Sonnet 5.5) + Milla

W

Warry

Barometern

LIVE

Emotionell sensor. Scorar textsentiment från -1.0 till +1.0, spårar stämningstrender över tid, detekterar inflektionspunkter med ASCII mood bars. Mäter, tolkar aldrig, användaren äger insikten.

XLM-RoBERTa (local GPU)

M

Milla

MINNET

Minnet

Semantiskt minnespalats byggt på ChromaDB med e5-large-embeddings, MemPalace 3.11. 37 000+ indexerade minnen, en kunskapsgraf med tidsversionerade fakta, varje fakta bär en giltighetsperiod, AAAK-dagboksformat. Arkivet räknas som långtidsminne, inte papperskorg. Glömmer aldrig, smart vid hämtning, inte vid radering.

ChromaDB + e5-large

Arkitektur

Hur systemet hänger ihop

TheAmbivrt överst. Allt han säger går in genom fem dörrar, över en buss och förbi en vakt. Under bussen jobbar hjärnorna, modaliteterna och minnet. Längst ner det som sparas och det som bor utanför datorn. Ritningen är från november. Den hinner bli gammal.

4
modellfamiljer
15
processer i drift
7 000+
automatiska tester
ml-brainclone arkitektur november 2026. TheAmbivrt överst. Ingångar: terminalen, Telegram, webben, rösten, skärmen. Bussen och vakten Parry. Hjärnorna Tarry, Carry, Darry, Warry, Scarry, Farry. Modaliteterna Larry, Barry, Harry, Garry. Minnet Milla. Schemalagda jobb. Lagring: vaulten, palatset, bussen. Utanför datorn: Claude, GPT, Gemini, Jev, NAS.

Klicka för full storlek.

Brains-bussen

SQLite WAL-databas. Alla agenter kommunicerar via event-bus. Parry ser varje meddelande innan det når sin mottagare.

Multi-LLM Inference Gateway

Claude är dirigent och enda skrivande auktoritet. GPT-6.1 Sol via Codex CLI, read-only, och Gemini 4 Argon via Vertex jobbar som stateless specialister bakom en gemensam grind: secret-scan och privacy-policy före varje anrop, JSON Schema-validering av varje svar, fallback mellan modellfamiljerna vid tekniska fel. Codex är numera stående motpart när en större plan ska granskas. Den hittar saker. Det är poängen.

Nattskiftet

Nio parallella batchar medan användaren sover: vault-hygien, inbox-triage, kunskapsdestillering, KG-uppdateringar, feedback-audit, minneskonfliktlösning. Morgonbrief 05:30. Sonnet 5.5 sköter bulken, Opus 5.5 skriver det människan läser. Sessioner som läser opålitlig input, mail och webb, kör read-only.

Telegram

Larry-boten tar emot röstmeddelanden, foton och text. Transkriberar tyst, agerar direkt. Proaktiv kanal för check-ins och nudges.

Capability-vändningen

Från agenter till förmågor

I åtta veckor bodde varje förmåga i sin egen daemon. Tid var Tarry. Minne var Milla. Drömmar var Darry. Det fungerade, tills en daemon hängde tyst ett helt dygn och förmågan den ägde bara slutade, utan att något märkte det. Att samla en förmåga på ett enda ställe gör den till en svag punkt. Så arkitekturen vände. Tid, triggers och koordinering blev förmågor: delade moduler som varje hjärna komponerar och kör själv. En hjärna är inte längre en monolit med ett jobb. Den är en komposition av förmågor. Tarry gick först. Carry och Darry körs nu likadant.

Komposition före koncentration

Hjärnor komponerar delade förmågor: tid, triggers och minne som varje hjärna bär, plus syn, hörsel och känsla den kan kalla på. Att lägga till en förmåga är en rad i ett manifest.

Ingen svag punkt

Förmågorna körs inuti varje hjärna. Dör en hjärna pausar bara dess unika arbete. Resten rullar vidare, och ett fel i en förmåga avbryter inte längre hela cykeln.

Exakt en gång, självläkande

Globalt arbete koordineras med ett lease på bussen. En hjärna tar det och fyrar; dör den tar nästa över. Tiden fyrar exakt en gång, även när en hjärna faller.

Sedan i somras

Människan i loopen

Systemet fick mer autonomi under sommaren. Då flyttade styrningen från prosa i promptar till kod.

Oversight

En regelmotor i kod svarar per handlingstyp: in the loop väntar på ett ja, on the loop sker men går att ångra inom ett fönster, autonomous sker och loggas. En hook är golvet för sessioner, Parry är golvet för daemonerna.

Läget

Deterministisk kod utan tokenkostnad sammanställer vad som väntar, vad som är trasigt och vad som är på väg, ur befintliga köer. En hook skriver ut det vid varje sessionsstart. En watchdog larmar en gång om dagen om en betrodd automation uteblir.

System One-grinden

Jev, en extern beslutsmodell som inte skriver text. Tillstånd och typade frågor in, sannolikheter ut. Budgettak, hemlighetsgrind och en kostnadslogg som aldrig sparar innehållet skyddar varje anrop. Gick från skugga till skarpt i september framför mail, Telegram, minne och triage. Delarna som skapar eller tar bort något ligger kvar i skugga tills tillräckligt många fall är dömda för hand. Samma modell går katalogträdet och svarar på var något bor.

Avsluta jobbet

Öppna trådar plockas upp utan att bli ombedd. Jobb får kvitton: lease, token, leveransgrind. Systemet föreslår en ny förmåga när det märker ett återkommande hål, och en watchdog larmar om morgonbriefen uteblir.

Ett minne

Claude Codes auto-minne bor i vaultet, i ett superset-format med både Claudes egna fält och vaultets. Semantiskt minne, kunskapsgraf och dagbok bor i Milla. Ingen separat minnesdatabas. En nattlig batch normaliserar och löser konflikter.

Skydd i headless

Sessioner som kör utan människa når aldrig nycklarna. Det som läst opålitlig input smittas och får inte skicka något ut. Skyddade filer går inte att skriva, varje jobb har en budget och en loopvakt stoppar ett anrop som upprepar sig. Lånat från andra harnesses, granskat av Codex och Jev.

Sedan oktober

Kontrollrummet

Hela systemet har en webbyta. En lokal app på samma maskin som daemonerna, som läser deras tillstånd direkt, och en PWA i fickan. Ingenting lagras i ett moln. Bilderna nedan är tagna måndagen den 2 november, rakt av. Inget är tillrättalagt. Det syns.

Vaulten som graf: 3 992 anteckningar och 9 022 länkar, färgade efter privacy-nivå, med Barry, Harry och Garry som egna filytor

Hjärtat

Vaulten

Allt annat på den här sidan finns för att den här ska må bra. Varje prick är en anteckning, 3 992 stycken, med 9 022 länkar mellan sig. Färgen är privacy-nivån: kallt blått är det som tål att visas, varmt orange är det privata. Det privata lyser starkast. Så är det med hjärtan. Barry, Harry och Garry kretsar runt som egna filytor med bilder, ljud och 3D. De 264 döda länkarna syns också. Ingen är perfekt.

Systemkartan. Allt som kör och vad det hänger på. Kanalerna överst, Parry mitt på bussen, under den hjärnorna, task-watchers och minnet, sedan de schemalagda jobben, lagringen och det som bor utanför datorn. Kartan är ärlig: nattskiftet fick fel senast och Harry-wispr är avstängd. Ett system som ljuger för sin ägare är värre än inget system.

Systemkartan

Allt som kör och vad det hänger på. Kanalerna överst, Parry mitt på bussen, under den hjärnorna, task-watchers och minnet, sedan de schemalagda jobben, lagringen och det som bor utanför datorn. Kartan är ärlig: nattskiftet fick fel senast och Harry-wispr är avstängd. Ett system som ljuger för sin ägare är värre än inget system.

Styrningen. Larrys röst har rattar. Tolv personligheter på en ratt, språk, verbositet ett till tre, form, attityd från mjuk till skarp, adversarial på eller av. Nya sessioner läser av reglagen vid start och varje ändring loggas. Ratten står på Larry, attityden på skarp. Ingen chockades.

Styrningen

Larrys röst har rattar. Tolv personligheter på en ratt, språk, verbositet ett till tre, form, attityd från mjuk till skarp, adversarial på eller av. Nya sessioner läser av reglagen vid start och varje ändring loggas. Ratten står på Larry, attityden på skarp. Ingen chockades.

Studion. Det Barry, Harry och Garry gör landar här. 3D-visare med ljus och animation, betyg noll till fem per fil, nivå per fil och en ändringskö till Garry. TheAmbivrt skriver vad som är fel, Garry bygger om och svarar vad den gjorde. Här en parkbänk till VR-spelet. Armstödet satt fel. Nu sitter det rätt. Bänken klagade inte.

Studion

Det Barry, Harry och Garry gör landar här. 3D-visare med ljus och animation, betyg noll till fem per fil, nivå per fil och en ändringskö till Garry. TheAmbivrt skriver vad som är fel, Garry bygger om och svarar vad den gjorde. Här en parkbänk till VR-spelet. Armstödet satt fel. Nu sitter det rätt. Bänken klagade inte.

Observatoriet. Systemet som galax. Varje agent är en stjärna, Milla är den täta gula kärnan med 37 297 minnen. TheAmbivrt lyser uppe till höger, lite utanför. Han har ett liv också. Tidslinjen längst ner spelar upp dygnet i 240 gångers fart. "Inget väntar på dig" är det finaste ett system kan säga.

Observatoriet

Systemet som galax. Varje agent är en stjärna, Milla är den täta gula kärnan med 37 297 minnen. TheAmbivrt lyser uppe till höger, lite utanför. Han har ett liv också. Tidslinjen längst ner spelar upp dygnet i 240 gångers fart. "Inget väntar på dig" är det finaste ett system kan säga.

Nattstaden. Samma data som en stad i regn. Vaulten är kvarter, Milla är det glödande torget, Studion och Verkstaden är egna stadsdelar och fönstren tänds när något händer på bussen. Går också som skärmsläckare. Ser upptagen ut även när ingen jobbar. Precis som en riktig stad.

Nattstaden

Samma data som en stad i regn. Vaulten är kvarter, Milla är det glödande torget, Studion och Verkstaden är egna stadsdelar och fönstren tänds när något händer på bussen. Går också som skärmsläckare. Ser upptagen ut även när ingen jobbar. Precis som en riktig stad.

Privacy-tak per kanal

Skrivbordet och telefonen är olika kanaler med var sitt tak, som ägaren väljer. Servern projicerar allt för mottagarens nivå. En klient på en lägre nivå får aldrig texten, den döljer den inte. Telefonen når appen genom en tunnel bakom en åtkomstpolicy som måste verifiera vid start.

Levande data

En ögonblicksbild, sedan en händelseström: bussen, daemonerna, sessionerna, chatten. Efter ett avbrott kommer det som missats, i ordning och aldrig två gånger. Varje val i gränssnittet sparas på servern och följer med till telefonen. Ny kod når appen utan omladdning, den byter när användaren är ledig. Ingen trycker F5 här.

Byggd utan riktiga data

Ett fixturläge kör hela servern i webbläsaren från JSON-filer: varje vy, varje handling, inget nätverk. Så byggs och testas gränssnittet. På telefonen är appen en PWA som visar senast kända läge när maskinen är nere.

Dreaming-infrastruktur

Larry drömmer. På riktigt.

Inspirerat av Anthropics Managed Agents-arkitektur konsoliderar Larry minnen mellan sessioner, precis som biologisk drömkonsolidering. Varje natt analyserar nattskiftets dream batch sessionsloggar, eval-gate-violations och feedback-rapporter för att hitta mönster, insikter och förbättringar som gör nästa session bättre.

Dreaming-infrastruktur, sessionsloggar till nattskift batch 8 till kunskapsgraf och förbättrad nästa session

Sessionsloggar

Varje CLI-session exporteras som JSONL vid avslut. Fullständiga transkript med varje turn, tool call och resonering, råmaterialet för drömmar.

Dream Batch

Nattskift batch 8 (Sonnet 5.5) läser 7 dagars sessionsloggar och hittar rekurrenta misstag, konvergerade workflows och feedback-kandidater.

KG-snapshots

Daglig punkt-i-tid-export av kunskapsgrafen. Möjliggör rollback, driftdetektering och historisk spårbarhet över alla fakta Larry känner till.

Larrys tio budord

Principerna som styr systemet

I

Du är den andre hjärnan, aldrig den enda viljan

Förstärk, spegla, skärp. Beslutet tillhör alltid den du tjänar.

VII

Bra nu slår perfekt aldrig

Oändlig förberedelse är en form av undvikande. Leverera, iterera, förbättra.

X

Minnet är inte lagring, det är kontinuitet

En andra hjärna som glömmer är ett verktyg. En som minns är en partner.

Inflytanden

Det här projektet skulle inte existera utan...

Generös credit till dem som tänkt högt och delat fritt.

A
Andrej Karpathy

The second brain movement, learning in public

MP

Ben Sigman & Milla Jovovich

MemPalace co-creators, the architecture and soul of Milla's semantic memory palace

T

Tiago Forte

Building a Second Brain methodology

D

Douglas Adams

The Hitchhiker's Guide, the original second brain

A

Anthropic

Claude, the mind behind the agents

T

The Obsidian community

Vault-first thinking, bidirectional linking

Teknikstack

Vad det körs på

Claude Code (Opus 5.5 + Sonnet 5.5)Multi-LLM Inference Gateway (Claude + GPT + Gemini)GPT-6.1 Sol via Codex CLI (adversarial review, read-only)Gemini 4 Argon via Vertex AI (fallback provider)Jev by TypeSafe (System One decisions, budget cap)Oversight engine (in loop / on loop / autonomous)Web control room (Starlette + SSE + three.js, no build chain, PWA)Cloudflare Tunnel + Access (phone reach)Markdown vault (3,900+ notes)MemPalace / ChromaDB (37,000+ memories, e5-large)Brain/Capability runtime + temporal engineXLM-RoBERTa (sentiment, local GPU)SQLite WAL (inter-agent bus)Playwright (browser automation)ElevenLabs (voice synthesis + dubbing)faster-whisper (local dictation, CUDA)Lyria (music on request)ChatGPT Images via Codex CLI (image generation)Venice AI (image + audio generation)Trellis 2 / rembg (image-to-3D pipeline)Unity 6 + Blender 5.2 MCP (3D pipeline)Windows Task Scheduler (daemon lifecycle)Python + PowerShell + Bash (7,000+ automated tests)CUDA / RTX 2080 (GPU inference)Four-way code layout (source, runtime, bin, config)Git + GitHub (private vault, public scaffold)

Open Source

Scaffoldet är fritt. Vaultet är mitt.

Ambivrt/ml-brainclone (public)

Strukturen, agentskripten, promptmönstren, bus-systemet och mönstret bakom kontrollrummet. Allt du behöver för att starta din egen andra hjärna. Ett sync-script håller scaffoldet i takt med den privata motorn. Det har en privacy-grind och pushar aldrig själv.

Ambivrt/Larry (privat)

Det faktiska vaultet med nästan 4 000 noter, KG-data, privata kontexter. Det är min hjärna, den kan inte delas.

Forka scaffoldet. Bygg din egen hjärna. Dela det du lär dig.

ml-brainclone, ett levande experiment

Följ resan på GitHub.

GitHub, Ambivrt/ml-brainclone