De meeste AI-agents falen op data, niet op het model. Ze halen het verkeerde document op, lekken een record dat de gebruiker niet mag zien, of laten een taalmodel een getal verzinnen dat juist klinkt. We bouwden acht praktische NebulaDB Labs en een werkende Visa AI Agent om te laten zien hoe u die laag goed krijgt. Dit artikel loopt door wat we bouwden, wat we maten en wat we leerden. De volledige technische gids bevat elke query, elk plan en elk resultaat.
Het idee: de data, zoekfunctie en modelaanroepen van de agent op één plek
Clouddatabases zoals AlloyDB AI van Google hebben het duidelijk gemaakt: een AI-applicatie is makkelijker te bouwen wanneer de database de vector search, de embeddings en de modelaanroepen doet, dicht bij de operationele data. We zijn het met dat idee eens. NebulaDB is onze opensource-invulling ervan, één Rust-binary die u op uw eigen hardware kunt draaien:
- Documenten met metadata, bij het schrijven ge-embed door een inplugbare embedder (wij draaien
nomic-embed-text, 768 dimensies). - Vector-, keyword- (BM25) en hybride zoeken via één endpoint.
- SQL met betekenis:
semantic_match(text, '…')naast gewone filters zoalsmin_age <= 55, via REST of het Postgres-wireprotocol. - Een LLM-gateway (
/api/v1/ai/chat) die chat, redeneren en samenvatten naar het model stuurt dat u configureert. - Een MCP-server, zodat agents zoals Claude SQL, zoeken en RAG als tools kunnen aanroepen.
Onze productie-instantie bevat 8,3 miljoen documenten. De Labs draaien op diezelfde server, elk in een eigen kleine bucket.
Acht Labs, acht bedrijven, één database
Elk Lab leert één idee in twee tot vijf minuten en draait tegen een echte NebulaDB. Er zijn geen opnames en geen ingeblikte getallen. U kiest een bedrijfs-"pack" (een scholenstichting, een zorggroep, een teamchat van een logistiek bedrijf, een nieuwsredactie, een B2B-leverancier, kleine Britse bedrijven met belastingnotities, Indiase boeren die in het Hindi en Punjabi vragen stellen, of een Thais visumbureau) en het Lab vult bij het eerste gebruik de documenten van dat pack. Alle data is verzonnen.
- Betekenis versus woorden: dezelfde vraag via BM25, vector search en hybride zoeken, naast elkaar.
- Modelvergelijking: hit@1, hit@5 en MRR voor elke retriever over een gelabelde vragenset.
- Filters die ertoe doen: semantisch zoeken plus metadatafilters in één SQL-statement, met
EXPLAIN ANALYZE. - RAG, stap voor stap: veiligheidsregels, dan retrieval, dan genummerde bronnen, dan hetzelfde model twee keer gevraagd, één keer zonder de bronnen en één keer met.
- Redeneren over de data: een plan in meerdere stappen waarin elke stap een live SQL-query is.
- Wanneer nee zeggen: weigeringsregels, toegangsfilters per gebruiker en relevantiedrempels, gescoord op een confusion matrix.
- Opschalen: een HNSW-
ef-sweep die latency inruilt tegen overeenstemming. - Zie de ruimte: embeddings in uw browser geprojecteerd naar 2D.
Wat we maten: hybride zoeken wint niet altijd
Op 8 november 2026 draaiden we de gelabelde vragen van elk pack tegen productie-NebulaDB en registreerden we hit@1, het aandeel vragen waarvan het juiste document als eerste terugkwam:
| Bedrijfspack | BM25 | Vector | Hybride |
|---|---|---|---|
| Scholenstichting en universiteit | 59% | 74% | 89% |
| Zorginstellingen | 62% | 88% | 73% |
| Thais visumbureau | 42% | 71% | 65% |
| Kleine bedrijven en belasting | 58% | 62% | 77% |
| Boeren (Engels, Hindi, Punjabi) | 42% | 32% | 48% |
Hier kwamen twee lessen uit. Ten eerste hangt de beste retriever af van het bedrijf: hybride zoeken won voor de school en het belastingpack, terwijl gewone vector search won voor zorginstellingen en visa. Meet voordat u kiest. Ten tweede heeft een op het Engels gerichte embedder moeite met Hindi en Punjabi, en geen enkele hoeveelheid prompt engineering lost dat op. De oplossing is een meertalige embedder. Deze vragensets zijn klein (26 tot 55 vragen per stuk), dus behandel ze als smoke tests, niet als benchmarks.
De Visa AI Agent: laat code beslissen, laat het model schrijven
De Visa AI Agent beantwoordt vragen voor "Lotus Gate", een fictief Thais visumbureau, met 138 documenten: 32 visumtypen verdeeld over 21 routes, plus regels, processen, tarieven, kantoren en vertrouwelijke dossiernotities van klanten. De ontwerpregel is eenvoudig: het taalmodel beslist nooit wat er wordt opgevraagd. Kleine lokale modellen volgen instructies voor tool-aanroepen niet betrouwbaar, dus gewone code doet vier taken:
- Het leest de leeftijd, het spaargeld, het inkomen en het doel van de aanvrager uit het bericht.
- Het voert eerst de veiligheidsregels uit. Een verzoek om een vals bankafschrift krijgt een vast antwoord, en er wordt geen model aangeroepen.
- Het kiest de tools en schrijft de SQL zelf, zoals deze echte Visa Finder-query:
SELECT * FROM lab_visa
WHERE semantic_match(text, 'I''m 55, British, with 900k THB savings and want to retire in Chiang Mai')
AND kind = 'visa_type'
AND min_age <= 55
AND min_funds_thb <= 900000
AND array_contains(purpose, 'retire')
LIMIT 200
In productie leverde dit precies drie routes op in ongeveer 100 ms: de Non-O van 90 dagen voor pensionering, de Non-O-A van één jaar en Thailand Privilege. De visumkaarten op het scherm worden opgebouwd uit die SQL-rijen, niet uit het proza van het model.
- Het controleert het antwoord. Elk getal in het antwoord van het model moet in een bron voorkomen.
Die laatste controle bewees haar waarde. Met het productiemodel van 3 miljard parameters adviseerde één antwoord het juiste visum, maar "berekende" het ook een maandinkomen van 75.000 THB door het spaargeld door 12 te delen. Geen enkele bron zegt dat. Van vier runs bevatten er twee een getal dat in geen enkele bron voorkomt, en de controle markeerde beide. Met dezelfde bronnen schreef een model van 30 miljard parameters een correcte vergelijking van vijf routes, met bronvermelding. De SQL, de kaarten en de controles waren in elke run identiek. Alleen de schrijfkwaliteit veranderde.
Privédata blijft in de database
Een ongefilterde hybride zoekopdracht naar "I want to retire in Chiang Mai, I am 55" leverde op plaats twee een vertrouwelijke dossiernotitie over een andere klant op. Retrieval gaat over relevantie, niet over rechten. In NebulaDB is de oplossing een filter binnen de query, AND client_id = 'LG-1042', zodat rijen buiten de scope van de ingelogde gebruiker de database nooit verlaten. Anonieme bezoekers zien alleen openbare documenten. We leerden dit op de harde manier: de eerste regelzoekopdracht van de agent was gewoon hybride zoeken, en we ontdekten die dossiernotitie in het bewijs voor een gast terwijl we dit artikel schreven. Eén predicaat client_id = 'public' loste het op.
Wanneer de overheid de regels verandert
Visumregels veranderen vaak, en dat is het sterkste argument voor RAG boven finetuning. Het paneel "The rules changed" in het RAG-Lab neemt een gesimuleerde wijziging van een officiële pagina opnieuw in, onder hetzelfde document-id, en stelt de vraag opnieuw. Het volgende antwoord citeert de nieuwe regel, en er wordt geen model opnieuw getraind. In productie wordt dit een geplande crawler. Die hasht elke officiële pagina, upsert de gewijzigde tekst met de bijbehorende source en as_of-datum, en laat de agent de update bij de volgende vraag citeren.
Probeer het, en bouw daarna uw eigen
- De Labs: showcase.nebuladb.net/#/labs. Log in met een Google-account.
- De Visa AI Agent: showcase.nebuladb.net/#/tab/visaagent.
- De code: github.com/bwalia/nebuladb, inclusief de Labs onder
apps/showcase/src/labs/. - De verdieping: AI-agents bouwen met NebulaDB: de technische gids.
Wilt u een agent als deze over uw eigen documenten, met uw eigen toegangsregels, op hardware die u zelf beheert? Neem contact met ons op; we beginnen met een pack van uw data in Lab-stijl en meten de retrieval voordat we ook maar één prompt schrijven.
De visuminhoud in de demo is fictief en vereenvoudigd. Regels veranderen vaak, dus controleer dit bij de Thaise immigratiedienst of een Thaise ambassade. Dit is geen juridisch advies.