Week 11 · Fase 4: Orkestreren CONSOLIDATIE

Trendmonitor: signaleren bij drempel

Mw-29 leerde Researcher + Notebook aanroepen. Mw-46 automatiseert met drempel-logica.

Tijd
20 min
Level
Level 4 🔥🔥🔥🔥
Drempel-archetypes
3
Minuten
20min
Vals-alarm
0doel
  • Researcher
  • Copilot Notebooks
Wat je leert

Reverse engineer de trendmonitor-keten: techniek is bekend, discipline is nieuw

Mw-29 bouwde een handmatige trendanalyse-keten: jij roept Researcher en Notebook aan op aanvraag. Mw-46 ontleedt hoe je die keten automatiseert en welk extra ingredient nodig is voor een autonome monitor die zelden vals-alarm geeft: drempel-logica.

Na zes agent-MWs is de techniek bekend. Wat ontbreekt bij een trendmonitor is de discipline die voorkomt dat hij een dagelijkse ruis-pomp wordt. Researcher is breed en vindt altijd iets; Notebook contextualiseert; maar zonder drempel heeft elk iets-gevonden-signaal dezelfde urgentie. Daarom krijgt de gebruiker alarm-moe en laat de monitor langzaam afsterven.

Researcher en Notebooks zijn complementair, niet uitwisselbaar: Researcher scant extern (markt, nieuws, publicaties) en levert brede signalen, Notebooks grondt intern (eigen documenten, historische data) en levert context. Beide tegelijk in een agent geven een trendsignaal dat extern geverifieerd en intern gecontextualiseerd is.

Consolidatie-MW: de vraag is niet 'kan ik een agent bouwen voor dit probleem' maar 'welke drempel-logica maakt dat deze agent bruikbare signalen geeft in plaats van alarm-moeheid'. Dat is de redeneerstap die je hier oefent.

De twee outputs

Dezelfde prompt, twee settings

Dezelfde Researcher plus Notebook. Het enige verschil: een schedule-trigger plus een expliciete drempel-gate.

Handmatige keten (mw-29 aanpak)
Je roept Researcher aan op aanvraag, grondt het resultaat in Notebook, leest patronen zelf. Drie dagen per zes weken trend-onderzoek, daartussenin stilte. Signalen die in de stille periode ontstaan, kom je pas six weken later tegen: dan zijn ze al uitontwikkeld.
Automatische Trendmonitor-agent met drempel-gate
Agent draait wekelijks op schedule. Stap 1: Researcher-query op jouw domein. Stap 2: check elk resultaat tegen Notebook voor interne context-relevantie. Stap 3: drempel-gate; alleen signalen die de drempel halen gaan door. Stap 4: alert-bericht per drempel-doorgekomen signaal met bron-URL. Als geen signaal de drempel haalt: post 'geen-drempel-alerts-deze-week' zodat je weet dat de agent gedraaid heeft.

Wat ontbreekt in de handmatige keten? Continuiteit, een drempel-oordeel, en een stil-bericht. Die drie elementen zijn precies wat de agent toevoegt; alleen het middelste is designwerk.

Reverse engineer

De prompts

De vergelijkings-prompt draai je twee keer met één verschil ertussen. De analyse-vraag lees je daarna om het verschil te benoemen. De toepassings-prompt brengt het principe naar je eigen werk.

Stap 2 : Drempel-logica-ontwerp-prompt
Ik wil een Trendmonitor-agent bouwen voor [domein]. Help me drempel-logica ontwerpen die alarm-moeheid voorkomt. Bedenk drie varianten. Variant A: eerste-verschijnen-drempel (alert alleen als iets nieuws verschijnt dat niet in mijn historie zit). Variant B: percentage-verandering-drempel (alert als een metric met meer dan [percentage] verandert binnen een week). Variant C: cumulatief-over-periodes-drempel (alert als drie weken achter elkaar dezelfde richting). Per variant: voor welk soort domein past hij, wat is de false-positive-rate in typische toepassing, welke metric moet beschikbaar zijn.
Waarom werkt dit

Deze prompt in Copilot Chat helpt je een drempel-keuze beredeneren voordat je bouwt. De drie varianten zijn archetype-drempel-types; je toepassing gebruikt er een of een combinatie. De false-positive-rate-vraag is kritiek: een drempel met tachtig procent vals-positives is een ramp voor je aandacht-boekje, wat voor de techniek ook mogelijk is.

Stap 3 : Trendmonitor-agent instructies met drempel-gate
Je bent een Trendmonitor-agent voor [domein]. Op elke schedule-trigger (wekelijks, donderdag-avond) voer je deze stappen uit. Stap 1: Researcher-query met [queries]; log wat je vindt. Stap 2: check elk Researcher-resultaat tegen Notebook [URL]: is dit onderwerp relevant voor ons aanbod. Stap 3: pas drempel-gate toe: [drempel-definitie uit stap 2 van het ontwerp]. Alleen signalen die de drempel halen gaan door naar stap 4. Stap 4: voor elk signaal dat door de drempel komt, formuleer een alert-bericht van maximaal drie zinnen met: (a) wat signaalt, (b) waarom relevant voor ons, (c) directe link naar bron. Output: post alleen drempel-doorgekomen alerts in [alert-kanaal-URL]. Als geen signaal drempel haalt, post expliciet 'geen-drempel-alerts-deze-week' zodat gebruiker weet dat de agent gedraaid heeft.
Waarom werkt dit

De geen-drempel-alerts-deze-week-message is niet optioneel; zonder die post denken gebruikers dat de agent is uitgevallen. Zo weten ze: de agent heeft gescand, drempel was niet gehaald, rustige week. Dat bouwt vertrouwen dat de stille weken terecht stil zijn. De drempel-gate als expliciete stap 3 voorkomt dat de agent 'interessante'-signalen doorlaat die drempel niet halen.

Varianten

Andere vergelijkings-dimensies

Dezelfde RE-beweging, andere as. Elke variant isoleert een andere variabele zodat je het principe breder kunt testen.

Vergelijken van drie drempel-varianten naast elkaar

Draai de drempel-ontwerp-prompt drie keer met elk een ander [domein]: jouw eigen monitoring-domein, een domein dat dichter bij disruptie-signalen zit (bv. techonologie-roadmap), en een domein met cyclische patronen (bv. campagne-kalender). Vergelijk de drie aanbevolen drempel-varianten. Bijna altijd kies je per domein een ander archetype. Dat laat zien dat de drempel-keuze domein-specifiek is, niet een eenmalige instelling.

Agent-instructies met twee-drempel-combinatie

Gebruik de agent-instructies-prompt maar definieer twee drempel-gates: een eerste-verschijnen-drempel voor categorie-shifts en een cumulatief-drempel voor schaal-trends. Alert alleen als een signaal door minstens een van de twee gates passeert. Dit geeft breedte (disruptie en schaal), maar verhoogt ook het alertvolume; evalueer na vier weken of de combinatie meer of minder alarm-moeheid geeft dan een enkele drempel.

ONTWERP JE DREMPEL

Kies drempel-archetype voor eigen domein

Twee oefeningen · 19 minuten · drempel plus agent-proof-of-concept

Discovery · Oefening 01

Wat isoleer je?

Variabele: drempel-type

Draai de oefening eerst met de standaardwaarde. Wijzig dan alleen deze variabele en draai opnieuw. Leg beide outputs naast elkaar; benoem de delta in één zin.

Jouw principe
Drie drempel-archetypes (eerste-verschijnen, percentage-verandering, cumulatief-over-periodes) passen bij drie trend-types (disruptie, schaal, richting). De fout is meestal niet in de agent-techniek maar in drempel-keuze: een percentage-drempel gebruiken waar eerste-verschijnen zou moeten, of andersom. Met drempel-type-bewustzijn wordt de agent-bouw een vrij eenvoudige volgstap.

Kies een monitoring-domein uit je eigen werk en ontwerp drie drempel-varianten. Kies er een en toets die op een retrospectief van de laatste drie maanden.

Werkblad 3 stappen
  1. Kies Stap 1 van 3

    Bepaal je monitoring-domein

    Denk aan het gebied dat je nu periodiek handmatig scant: markt, concurrentie, regelgeving, industrie-publicaties. Kies het domein waar je de meeste stilte-periodes hebt. Daar mis je nu signalen omdat je alleen in sprints kijkt. Noteer ook: hoe vaak scan je dit nu, en hoe lang duurt een handmatige scan?
  2. Ontwerp Stap 2 van 3

    Drie drempel-varianten via Copilot

    Gebruik de drempel-logica-ontwerp-prompt uit de prompts-sectie met jouw domein ingevuld. Vraag Copilot drie varianten te ontwerpen. Lees de false-positive-rate-indicatie per variant. Noteer welke variant het laagste false-positive-risico heeft voor jouw domein en waarom dat past bij het soort signalen dat jij zoekt.
  3. Toets Stap 3 van 3

    Retrospectief-toets op drie maanden

    Pas de gekozen drempel-regel toe op de afgelopen drie maanden in jouw domein. Hoeveel alerts had de regel geproduceerd? Hoeveel daarvan waren werkelijk actie-waardig? Als de ratio slecht is (veel alerts, weinig actie-waardig), is de drempel te laag. Als hij nagenoeg nul alerts produceert op een periode waar je weet dat trends speelden, is hij te hoog.

Hint: Als je retrospectief de drempel-regel toepast en hij had veel alerts geproduceerd die niet actie-waardig waren, is de drempel te laag. Als hij er geen of bijna geen zou produceren op een periode waar duidelijk trends speelden, is hij te hoog. Drempel is altijd een iteratie; de eerste zet hoeft niet perfect, wel bewust onderbouwd.

Bouw de Trendmonitor-agent in Copilot Studio met de drempel-regel uit oefening 1 en laat hem een keer draaien.

Werkblad 3 stappen
  1. Bouw Stap 1 van 3

    Agent-instructies invoeren met drempel-gate

    Open Copilot Studio. Maak een nieuwe declarative agent. Plak de agent-instructies-prompt uit de prompts-sectie in het instructie-veld. Vul in: jouw domein, de Researcher-queries, de Notebook-URL met jouw context-documenten, de drempel-definitie uit oefening 1, en het alert-kanaal-URL. De drempel-gate is stap 3 in de instructies. Controleer dat hij er expliciet in staat voor je verder gaat.
  2. Trigger Stap 2 van 3

    Schedule-trigger instellen en test-run draaien

    Stel in Copilot Studio de schedule-trigger in op wekelijks of tweewekelijks. Draai de agent handmatig een keer via de test-knop. Check in de Activity-tab of de drie stappen serieel doorlopen worden: Researcher-output zichtbaar, Notebook-check gedaan, drempel-gate toegepast. Als de agent direct alerts produceert terwijl je weet dat er niks relevant speelde, is de drempel te laag.
  3. Reflecteer Stap 3 van 3

    Alert-kwaliteit beoordelen

    Bekijk de alert-output in je alert-kanaal. Is de geen-drempel-alerts-bericht aanwezig als de drempel niet gehaald werd? Als de agent direct veel alerts stuurt: drempel te laag, aanpassen. Als hij niks alert terwijl je weet dat er relevants was: check eerst Researcher-query-formulering (te vaag?), daarna Notebook-inhoud (te weinig kerndocumenten?). Drempel-falen, query-falen en Notebook-falen zien er in output hetzelfde uit, maar de oplossing is per geval anders.

Hint: Als de agent bij de test-run direct alerts produceert terwijl er niks gebeurd is in je domein, is drempel te laag. Als hij niks alert terwijl er duidelijk iets relevants is, check eerst of Researcher de relevante bron kon vinden (query-formulering te vaag) en daarna of Notebook de context kon matchen (te weinig kerndocumenten in Notebook). Drempel-falen, query-falen en Notebook-falen lijken in gebruikers-output hetzelfde, maar de oplossing is per geval anders.

Waarom dit werkt

Waarom drempel-logica de kern is van een bruikbare trendmonitor

Na zes agent-MWs is de techniek bekend. Wat ontbreekt bij een trendmonitor is de discipline die voorkomt dat hij een dagelijkse ruis-pomp wordt: drempel-logica. Researcher is breed en vindt altijd iets; Notebook contextualiseert; maar zonder drempel heeft elk iets-gevonden-signaal dezelfde urgentie.

  • Geen drempel-definitie Elk gevonden artikel wordt een alert; na twee weken negeert de gebruiker alle alerts; alarm-moeheid en de monitor sterft af
  • Drempel te laag (bv. elk nieuw woord) Hoog alertvolume, lage actie-waarde; monitor wordt genegeerd, zelfde eindresultaat als geen drempel
  • Drempel passend bij trend-type Eerste-verschijnen voor disruptie, percentage-verandering voor schaal, cumulatief voor richting; elk archetype filtert de juiste ruis eruit
  • Geen stil-bericht bij nul-alerts Gebruikers denken dat de agent is uitgevallen; vertrouwen daalt; monitor wordt handmatig overgenomen: technisch werkend, gedragsmatig dood

Alle drie moeten kloppen voor de agent werkt: drempel-logica, alert-kanaal apart van reguliere chatter, en een expliciet geen-drempel-bericht voor stille weken. Het ontwerp-werk zit in de drempel; het bouwen is pas daarna.

Een monitor zonder drempel is een sensor zonder oordeel. Techniek bepaalt of hij kan scannen; discipline bepaalt of hij alert.

Alle drie moeten kloppen voor de agent werkt: drempel-logica, alert-kanaal apart van reguliere chatter, en een expliciet geen-drempel-bericht voor stille weken.

Tips

Tips die het verschil maken

Geen drempel is de meest voorkomende faalmodus Een Trendmonitor die elk gevonden-artikel als alert uitstuurt, is na twee weken uit. Drempel maken is expliciet werk: wat is een 'echt signaal' versus wat is 'rimpeling in de stroom'. Standaard drempel-types: een percentage (verandering boven twintig procent), een eerste-verschijnen (nieuwe term niet eerder gezien), een trend-over-periodes (drie weken stijgend). Zonder een van deze types is je agent een push-notificatie-generator, niet een monitor.

Researcher extern, Notebook intern, beide nodig Een goed trendsignaal is extern geverifieerd plus intern gecontextualiseerd. Researcher vindt een marktbeweging; Notebook plaatst die in de context van jouw eigen aanbod en documenten. Alleen Researcher geeft alarmen waar niks mee is omdat ze niet-relevant zijn voor jouw scope. Alleen Notebook mist externe signalen. Bouw de agent-instructies zodat beide bronnen elke scan deelnemen, en de synthese-stap combineert ze: wat heeft Researcher extern gevonden dat raakt aan wat Notebook intern als relevant markeert.

Alert-kanaal apart van gewone chatter Een agent die alerten post in een regulier Teams-kanaal of inbox raakt in het algemene lawaai onder. Creeer een specifiek alert-kanaal of een specifieke inbox-regel (bv. een label 'TrendAlert'). Daar komt alleen de agent-output binnen. Jij kijkt er twee keer per week doelgericht naar. Dat laat je drempel hoger zijn (want je mist niets) en voorkomt dat je in het gewone kanaal signaal-ruis-ratio verliest.

Let op

Wat vaak misgaat bij reverse engineering

Morgen anders

Kies een monitoring-domein en schrijf de drempel-regel op papier

Kies een monitoring-domein. Formuleer de drempel-regel op papier voor je de agent opent; drempel-definitie is het eigenlijke werk, het bouwen is pas daarna.

  1. Kies een monitoring-domein uit je eigen werk waar je nu periodiek handmatig scant.
  2. Formuleer de drempel-regel als een zin: 'Alert als [concrete voorwaarde]'. Schrijf hem op voor je Copilot Studio opent.
  3. Check of jouw domein past bij eerste-verschijnen, percentage-verandering of cumulatief-over-periodes. Kies het archetype dat het laagste false-positive-risico geeft.
  4. Bepaal je alert-kanaal: een afzonderlijk Teams-kanaal of inbox-label dat niet overloopt met reguliere chatter.
  5. Pas daarna de agent-instructies-prompt in, bouw de agent, en plan de eerste schedule-run.

Na vier weken: tel hoeveel alerts de agent heeft geproduceerd en hoeveel actie-waardig waren. Als de ratio onder vijftig procent ligt, is de drempel te laag. Pas aan en evalueer opnieuw na vier weken.

Check jezelf
Kernboodschap

Drempel-logica is de kern van een bruikbare trendmonitor: eerste-verschijnen, percentage-verandering, of cumulatief-over-periodes. Zonder drempel ontstaat alarm-moeheid en de monitor sterft af.

Inleveren

Lever je werk in

Kies wat je wil inleveren voor MW-46.

Rubric
Output
Reflectie
Morgen
Rubric

Werkt het bij jou?

Drie korte vragen op je eigen output.