Tijdens de module "Model-Based AI" heb ik mij verder verdiept in de wereld van Answer Set Programming (ASP). Onderdeel van de module is het uitvoeren van een project, waarin ik samen met medestudenten de mogelijkheden van iteratieve feedback loops in LLMs heb onderzocht voor het genereren van ASP code.
Het onderzoek verkent hoe grote taalmodellen (LLM’s) beter ASP-programma’s (Answer Set Programming) kunnen genereren door een iteratieve feedbacklus toe te voegen die automatisch syntaxisfouten detecteert via Clingo. Waar eerdere systemen ASP-code in één keer genereerden, introduceert dit werk een extra “Repair LLM” dat elke foutieve regel binnen maximaal vijf pogingen probeert te herstellen op basis van foutmeldingen. In experimenten met vier planningsproblemen en twee modellen (Llama-3-8B en Qwen2.5-7B) laat de aanpak zien dat syntactische nauwkeurigheid substantieel toeneemt - bij Qwen zelfs van 71% naar 91%. De resultaten onderstrepen dat vooral generator- en constraint-regels profiteren van iteratieve reparaties.
Tegelijkertijd tonen de resultaten dat semantische correctheid nauwelijks verbetert, ondanks de syntactische winst; de verhouding tussen semantisch correcte en syntactisch correcte regels daalt zelfs licht. Dat betekent dat de reparaties de vorm verbeteren, maar niet noodzakelijk de betekenis. We concluderen daarom dat iteratieve feedback een veelbelovende richting is voor ASP-generatie, maar dat aanvullend onderzoek nodig is naar semantische feedback, betere prompt-strategieën, variaties in parameters en toepassing op bredere datasets.
Enkele bestanden die je kan downloaden.
Ctrl+Z for LLMs: Iterative Syntax Feedback for ASP Code Generation