Retrieved document chunks is dependent on LLM in combination with Langchain

Description

I have created a RAG application with weaviate as vectorstore, embedding=“BAAI/bge-base-en-v1.5”. I have split some Dutch text using the RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200, add_start_index=True).

retriever =vector_store.as_retriever(search_kwargs={“k”:5,“score_threshold”:0.6},search_type=‘similarity_score_threshold’)

When I tested with openai gpt4o-mini, gemini-1.5-flash, gemini-1.5-pro and asks the following question: “wie betaalt de pgb voor de wmo?” I get the following wrong answer: “Ik weet niet wie de pgb voor de Wmo betaalt.” If I asks the same question using gpt-4o then I get the correct answer: “De gemeente betaalt het persoonsgebonden budget (pgb) niet direct aan u, maar aan de Sociale Verzekeringsbank (SVB). De SVB beheert het geld en betaalt uw zorgaanbieder achteraf, aan het eind van de maand, nadat u de facturen heeft gecontroleerd en opdracht heeft gegeven om te betalen”.
If I print the response using the retriever: retriever.invoke(input=“wie betaalt de pgb voor de wmo?”) , without submitting to the LLM, I see 5 retrieved document chunks about the information regarding the “PGB” and which organization is paying it. The correct answer (SVB) are inside the 5 retrieved chunks. (see attachment for the results)

I don’t understand the inconsistency and why the retrieved chunks are NOT used when I am not using gpt4-o… See attachments of the results of the retrieved chunks when using gpt4o-mini (no info about SVB) but the info is available when using gpt4-o. How is this possible? I thought the retrieved document chunks are being used and together with the question submitted as input for the LLM… Maybe its not weaviate related, but I suppose I am not the only one using RAG with weaviate and langchain.

Server Setup Information

  • Weaviate Server Version: 24.0.6
  • Deployment Method: docker
  • Multi Node? Number of Running Nodes: 1
  • Client Language and Version: 4.6.5
  • Multitenancy?: NO

Any additional Information

Versions of libraries used:

  1. langchain 0.2.6
  2. langchain-cli 0.0.25
  3. langchain-community 0.2.6
  4. langchain-core 0.2.11
  5. langchain-experimental 0.0.62
  6. langchain-google-genai 1.0.7
  7. langchain-openai 0.1.14
  8. langchain-text-splitters 0.2.2
  9. langchain-weaviate 0.0.2
  10. weaviate-client 4.6.5

python 3.11

results output from different LLM+retriever only


LLM=gpt-o-mini
user_query: wie betaalt de pgb voor de wmo?
model=gpt-4o-mini, model_type=openai
[{‘chat_history’: [AIMessage(content=‘Goede dag, ik ben uw virtuele assistent. Waarmee kan ik u helpen?’), HumanMessage(content=‘wie betaalt de pgb voor de wmo?’)], ‘input’: ‘wie betaalt de pgb voor de wmo?’}, {‘context’: [Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 25572.0}, page_content=“Regels en wetten, hoe zit het eigenlijk?\n\n * ## Persoonsgebonden budget\n\nEen persoonsgebonden budget (pgb) is een bedrag waarmee u zelf zorg kunt\ninkopen.\n\n * ## Eigen bijdrage Wmo\n\nU betaalt een eigen bijdrage voor de meeste voorzieningen vanuit de Wmo.\n\n## Heeft u hulp nodig?\n\n### Kom langs\n\n Kennedystraat 2a, 5427 CJ Boekel\n\nAlleen op afspraak geopend\n\n### Bereik ons\n\n Bel: 0492-328383\n\n info@dorpsteamboekel.nl\n\nNu niet bereikbaar. \nMorgen: 9.00 - 12.00 uur\n\n\n 1. Home\n 2. Thema’s\n 3. Jeugd en gezin\n\n# Jeugd en gezin”), Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 119220.0}, page_content=“Regels en wetten, hoe zit het eigenlijk?\n\n * ## Persoonsgebonden budget\n\nEen persoonsgebonden budget (pgb) is een bedrag waarmee u zelf zorg kunt\ninkopen.\n\n * ## Eigen bijdrage Wmo\n\nU betaalt een eigen bijdrage voor de meeste voorzieningen vanuit de Wmo.\n\n## Heeft u hulp nodig?\n\n### Kom langs\n\n Kennedystraat 2a, 5427 CJ Boekel\n\nAlleen op afspraak geopend\n\n### Bereik ons\n\n Bel: 0492-328383\n\n info@dorpsteamboekel.nl\n\nNu niet bereikbaar. \nMorgen: 9.00 - 12.00 uur\n\n\n 1. Home\n 2. Thema’s\n 3. Zorg en ondersteuning\n\n# Zorg en ondersteuning\n\nUw gezondheid is erg belangrijk. Daar wilt u goed voor zorgen. Maar soms lukt\nu dat niet alleen. Bijvoorbeeld omdat u (chronisch) ziek bent, hulpbehoevend\nwordt, een beperking heeft of psychische bijstand nodig heeft. Als het om uw\ngezondheid gaat, is het belangrijk dat u snel de juiste ondersteuning krijgt.”), Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 619687.0}, page_content=“Bel: 0492-328383\n\n info@dorpsteamboekel.nl\n\nNu niet bereikbaar. \nMorgen: 9.00 - 12.00 uur\n\n\n 1. Home\n 2. Thema’s\n 3. Zorg en ondersteuning\n 4. Eigen bijdrage Wmo\n\n# Eigen bijdrage Wmo\n\nU betaalt een eigen bijdrage voor alle voorzieningen vanuit de Wmo, behalve\nvoor rolstoelen, regiotaxi en voor hulpmiddelen voor kinderen tot 18 jaar.\nKrijgt u een persoonsgebonden budget (PGB)? Dan betaalt u ook een eigen\nbijdrage.\n\n## Hoogte van de eigen bijdrage\n\nU betaalt maximaal € 19,00 per maand, per huishouden. Vanaf 1 januari 2024\nwijzigt dit bedrag naar € 20,60. U krijgt hiervoor een rekening van het CAK. U\nbetaalt de eigen bijdrage zolang u de voorziening hebt. Maar u betaalt in\ntotaal nooit meer dan de prijs die de gemeente betaalt voor de voorziening.\n\n## Wanneer hoeft u niet te betalen?”), Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 151859.0}, page_content=“Bel: 0492-328383\n\n info@dorpsteamboekel.nl\n\nNu niet bereikbaar. \nMorgen: 9.00 - 12.00 uur\n\n\n 1. Home\n 2. Thema’s\n 3. Zorg en ondersteuning\n 4. Eigen bijdrage Wmo\n\n# Eigen bijdrage Wmo\n\nU betaalt een eigen bijdrage voor alle voorzieningen vanuit de Wmo, behalve\nvoor rolstoelen, regiotaxi en voor hulpmiddelen voor kinderen tot 18 jaar.\nKrijgt u een persoonsgebonden budget (PGB)? Dan betaalt u ook een eigen\nbijdrage.\n\n## Hoogte van de eigen bijdrage\n\nU betaalt maximaal € 19,00 per maand, per huishouden. Vanaf 1 januari 2024\nwijzigt dit bedrag naar € 20,60. U krijgt hiervoor een rekening van het CAK. U\nbetaalt de eigen bijdrage zolang u de voorziening hebt. Maar u betaalt in\ntotaal nooit meer dan de prijs die de gemeente betaalt voor de voorziening.\n\n## Wanneer hoeft u niet te betalen?”), Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 616306.0}, page_content=“info@dorpsteamboekel.nl\n\nNu niet bereikbaar. \nMorgen: 9.00 - 12.00 uur\n\n\n 1. Home\n 2. Thema’s\n 3. Zorg en ondersteuning\n 4. Persoonsgebonden budget\n\n# Persoonsgebonden budget (PGB)\n\nEen persoonsgebonden budget (pgb) is een bedrag waarmee u zelf zorg kunt\ninkopen. Dat geeft meer vrijheid dan bij zorg in natura. Het gebruik maken van\neen pgb brengt ook een aantal verplichtingen met zich mee.\n\n## Voorwaarden voor een Wmo-pgb\n\nWilt u zelf ondersteuning inkopen met een pgb? Daarvoor gelden de volgende\nvoorwaarden:\n\n * U kunt het budget beheren;\n * U kunt zelf ondersteuning inkopen en hulpverleners aansturen (u mag ook iemand machtigen om dit voor u te doen);\n * U koopt ‘doeltreffende’ ondersteuning in (ondersteuning is doeltreffend als u er zelfstandiger door kunt leven);\n * De ondersteuning moet cliëntgericht en veilig zijn;\n * U kunt motiveren (uitleggen) waarom u zelf ondersteuning wilt inkopen met een pgb.\n\n## Hoe gaat het met betalen van het pgb?”)]}, {‘answer’: ‘’}, {‘answer’: ‘Ik’}, {‘answer’: ’ weet’}, {‘answer’: ’ niet’}, {‘answer’: ’ wie’}, {‘answer’: ’ de’}, {‘answer’: ’ p’}, {‘answer’: ‘gb’}, {‘answer’: ’ voor’}, {‘answer’: ’ de’}, {‘answer’: ’ W’}, {‘answer’: ‘mo’}, {‘answer’: ’ betaalt’}, {‘answer’: ‘.’}, {‘answer’: ‘’}]
response:
** Ik weet niet wie de pgb voor de Wmo betaalt.**

LLM=gpt-4o
user_query: wie betaalt de pgb voor de wmo?
model=gpt-4o, model_type=openai
[{‘chat_history’: [AIMessage(content=‘Goede dag, ik ben uw virtuele assistent. Waarmee kan ik u helpen?’), HumanMessage(content=‘wie betaalt de pgb voor de wmo?’)], ‘input’: ‘wie betaalt de pgb voor de wmo?’}, {‘context’: [Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 151859.0}, page_content=“Bel: 0492-328383\n\n info@dorpsteamboekel.nl\n\nNu niet bereikbaar. \nMorgen: 9.00 - 12.00 uur\n\n\n 1. Home\n 2. Thema’s\n 3. Zorg en ondersteuning\n 4. Eigen bijdrage Wmo\n\n# Eigen bijdrage Wmo\n\nU betaalt een eigen bijdrage voor alle voorzieningen vanuit de Wmo, behalve\nvoor rolstoelen, regiotaxi en voor hulpmiddelen voor kinderen tot 18 jaar.\nKrijgt u een persoonsgebonden budget (PGB)? Dan betaalt u ook een eigen\nbijdrage.\n\n## Hoogte van de eigen bijdrage\n\nU betaalt maximaal € 19,00 per maand, per huishouden. Vanaf 1 januari 2024\nwijzigt dit bedrag naar € 20,60. U krijgt hiervoor een rekening van het CAK. U\nbetaalt de eigen bijdrage zolang u de voorziening hebt. Maar u betaalt in\ntotaal nooit meer dan de prijs die de gemeente betaalt voor de voorziening.\n\n## Wanneer hoeft u niet te betalen?”), Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 619687.0}, page_content=“Bel: 0492-328383\n\n info@dorpsteamboekel.nl\n\nNu niet bereikbaar. \nMorgen: 9.00 - 12.00 uur\n\n\n 1. Home\n 2. Thema’s\n 3. Zorg en ondersteuning\n 4. Eigen bijdrage Wmo\n\n# Eigen bijdrage Wmo\n\nU betaalt een eigen bijdrage voor alle voorzieningen vanuit de Wmo, behalve\nvoor rolstoelen, regiotaxi en voor hulpmiddelen voor kinderen tot 18 jaar.\nKrijgt u een persoonsgebonden budget (PGB)? Dan betaalt u ook een eigen\nbijdrage.\n\n## Hoogte van de eigen bijdrage\n\nU betaalt maximaal € 19,00 per maand, per huishouden. Vanaf 1 januari 2024\nwijzigt dit bedrag naar € 20,60. U krijgt hiervoor een rekening van het CAK. U\nbetaalt de eigen bijdrage zolang u de voorziening hebt. Maar u betaalt in\ntotaal nooit meer dan de prijs die de gemeente betaalt voor de voorziening.\n\n## Wanneer hoeft u niet te betalen?”), Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 618936.0}, page_content=“## Hoe gaat het met betalen van het pgb?\n\n * De gemeente betaalt het pgb niet direct aan u, maar aan de SVB. De SVB beheert het geld.\n * U controleert zelf de facturen van uw zorgaanbieder. En geeft zelf opdracht aan de SVB om te betalen.\n * De SVB controleert de facturen van uw zorgaanbieder aan de hand van uw zorgovereenkomst.\n * Is alles volgens afspraak? Dan betaalt de SVB uw zorgaanbieder achteraf, aan het eind van de maand uit.\n * De SVB meldt bij de belastingdienst welke zorgaanbieder(s) zij hebben betaald uit uw pgb en hoeveel.\n * U kunt uw saldo en betalingen nakijken op de website van de SVB via ‘Mijn pgb’.\n\n## Heeft u hulp nodig?\n\n### Kom langs\n\n Kennedystraat 2a, 5427 CJ Boekel\n\nAlleen op afspraak geopend\n\n### Bereik ons\n\n Bel: 0492-328383\n\n info@dorpsteamboekel.nl\n\nNu niet bereikbaar. \nMorgen: 9.00 - 12.00 uur\n\n\n 1. Home\n 2. Thema’s\n 3. Zorg en ondersteuning\n 4. Eigen bijdrage Wmo\n\n# Eigen bijdrage Wmo”), Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 151108.0}, page_content=“## Hoe gaat het met betalen van het pgb?\n\n * De gemeente betaalt het pgb niet direct aan u, maar aan de SVB. De SVB beheert het geld.\n * U controleert zelf de facturen van uw zorgaanbieder. En geeft zelf opdracht aan de SVB om te betalen.\n * De SVB controleert de facturen van uw zorgaanbieder aan de hand van uw zorgovereenkomst.\n * Is alles volgens afspraak? Dan betaalt de SVB uw zorgaanbieder achteraf, aan het eind van de maand uit.\n * De SVB meldt bij de belastingdienst welke zorgaanbieder(s) zij hebben betaald uit uw pgb en hoeveel.\n * U kunt uw saldo en betalingen nakijken op de website van de SVB via ‘Mijn pgb’.\n\n## Heeft u hulp nodig?\n\n### Kom langs\n\n Kennedystraat 2a, 5427 CJ Boekel\n\nAlleen op afspraak geopend\n\n### Bereik ons\n\n Bel: 0492-328383\n\n info@dorpsteamboekel.nl\n\nNu niet bereikbaar. \nMorgen: 9.00 - 12.00 uur\n\n\n 1. Home\n 2. Thema’s\n 3. Zorg en ondersteuning\n 4. Eigen bijdrage Wmo\n\n# Eigen bijdrage Wmo”), Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 615005.0}, page_content=“## Voorwaarden voor een Wmo-pgb\n\nWilt u zelf ondersteuning inkopen met een pgb? Daarvoor gelden de volgende\nvoorwaarden:\n\n * U kunt het budget beheren;\n * U kunt zelf ondersteuning inkopen en hulpverleners aansturen (u mag ook iemand machtigen om dit voor u te doen);\n * U koopt ‘doeltreffende’ ondersteuning in (ondersteuning is doeltreffend als u er zelfstandiger door kunt leven);\n * De ondersteuning moet cliëntgericht en veilig zijn;\n * U kunt motiveren (uitleggen) waarom u zelf ondersteuning wilt inkopen met een pgb.\n\n## Hoe gaat het met betalen van het pgb?”)]}, {‘answer’: ‘’}, {‘answer’: ‘De’}, {‘answer’: ’ gemeente’}, {‘answer’: ’ betaalt’}, {‘answer’: ’ het’}, {‘answer’: ’ persoons’}, {‘answer’: ‘geb’}, {‘answer’: ‘onden’}, {‘answer’: ’ budget’}, {‘answer’: ’ (‘}, {‘answer’: ‘pg’}, {‘answer’: ‘b’}, {‘answer’: ‘)’}, {‘answer’: ’ niet’}, {‘answer’: ’ direct’}, {‘answer’: ’ aan’}, {‘answer’: ’ u’}, {‘answer’: ‘,’}, {‘answer’: ’ maar’}, {‘answer’: ’ aan’}, {‘answer’: ’ de’}, {‘answer’: ’ Sociale’}, {‘answer’: ’ Ver’}, {‘answer’: ‘zek’}, {‘answer’: ‘erings’}, {‘answer’: ‘bank’}, {‘answer’: ’ (‘}, {‘answer’: ‘SV’}, {‘answer’: ‘B’}, {‘answer’: ‘).’}, {‘answer’: ’ De’}, {‘answer’: ’ SV’}, {‘answer’: ‘B’}, {‘answer’: ’ behe’}, {‘answer’: ‘ert’}, {‘answer’: ’ het’}, {‘answer’: ’ geld’}, {‘answer’: ’ en’}, {‘answer’: ’ betaalt’}, {‘answer’: ’ uw’}, {‘answer’: ’ zorg’}, {‘answer’: ‘aan’}, {‘answer’: ‘b’}, {‘answer’: ‘ieder’}, {‘answer’: ’ achter’}, {‘answer’: ‘af’}, {‘answer’: ‘,’}, {‘answer’: ’ aan’}, {‘answer’: ’ het’}, {‘answer’: ’ eind’}, {‘answer’: ’ van’}, {‘answer’: ’ de’}, {‘answer’: ’ maand’}, {‘answer’: ‘,’}, {‘answer’: ’ nadat’}, {‘answer’: ’ u’}, {‘answer’: ’ de’}, {‘answer’: ’ fact’}, {‘answer’: ‘uren’}, {‘answer’: ’ heeft’}, {‘answer’: ’ gecontrole’}, {‘answer’: ‘erd’}, {‘answer’: ’ en’}, {‘answer’: ’ opdracht’}, {‘answer’: ’ heeft’}, {‘answer’: ’ gegeven’}, {‘answer’: ’ om’}, {‘answer’: ’ te’}, {‘answer’: ’ betalen’}, {‘answer’: ‘.’}, {‘answer’: ‘’}]
response:
De gemeente betaalt het persoonsgebonden budget (pgb) niet direct aan u, maar aan de Sociale Verzekeringsbank (SVB). De SVB beheert het geld en betaalt uw zorgaanbieder achteraf, aan het eind van de maand, nadat u de facturen heeft gecontroleerd en opdracht heeft gegeven om te betalen.

asking using the retriever without submitting to the LLM:frowning:retriever =vector_store.as_retriever(search_kwargs={“k”:5,“score_threshold”:0.6},search_type=‘similarity_score_threshold’)
[Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 151859.0}, page_content=“Bel: 0492-328383\n\n info@dorpsteamboekel.nl\n\nNu niet bereikbaar. \nMorgen: 9.00 - 12.00 uur\n\n\n 1. Home\n 2. Thema’s\n 3. Zorg en ondersteuning\n 4. Eigen bijdrage Wmo\n\n# Eigen bijdrage Wmo\n\nU betaalt een eigen bijdrage voor alle voorzieningen vanuit de Wmo, behalve\nvoor rolstoelen, regiotaxi en voor hulpmiddelen voor kinderen tot 18 jaar.\nKrijgt u een persoonsgebonden budget (PGB)? Dan betaalt u ook een eigen\nbijdrage.\n\n## Hoogte van de eigen bijdrage\n\nU betaalt maximaal € 19,00 per maand, per huishouden. Vanaf 1 januari 2024\nwijzigt dit bedrag naar € 20,60. U krijgt hiervoor een rekening van het CAK. U\nbetaalt de eigen bijdrage zolang u de voorziening hebt. Maar u betaalt in\ntotaal nooit meer dan de prijs die de gemeente betaalt voor de voorziening.\n\n## Wanneer hoeft u niet te betalen?”), Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 619687.0}, page_content=“Bel: 0492-328383\n\n info@dorpsteamboekel.nl\n\nNu niet bereikbaar. \nMorgen: 9.00 - 12.00 uur\n\n\n 1. Home\n 2. Thema’s\n 3. Zorg en ondersteuning\n 4. Eigen bijdrage Wmo\n\n# Eigen bijdrage Wmo\n\nU betaalt een eigen bijdrage voor alle voorzieningen vanuit de Wmo, behalve\nvoor rolstoelen, regiotaxi en voor hulpmiddelen voor kinderen tot 18 jaar.\nKrijgt u een persoonsgebonden budget (PGB)? Dan betaalt u ook een eigen\nbijdrage.\n\n## Hoogte van de eigen bijdrage\n\nU betaalt maximaal € 19,00 per maand, per huishouden. Vanaf 1 januari 2024\nwijzigt dit bedrag naar € 20,60. U krijgt hiervoor een rekening van het CAK. U\nbetaalt de eigen bijdrage zolang u de voorziening hebt. Maar u betaalt in\ntotaal nooit meer dan de prijs die de gemeente betaalt voor de voorziening.\n\n## Wanneer hoeft u niet te betalen?”), Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 151108.0}, page_content=“## Hoe gaat het met betalen van het pgb?\n\n * De gemeente betaalt het pgb niet direct aan u, maar aan de SVB. De SVB beheert het geld.\n * U controleert zelf de facturen van uw zorgaanbieder. En geeft zelf opdracht aan de SVB om te betalen.\n * De SVB controleert de facturen van uw zorgaanbieder aan de hand van uw zorgovereenkomst.\n * Is alles volgens afspraak? Dan betaalt de SVB uw zorgaanbieder achteraf, aan het eind van de maand uit.\n * De SVB meldt bij de belastingdienst welke zorgaanbieder(s) zij hebben betaald uit uw pgb en hoeveel.\n * U kunt uw saldo en betalingen nakijken op de website van de SVB via ‘Mijn pgb’.\n\n## Heeft u hulp nodig?\n\n### Kom langs\n\n Kennedystraat 2a, 5427 CJ Boekel\n\nAlleen op afspraak geopend\n\n### Bereik ons\n\n Bel: 0492-328383\n\n info@dorpsteamboekel.nl\n\nNu niet bereikbaar. \nMorgen: 9.00 - 12.00 uur\n\n\n 1. Home\n 2. Thema’s\n 3. Zorg en ondersteuning\n 4. Eigen bijdrage Wmo\n\n# Eigen bijdrage Wmo”), Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 618936.0}, page_content=“## Hoe gaat het met betalen van het pgb?\n\n * De gemeente betaalt het pgb niet direct aan u, maar aan de SVB. De SVB beheert het geld.\n * U controleert zelf de facturen van uw zorgaanbieder. En geeft zelf opdracht aan de SVB om te betalen.\n * De SVB controleert de facturen van uw zorgaanbieder aan de hand van uw zorgovereenkomst.\n * Is alles volgens afspraak? Dan betaalt de SVB uw zorgaanbieder achteraf, aan het eind van de maand uit.\n * De SVB meldt bij de belastingdienst welke zorgaanbieder(s) zij hebben betaald uit uw pgb en hoeveel.\n * U kunt uw saldo en betalingen nakijken op de website van de SVB via ‘Mijn pgb’.\n\n## Heeft u hulp nodig?\n\n### Kom langs\n\n Kennedystraat 2a, 5427 CJ Boekel\n\nAlleen op afspraak geopend\n\n### Bereik ons\n\n Bel: 0492-328383\n\n info@dorpsteamboekel.nl\n\nNu niet bereikbaar. \nMorgen: 9.00 - 12.00 uur\n\n\n 1. Home\n 2. Thema’s\n 3. Zorg en ondersteuning\n 4. Eigen bijdrage Wmo\n\n# Eigen bijdrage Wmo”), Document(metadata={‘source’: ‘E:/llmchat/wmo/boekel/dorpsteam_info.txt’, ‘start_index’: 150577.0}, page_content=“## Voorwaarden voor een Wmo-pgb\n\nWilt u zelf ondersteuning inkopen met een pgb? Daarvoor gelden de volgende\nvoorwaarden:\n\n * U kunt het budget beheren;\n * U kunt zelf ondersteuning inkopen en hulpverleners aansturen (u mag ook iemand machtigen om dit voor u te doen);\n * U koopt ‘doeltreffende’ ondersteuning in (ondersteuning is doeltreffend als u er zelfstandiger door kunt leven);\n * De ondersteuning moet cliëntgericht en veilig zijn;\n * U kunt motiveren (uitleggen) waarom u zelf ondersteuning wilt inkopen met een pgb.\n\n## Hoe gaat het met betalen van het pgb?”)]

Hi!

Yes, this is probably something on the LLM side.

If you have the vector of your query, you can initiate a client, provide a different base url (for example, pointing to those endpoint debug sites, like https://webhook.site/) and perform a generative search using the vector as query.

this will make Weaviate server to send the payload that it would send to your llm to the webhook.site endpoint.

Now, if you consume the llm api passing the same payload, you should see the same results.

Not sure how I can help here, considering the answer to the query is in the returned objects :thinking: