Ich betreibe einen eigenen (recht „dicken“) Server, der viele Dienste hostet, darunter auch SearXNG (als docker container).
Seit einiger Zeit habe ich nun das Problem, das die Suche nur noch selten überhaupt Ergebnisse liefert, die Suchmaschinen liefern Captcha- oder Ratelimit Fehlermeldungen.
Der Server hostet auch 2 VPNs (Strongswan und Wireguard), die alle die selben IPs verwenden. Anhand der IP-Pakete sollte es also keinen Unterschied geben, ob mein Browser oder SearXNG eine Anfrage stellen. (Der HTTP Request wird natürlich unterschiedlich sein).
Wenn ich jetzt mal brave als Beispiel nutze, kommt über SearXNG die Meldung „zu viele Anfragen“, aber im VPN funktioniert brave.com einwandfrei. Bei DuckDuckGo kommt in SearXNG eine CAPTCHA Meldung, aber duckduckgo.com funktioniert im VPN.
Ich bekomme also keinen Captcha, die ich mit der IP beantworten könnte.
Leider zeigt mir SearXNG auch nicht an, mit welcher IP die Anfrage gesendet wurde. Ich bin nur auf Debian unterwegs, und da wird immer IPv6 bevorzugt.
Wenn ich im Log von SearXNG schaue, werden dort Links wie „https://www.startpage.com/sp/captcha“ angezeigt, aber im Browser brauche ich kein Captcha zu lösen, die Suche funktioniert einfach so…
Hätte noch jemand einen Tipp, wie man das Problem löst?
Startpage schickt derzeit bei so gut wie jeder Anfrage über SearXNG-Instanzen eine CAPTCHA-Weiterleitung, suspended_time=3600. Kein Fix, keine Diskussion im Issue, einfach nur „ist gerade kaputt". Bei mir bleibt Startpage daher erstmal disabled. Wenn du Google Ergebnisse mit einfließen lassen willst, musst du Google momentan einbinden.
DuckDuckGo: Dazu gibt’s Issue #6596 — jemand hat herausgefunden, dass es an der Reihenfolge der HTTP-Header liegt, nicht am Inhalt. Wenn der User-Agent-Header nach Accept-Language gesendet wird statt davor, klappt’s wieder. Minimaler Patch in searx/engines/duckduckgo.py, direkt vor der Zeile headers[„User-Agent“] = _HTTP_User_Agent:
del headers["User-Agent"]
headers["User-Agent"] = _HTTP_User_Agent
Bei meinem Setup hatte ich ein anderes DDG Problem. Mein SearXNGTraffic läuft über einen Mullvad-Gateway, und ein bestimmter Exit-Server wurde von DDG komplett geblockt — ConnectTimeout, kein CAPTCHA). Nach Wechsel auf einen anderen Relay lief es sofort wieder.
Danke für die Info. Habe meine SearXNG Instanz erstmal wieder heruntergefahren und nutze jetzt DDG direkt, da ich davon ausgehe, dass die aggressiven AI Bots leider ein aggressives Filtern notwendig machen werden…
