CKA Website-Crawler
Der CKAContextCrawler liest auf ausdrückliche Anforderung eines CKA-Kunden öffentlich erreichbare HTML-Seiten und verlinkte Text-PDFs seiner Website ein. Direkt verlinkte PDFs dürfen auf derselben freigegebenen Website auch außerhalb eines gewählten HTML-Pfads liegen; dadurch wird kein zusätzlicher HTML-Bereich freigegeben. Fremde Domains werden nicht automatisch verfolgt. Die ausgewählten Inhalte dienen als Wissen für den Website-Assistenten. Es werden keine Anmeldedaten oder Cookies verwendet und keine Formulare abgesendet.
Erkennung und Ausschluss
User-Agent: CKAContextCrawler/1.0 (+https://cka.cephei.com/crawler). Der Crawler beachtet robots.txt und Crawl-delay. Seiten mit noindex werden standardmäßig nicht übernommen. Pro Website wird nur eine Anfrage gleichzeitig ausgeführt.
Mit diesem Eintrag in Ihrer robots.txt schließen Sie den Crawler vollständig aus:
User-agent: CKAContextCrawler Disallow: /
robots.txt und noindex sind kein Zugriffsschutz. Vertrauliche Inhalte sollten immer durch eine Anmeldung oder andere geeignete Zugriffskontrollen geschützt werden.
PDFs werden ohne Texterkennung (OCR) geprüft, nicht ausgeführt. Ungeeignete Dateien werden übersprungen; temporäre PDF-Downloads nach der Verarbeitung entfernt. Der öffentliche Quellenlink verweist auf die Originaldatei Ihrer Website, nicht auf eine neu veröffentlichte CKA-Kopie.
Bei Fragen oder Problemen erreichen Sie uns über das Kontaktformular.