OptiRankBot
OptiRankBot הוא סורק אתרים שאנחנו מפעילים. אם הוא ביקר באתר שלכם, הדף הזה מסביר למה, ואיך לעצור אותו.
מי אנחנו
אנחנו צוות קטן. אנחנו מריצים בדיקה שאומרת לבעל עסק אם עוזרי בינה מלאכותית כמו ChatGPT, Gemini ו-Perplexity מכירים את העסק שלו וממליצים עליו.
למה קראנו את האתר שלכם
מישהו ביקש דוח על עסק, והאתר שלכם הוא האתר של אותו עסק או שהוא הוזכר באחת התשובות שבדקנו. קראנו מספר קטן של דפים כדי לראות מה עוזר בינה מלאכותית היה מוצא בהם: כותרות, כותרות משנה, פסקאות פתיחה, קובץ robots.txt, מפת האתר וקובץ llms.txt אם יש לכם כזה. אנחנו לא מעתיקים את התוכן שלכם לתוך מוצר, לא מאמנים עליו מודלים ולא מוכרים אותו.
איך אנחנו מתנהגים
- אנחנו קוראים את robots.txt לפני כל דבר אחר, ומצייתים לו. אם הוא אוסר עלינו, לא נפתח אף דף.
- בקשה אחת בשנייה לכל היותר. אם מוצהר אצלכם Crawl-delay, נשתמש בו, עד עשר שניות.
- עד 100 דפים לאתר, וניסיון אחד לכל כתובת. אנחנו לא חוזרים ומנסים שוב.
- אנחנו לא מסתירים את השם הזה, לא מתחזים לדפדפן ולא עוקפים חסימה. אם האתר שלכם דוחה אותנו, נרשום את זה ונפסיק.
זו השורה שתראו ביומני השרת שלכם:
OptiRankBot/0.1 (+https://optirank.optimally-ai.com/bot)
איך לחסום אותנו
הוסיפו את השורות האלה לקובץ robots.txt בשורש האתר:
User-agent: OptiRankBot Disallow: /
אנחנו קוראים את robots.txt בתחילת כל ביקור, ולכן הביקור הבא יכבד את זה. אם תרצו שנמחק גם את מה שכבר שמרנו על האתר שלכם, כתבו לנו ונמחק.
יצירת קשר
אדם קורא את הכתובת הזאת ועונה. אם אתם כותבים, ציינו באיזה דומיין מדובר.
OptiRankBot
OptiRankBot is a web crawler we run. If it visited your site, this page explains why, and how to stop it.
Who we are
We are a small team. We run a diagnostic that tells a business owner whether AI assistants such as ChatGPT, Gemini and Perplexity know their business and recommend it.
Why we fetched your site
Someone asked for a report about a business, and your site is either that business’s website or it was named in one of the answers we were checking. We read a small number of pages to see what an AI assistant would find there: your titles, your headings, your opening paragraphs, your robots.txt, your sitemap and your llms.txt if you publish one. We do not copy your content into a product, we do not train models on it, and we do not sell it.
How we behave
- We read robots.txt before anything else, and we follow it. If it disallows us, we fetch no pages at all.
- One request per second at most. If you declare a Crawl-delay we use that instead, up to ten seconds.
- At most 100 pages per site, and one attempt per address. We do not retry.
- We never disguise that name, never pretend to be a browser, and never work around a block. If your site turns us away, we record it and stop.
This is the line you will see in your server logs:
OptiRankBot/0.1 (+https://optirank.optimally-ai.com/bot)
How to block us
Add these lines to the robots.txt file at the root of your site:
User-agent: OptiRankBot Disallow: /
We read robots.txt at the start of every visit, so the next visit will honour it. If you would also like us to delete what we already stored about your site, write to us and we will.
Contact
A person reads this address and answers. If you write, say which domain you are asking about.