AgudotBot

AgudotBot הוא הסורק של מנוע החיפוש אגודות. הוא קורא דפים ציבוריים כדי שאפשר יהיה למצוא אותם בחיפוש, עם דגש על אתרים ישראליים בעברית ובאנגלית.

איך מזהים אותו

כל בקשה נשלחת עם ה-User-Agent הבא:

AgudotBot/1.0 (+https://agudot.com/bot)

איך הוא מתנהג

• מכבד את robots.txt לפי RFC 9309, כולל Allow, Disallow ותווים כלליים. ההנחיות נקראות מחדש פעם ביום.
• מכבד Crawl-delay. בלי הנחיה כזו, ממתין לפחות שנייה בין שתי בקשות לאותו אתר.
• פונה לכל אתר בבקשה אחת בכל רגע נתון, ומאט אוטומטית כשהאתר עונה 429 או 503.
• מכבד noindex ו-nofollow בתגית meta robots או בתגית meta בשם agudotbot, וגם rel="nofollow" בקישורים.
• מוריד עד 2MB מכל דף ושומר טקסט בלבד. הוא לא מריץ JavaScript ולא ממלא טפסים.
• לא נכנס לאזורים שדורשים התחברות, לעגלות קניות או לדפי חיפוש פנימיים.

איך חוסמים או מאטים אותו

כדי לחסום את הסורק באתר כולו, אפשר להוסיף ל-robots.txt:

User-agent: AgudotBot
Disallow: /

כדי להאט אותו או לחסום רק חלק מהאתר:

User-agent: AgudotBot
Crawl-delay: 10
Disallow: /private/

כדי שדף מסוים לא יופיע בתוצאות, אפשר להוסיף לו:

<meta name="agudotbot" content="noindex">

שינויים ב-robots.txt נקלטים תוך 24 שעות. דפים שנחסמו או שהוגדרו noindex יוסרו מהאינדקס בביקור הבא.