שומר הסף של מנועי החיפוש – קובץ robots.txt

רובוט, ROBOT.TXT

מה זה קובץ רוטובוס – robots.txt?

קובץ robots.txt הוא בעצם “שומר הסף” של האתר שלנו והוא מורה לזחלנים של גוגל ושאר מנועי החיפוש, לאיזה עמודים באתר הם כן יכולים להיכנס ולסרוק ואיזה לא.

באמצעות קובץ robots.txt אנחנו בעצם מאפשרים לרובוטים של גוגל (מכאן השם רובוטס), איזה דפים וקבצים לאנדקס ולהציג בתוצאות החיפוש ולאיזה דפים וקבצים הם לא יכולים להיכנס ולקרוא.

למה צריך קובץ רובוטס – robots.txt?

  • להגביל את הזחלנים מלהגיע לאיזורי הכניסה לאתר באמצעות סיסמא/ דפים שמיועדים לבעלי האתר בלבד ולא נרצה שיסרקו
  • להעביר לזחלנים מידע לגבי איזה מהעמודים חשובים יותר מבחינה היררכית באתר
  • לעדכן את הזחלנים שבוצעו שינויים חדשים באתר והוספו דפים/קבצים

איך מייצרים קובץ רובוטס – robots.txt?

יש שתי דרכים לייצר קובץ רובוטס באופן ידני ושתיהן פשוטות מאוד.

אופציה א’ – לפתוח קובץ רובוטס באופן ידני.

  1. נפתח קובץ טקסט רגיל על המחשב (txt) ונדביק בפנים את השורות הבאות:
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.phpSitemap: https://www.domain.co.il/sitemap_index.xml 
  2. שימו לב שאתם משנים את שם הדומיין באיזור ה-sitemap לאיזוור שלכם.
    אם אין לכם sitemap, תוכלו לפתוח אחד בעזרת המדריך מפת אתר. 
  3. נסגור ונשמור את הקובץ בשם robots.txt.  (חשוב לשים לב לנקודות). 
  4. נתחבר לממשק הניהול של שרת האחסון או דרך תוכנת FTP , נוודא כי לא קיים כבר קובץ בשם הזה ונעלה לשם את הקובץ. 
  5. נפתח דפדפן חדש ונרשום את הכתובת https://www.domain.co.il/robots.txt ב-URL של הדף כדי לוודא שהקובץ עודכן והכל תקין.
     

אופציה ב’ – שימוש בתוסף Yoast

אחד התוספים הפופולריים ביותר לאתרי וורדפרס עם יותר מ- 5M הורדות (נכון למאי 2020) זה התוסף יוסט – Yoast. התוסף מאפשר ניתוח נתוני האתר ושיפור ביצועים בצורה משמעותית. 

גם הפעם התוסף מוכיח את עצמו כשהוא מאפשר יצירת קובץ robots.txt באופן אוטומטי וחוסך לנו זמן. 

 

כדי לייצר את הקובץ ניגש ללוח הבקרה > SEO > כלים > עריכת קבצים:


לאחר מכן יוצג לנו המסך הבא:

 

נוסיף פנימה את שורת ה- sitemap:

 

 robot.txt, קובץ רובוט

 

נשמור שינויים, נפתח דפדפן חדש ונרשום את הכתובת https://www.domain.co.il/robots.txt ב-URL של הדף כדי לוודא שהקובץ עודכן והכל תקין.

ו.. סיימנו 🙂


המאמר הזה עזר לכם? אשמח לשמוע בתגובות!

יש לכם שאלות נוספות? כתבו לי  🙂 

עקבו בפייסבוק והתעדכנו במאמרים וטיפים חשובים

מה אנשים אוהבים לקרוא כאן?

פוסטים אחרונים

הרשמו לניוזלטר וקבלו תכנים מגניבים

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

רוצים להקים אתר איכותי שמותאם בול לצרכי העסק והמותג שלכם?

השאירו פרטים ואתם בחצי הדרך לשם :)