שומר הסף של מנועי החיפוש – קובץ robots.txt

רובוט, ROBOT.TXT

מה זה קובץ רוטובוס – robots.txt? קובץ robots.txt הוא בעצם “שומר הסף” של האתר שלנו והוא מורה לזחלנים של גוגל ושאר מנועי החיפוש, לאיזה עמודים באתר הם כן יכולים להיכנס ולסרוק ואיזה לא. באמצעות קובץ robots.txt אנחנו בעצם מאפשרים לרובוטים של גוגל (מכאן השם רובוטס), איזה דפים וקבצים לאנדקס ולהציג בתוצאות החיפוש ולאיזה דפים וקבצים […]