שומר הסף של מנועי החיפוש – קובץ robots.txt

איך גוגל יודעת שהעלתם עמוד או דף חדש באתר שלכם? היא משתמשת בזחלנים (Crawlers) שלה שנכנסים לאתר כדי לסרוק ולעבד מידע דרך הקישורים באתר שלכם. אפשר לעזור לזחלנים של גוגל להבין איזה עמודים באתר חשובים יותר בעזרת מספר גורמים: קישורים פנימיים היררכית אתר מפת אתר – sitemap.xml כשהזחלנים של גוגל מגיעים לאתר שלכם, הם מצליחים […]