מהו קובץ robots.txt ואיך להשתמש בו בצורה יעילה?

קובץ robots.txt הוא קובץ טקסט שתפקידו לומר למנועי חיפוש כמו Google אילו עמודים באתר שלך הם צריכים לסרוק ואילו לא.

User-Agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-content/uploads/

איפה קובץ ה robots.txt ממוקם

https://ronikuk.co.il/robots.txt

יתרונות וחסרונות בשימוש של הקובץ robots.txt

יתרון: שליטה בתקציב הזחילה באתר

תקציב זחילה מתייחס למספר העמודים באתר שלך שמנוע חיפוש יסרוק בזמן ביקור בודד.

לכל מנוע חיפוש יש תקציב זחילה משלו, והוא מושפע מגורמים שונים, כמו גודל האתר, תדירות העדכונים שלו ואיכות התוכן.

כיצד קובץ הרובוטס יכול לעזור לך לשלוט בתקציב הזחילה?

מניעת סריקה של עמודים לא רלוונטיים:

ניתן להשתמש בקובץ כדי למנוע ממנועי חיפוש לסרוק עמודים לא רלוונטיים, כמו עמודי ניהול או עמודים עם תוכן כפול.

זה יאפשר למנועי חיפוש להתמקד בעמודים החשובים באמת באתר שלך ולנצל את תקציב הזחילה שלהם בצורה יעילה יותר.

הגדרת קצב סריקה:

ניתן להשתמש בקובץ robots.txt כדי להגדיר את קצב הסריקה של מנועי חיפוש באתר שלך.

זה יכול להיות שימושי אם האתר שלך קטן יחסית ואינו יכול להתמודד עם זחילה אינטנסיבית.

דוגמה:

User-Agent: *
Crawl-Delay: 10

פקודה זו תורה למנועי חיפוש להמתין 10 שניות בין סריקה של עמודים באתר שלך.

שימוש נכון בקובץ robots.txt יכול לעזור לך לשפר את ה-SEO של האתר שלך ולנצל את תקציב הזחילה בצורה יעילה יותר.

חסרון: אי אפשר להסיר דפים מתוצאות החיפוש במידה והם כבר נמצאים שם

חשוב להבין:

קובץ robots.txt אינו מיועד להסרת דפים מתוצאות החיפוש.

חסימת עמודים באמצעות robots.txt לא תמנע מהם להופיע בתוצאות החיפוש.

הסרת דפים מתוצאות החיפוש:

ניתן להשתמש בשתי דרכים עיקריות להסרת דפים מתוצאות החיפוש:

מטא robots: הוספת תג meta robots עם ערך "noindex" לעמודים שתרצה להסתיר.

Google Search Console: שימוש בכלי "הסרת כתובות URL" ב-Google Search Console.

שימוש נכון בשיטות אלה יאפשר לך להסיר דפים ספציפיים מתוצאות החיפוש ולשפר את ה-SEO של האתר שלך.

טיפים:

לפני חסימת עמודים באמצעות robots.txt, ודא שאינך צריך להסיר אותם מתוצאות החיפוש.

השתמש בקובץ robots.txt בזהירות ובקפדנות.

השתמש בכלי בדיקת robots.txt ב-Google Search Console:

שקול להיעזר באיש מקצוע SEO.

חסרון: לא מאפשר חלוקת כח של לינקים

כח של לינקים (link juice) מתייחס לעברת סמכות וערך SEO מעמוד אחד באתר לעמוד אחר באמצעות קישורים.

ככל שעמוד מקבל יותר קישורים איכותיים, כך גדל כח הלינקים שלו וכך הוא מדורג גבוה יותר בתוצאות החיפוש.

כיצד קובץ robots.txt יכול להשפיע על חלוקת כח לינקים?

חסימת עמודים מונעת העברת כח לינקים:

חסימת עמודים באמצעות robots.txt תמנע ממנועי חיפוש לעקוב אחר קישורים המובילים אליהם.

כתוצאה מכך, עמודים אלה לא יקבלו כח לינקים מהעמודים המקשרים אליהם.

פגיעה בדירוג האתר:

חסימת עמודים חשובים עלולה לפגוע בדירוג האתר כולו בתוצאות החיפוש.

דוגמה:

נניח שיש לך אתר עם שני עמודים:

עמוד A: עמוד זה מקבל קישורים רבים מעמודים אחרים באתר.

עמוד B: עמוד זה חסום באמצעות robots.txt.

כתוצאה מחסימת עמוד B, הוא לא יקבל כח לינקים מעמוד A. כתוצאה מכך, דירוג עמוד B בתוצאות החיפוש עלול להיפגע.

שימוש נכון בקובץ robots.txt חשוב כדי למנוע פגיעה בדירוג האתר.

קובץ הרובוטס הוא כלי רב עוצמה שיכול לעזור לך לשפר את ה-SEO של האתר שלך, אך חשוב להשתמש בו בזהירות ובקפדנות.

איך קובץ robots.txt צריך להיראות

התשובה תלויה בצרכים הספציפיים של האתר שלך. עם זאת, קובץ robots.txt בסיסי ייראה כך:

User-Agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://ronikuk.co.il/robots.txt

הסבר:

*User-Agent: : פקודה זו פונה לכל מנועי החיפוש.

Disallow: /wp-admin/: פקודה זו חוסמת את מנועי החיפוש מלגשת לתיקיית wp-admin, שם נמצא לוח הבקרה של וורדפרס.

Allow: /wp-admin/admin-ajax.php: פקודה זו מאפשרת למנועי החיפוש לגשת לקובץ admin-ajax.php, שהוא חיוני לתפקוד תקין של וורדפרס.

Sitemap: https://ronikuk.co.il/robots.txt: פקודה זו מציינת את מיקום מפת האתר שלך, שתעזור למנועי החיפוש למצוא ולסרוק את כל עמודי האתר.

איך ליצור קובץ robots.txt

1. יצירת הקובץ:

פתח עורך טקסט פשוט, כגון Notepad (ב-Windows) או TextEdit (ב-Mac).

העתק והדבק את הקוד הבא:

User-Agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://ronikuk.co.il/robots.txt

שמור את הקובץ בשם robots.txt. ודא ששמו של הקובץ הוא באותיות קטנות ושהסיומת שלו היא .txt.

2. העלאת הקובץ:

העלה את הקובץ לתיקיית השורש של האתר שלך. ניתן להשתמש ב-FTP, ב-cPanel או ב-SFTP.

ודא שהקובץ נגיש לכל (publicly accessible).

יצירת קובץ robots עם הפלאגין YOAST SEO

1. התקנת הפלאגין:

ודא שפלאגין YOAST SEO מותקן ומופעל באתר שלך.

2. יצירת הקובץ:

גש ללוח הבקרה של וורדפרס.

לחץ על "SEO" ולאחר מכן על "כלים".

לחץ על "עריכת קבצי robots.txt".

ייפתח חלון חדש עם תוכן קובץ robots.txt.

3. עריכת הקובץ:

תוכל לערוך את תוכן הקובץ לפי הצורך.

בדרך כלל, אין צורך לשנות את ההגדרות המוגדרות כברירת מחדל.

אם ברצונך לחסום עמודים ספציפיים, תוכל להוסיף פקודות "Disallow" מתאימות.

הקפד לבדוק את קובץ robots.txt שלך לפני שמירת השינויים.

4. שמירה והעלאה:

לחץ על "שמור".

הפלאגין YOAST SEO יעלה באופן אוטומטי את קובץ robots.txt לתיקיית השורש של האתר שלך.

איך יוצרים קובץ robots.txt עם הפלאגין Rank Math

1. התקנת הפלאגין:

ודא שפלאגין Rank Math מותקן ומופעל באתר שלך.

2. יצירת הקובץ:

גש ללוח הבקרה של וורדפרס.

לחץ על "Rank Math" ולאחר מכן על "SEO Tools".

לחץ על "Robots.txt Editor".

ייפתח חלון חדש עם תוכן קובץ robots.txt.

3. עריכת הקובץ:

תוכל לערוך את תוכן הקובץ לפי הצורך.

בדרך כלל, אין צורך לשנות את ההגדרות המוגדרות כברירת מחדל.

אם ברצונך לחסום עמודים ספציפיים, תוכל להוסיף פקודות "Disallow" מתאימות.

הקפד לבדוק את קובץ robots.txt שלך לפני שמירת השינויים.

4. שמירה והעלאה:

לחץ על "שמור".

הפלאגין Rank Math יעלה באופן אוטומטי את הקובץ לתיקיית השורש של האתר שלך.

רשימת הזחלנים של מנועי החיפוש השונים