איך לאפשר או לחסום את ChatGPT מגישה לאתר שלכם?

באוקטובר 2024 הוצג פיצ'ר חדש ב-ChatGPT, שמאפשר לצ'אט לבצע חיפושים באינטרנט בזמן אמת. במדריך זה נסביר כיצד ניתן לשלוט בגישה של ChatGPT לאתר שלכם, בין אם מדובר בהגדרה לאינדקס, חיפושים בזמן אמת או למטרות אימון מודלים.

איך זה עובד?

בדיוק כמו במנועי חיפוש מסורתיים, גם ChatGPT פועל באמצעות זחלנים שסורקים את האתר שלכם בהתאם להרשאות שאתם מגדירים בקובץ robots.txt. הקובץ הזה מאפשר לכם להחליט אילו אזורים באתר יהיו זמינים לזחלנים ואילו יישארו חסומים.

אילו סוגי זחלנים יש ל-OpenAI?

OpenAI מציעה שלושה זחלנים עיקריים, שכל אחד מהם ממלא תפקיד שונה.

1. OAI-SearchBot: אינדוקס בסיסי

זחלן זה נועד לאסוף מידע מהאתר ולהוסיף אותו לאינדקס של ChatGPT. ברגע שמשתמשים שואלים שאלות, הצ'אט שולף את המידע הקיים באינדקס כדי לספק תשובות מבוססות.

כיצד לאפשר את הזחלן?

plaintextCopy codeUser-agent: 
OAI-SearchBot
Allow: /

כיצד לחסום את הזחלן?

plaintextCopy codeUser-agent: 
OAI-SearchBot
Disallow: /

2. ChatGPT-User: חיפוש בזמן אמת

זחלן זה אחראי על ביצוע חיפושים ישירים באינטרנט במידה והמידע אינו זמין באינדקס. חסימתו תמנע מהאתר שלכם להופיע בתוצאות חיפוש בזמן אמת בצ'אט.

כיצד לאפשר את הזחלן?

plaintextCopy codeUser-agent: 
ChatGPT-User
Allow: /

כיצד לחסום את הזחלן?

plaintextCopy codeUser-agent: 
ChatGPT-User
Disallow: /

3. GPTBot: אימון מודלים

זחלן זה מסייע לאימון מודלי הבינה המלאכותית של OpenAI באמצעות איסוף מידע מאתרכם. חסימתו לא תשפיע על תוצאות החיפוש שלכם, אך היא תמנע שימוש במידע שלכם לשיפור המודלים.

כיצד לאפשר את הזחלן?

plaintextCopy codeUser-agent: 
GPTBot
Allow: /

כיצד לחסום את הזחלן?

plaintextCopy codeUser-agent:
GPTBot
Disallow: /

איך להגדיר הרשאות מתקדמות ב-robots.txt?

אם יש אזורים ספציפיים באתר שאינכם רוצים לחשוף, ניתן להגדיר זאת בקלות. דוגמה להגדרות מפורטות:

plaintextCopy codeUser-agent: OAI-SearchBot  
Allow: /  
Disallow: /wp-admin  
Disallow: /wp-content/plugins/  
Disallow: /search/  
Disallow: /?s=  
Disallow: /author/  

User-agent: ChatGPT-User  
Allow: /  
Disallow: /wp-admin  
Disallow: /wp-content/plugins/  

User-agent: GPTBot  
Allow: /  
Disallow: /wp-admin  
Disallow: /wp-content/plugins/  

אל תשכחו לעדכן את הקובץ בהתאם לצרכים שלכם ולשמור אותו בתיקייה הראשית של האתר.


לסיכום

הכלים החדשים ש-ChatGPT מביא לעולם ה-AI יוצרים הזדמנויות חדשות לבעלי אתרים. עם זאת, שליטה בזחלנים והבנת תפקידם קריטיות לניהול נכון של נראות האתר שלכם. המלצתנו? תתחילו להתנסות ותתאימו את ההגדרות לצרכים שלכם – מי שיפעל היום, יקצור את הפירות בעתיד.

תרצו לחזור לנושא מסויים במאמר?

שתפו את המאמר

לשיחת ייעוץ חינם

מאמרים מומלצים