באוקטובר 2024 הוצג פיצ'ר חדש ב-ChatGPT, שמאפשר לצ'אט לבצע חיפושים באינטרנט בזמן אמת. במדריך זה נסביר כיצד ניתן לשלוט בגישה של ChatGPT לאתר שלכם, בין אם מדובר בהגדרה לאינדקס, חיפושים בזמן אמת או למטרות אימון מודלים.
איך זה עובד?
בדיוק כמו במנועי חיפוש מסורתיים, גם ChatGPT פועל באמצעות זחלנים שסורקים את האתר שלכם בהתאם להרשאות שאתם מגדירים בקובץ robots.txt. הקובץ הזה מאפשר לכם להחליט אילו אזורים באתר יהיו זמינים לזחלנים ואילו יישארו חסומים.
אילו סוגי זחלנים יש ל-OpenAI?
OpenAI מציעה שלושה זחלנים עיקריים, שכל אחד מהם ממלא תפקיד שונה.
1. OAI-SearchBot: אינדוקס בסיסי
זחלן זה נועד לאסוף מידע מהאתר ולהוסיף אותו לאינדקס של ChatGPT. ברגע שמשתמשים שואלים שאלות, הצ'אט שולף את המידע הקיים באינדקס כדי לספק תשובות מבוססות.
כיצד לאפשר את הזחלן?
plaintextCopy codeUser-agent:
OAI-SearchBot
Allow: /
כיצד לחסום את הזחלן?
plaintextCopy codeUser-agent:
OAI-SearchBot
Disallow: /
2. ChatGPT-User: חיפוש בזמן אמת
זחלן זה אחראי על ביצוע חיפושים ישירים באינטרנט במידה והמידע אינו זמין באינדקס. חסימתו תמנע מהאתר שלכם להופיע בתוצאות חיפוש בזמן אמת בצ'אט.
כיצד לאפשר את הזחלן?
plaintextCopy codeUser-agent:
ChatGPT-User
Allow: /
כיצד לחסום את הזחלן?
plaintextCopy codeUser-agent:
ChatGPT-User
Disallow: /
3. GPTBot: אימון מודלים
זחלן זה מסייע לאימון מודלי הבינה המלאכותית של OpenAI באמצעות איסוף מידע מאתרכם. חסימתו לא תשפיע על תוצאות החיפוש שלכם, אך היא תמנע שימוש במידע שלכם לשיפור המודלים.
כיצד לאפשר את הזחלן?
plaintextCopy codeUser-agent:
GPTBot
Allow: /
כיצד לחסום את הזחלן?
plaintextCopy codeUser-agent:
GPTBot
Disallow: /
איך להגדיר הרשאות מתקדמות ב-robots.txt?
אם יש אזורים ספציפיים באתר שאינכם רוצים לחשוף, ניתן להגדיר זאת בקלות. דוגמה להגדרות מפורטות:
plaintextCopy codeUser-agent: OAI-SearchBot
Allow: /
Disallow: /wp-admin
Disallow: /wp-content/plugins/
Disallow: /search/
Disallow: /?s=
Disallow: /author/
User-agent: ChatGPT-User
Allow: /
Disallow: /wp-admin
Disallow: /wp-content/plugins/
User-agent: GPTBot
Allow: /
Disallow: /wp-admin
Disallow: /wp-content/plugins/
אל תשכחו לעדכן את הקובץ בהתאם לצרכים שלכם ולשמור אותו בתיקייה הראשית של האתר.
לסיכום
הכלים החדשים ש-ChatGPT מביא לעולם ה-AI יוצרים הזדמנויות חדשות לבעלי אתרים. עם זאת, שליטה בזחלנים והבנת תפקידם קריטיות לניהול נכון של נראות האתר שלכם. המלצתנו? תתחילו להתנסות ותתאימו את ההגדרות לצרכים שלכם – מי שיפעל היום, יקצור את הפירות בעתיד.