הגולם קם על יוצרו
ה-AI למד לרמות אותנו. זה יכול להיגמר כמו בצ'רנוביל
שקרים, עקיפת מגבלות – והוראות חשאיות איך לפעול מתחת לאף שלנו • מבוטים שפיתחו שפת סתרים ועד סוכנים שהעלימו מידע: שורת תקריות מעוררת חשש מאובדן שליטה בבינה המלאכותית • האם "רפורמת נשק" ב-AI תעזור? אולי למי שרוצה קטסטרופה
(...)
רק השבוע התפרסם מקרה מדאיג, שבו תושב אוסטרליה ביקש מסוכן הקלוד שלו להזמין לו שיעור בחדר כושר פופולרי. האייג'נט מצא פרצה בתוכנה, שאפשרה לו לשריין למפעילו חלון זמן שבועות מראש. כאשר המשתמש שאל אם הוא יכול לקדם אותו ברשימת ההמתנה, גילה הסוכן פרצה נוספת, שלפיה אין צורך באשרור לצורך ביטול הזמנות אחרות - ולכן הוא ביטל את השיעור של המשתמש שהיה בראש הרשימה, ואיפשר למפעיל שלו לתפוס את מקומו. משנחרד המפעיל וביקש לבטל זאת, נתקל בתשובה נחרצת של המודל: מדובר בפעולה בלתי הפיכה.
וזה רק סוכן אחד נקודתי וממוקד; תארו לעצמכם מה עלול להתרחש ברגע שלמיליוני אנשים יהיה סוכן שמנסה להשיג למשתמשים האהובים שלהם את המושבים, ההזמנות, הפגישות או ההזמנות הטובים ביותר, בכל דרך אפשרית. ונאמר - בלי להוסיף מעבר - שהתייחסנו כאן רק לפעולות בעלות אופי חיובי.
(...)
להמשך, במקור: https://www.israelhayom.co.il/magazine/shishabat/article/21182098