בינה מלאכותית ופוקר: איך בוט פוקר ניצח את המקצוענים, ומה השחקנים למדו ממנו

במשך שנים פוקר נחשב למשחק שמחשב לא יוכל לנצח בו בני אדם. ואז, בתוך פחות מחמש שנים, בוט פוקר אחד ניצח ארבעה מקצוענים ראש בראש, ובוט אחר ניצח מקצוענים בשולחן מלא. בכתבה הזאת, חלק מהבלוג של 7XL Global, נעבור על הדרך מ-Polaris ועד Pluribus, נסביר מה הבוטים עשו אחרת, ומה שחקנים רגילים למדו מהם. ונסיים בנקודה חשובה: מה מותר ומה אסור כשמדובר בבינה מלאכותית ליד השולחן. זו קפיצה גדולה מהימים של הנשיאים האמריקאים ששיחקו פוקר עם חברים, כשהיריב הכי קשה בחדר היה אדם.

למה פוקר קשה למחשבים

בשחמט כל המידע גלוי: שני השחקנים רואים את כל הלוח. בפוקר, לעומת זאת, המחשב לא יודע מה היריב מחזיק. לפי ויקיפדיה, זה הופך את הפוקר למשחק של מידע חסר, שבו צריך לקבל החלטות על בסיס ניחוש, בלופים והטעיות. טואומס סנדהולם, הפרופסור מקרנגי מלון שעמד מאחורי כמה מהבוטים החשובים, הסביר שהפוקר הפך למבחן של בינה מלאכותית, כמו שהשחמט היה פעם.

הקושי הוא גם בגודל. לפי ויקיפדיה, בהולדם ללא הגבלה יש יותר מ-10¹⁶⁰ החלטות אפשריות, יותר מכמות האטומים ביקום הנצפה. אי אפשר לחשב את כולן, ולכן החוקרים היו צריכים למצוא דרכים חכמות לקצר את החישוב.

ציר הזמן: מ-Polaris ועד Pluribus

שנה	בוט	מה קרה
2007	Polaris (אוניברסיטת אלברטה)	הפסד צמוד לשני מקצוענים בלימיט הולדם ראש בראש
2008	Polaris	ניצחון על שישה מקצוענים: 3 ניצחונות, 2 הפסדים ותיקו אחד
2015	Cepheus (אוניברסיטת אלברטה)	לימיט הולדם ראש בראש נפתר כמעט לגמרי, לפי מאמר ב-Science
2015	Claudico (קרנגי מלון)	הפסד לארבעה מקצוענים אחרי 80,000 ידיים של הולדם ללא הגבלה
2016	DeepStack (צ’כיה וקנדה)	ניצחון על 11 מקצוענים ב-44,000 ידיים ראש בראש
2017	Libratus (קרנגי מלון)	ניצחון ברור על ארבעה מקצוענים ב-120,000 ידיים
2019	Pluribus (פייסבוק וקרנגי מלון)	ניצחון על מקצוענים בשולחן של שישה שחקנים

שימו לב לסדר. קודם הגיע לימיט, שבו גודל ההימורים קבוע. אחר כך ללא הגבלה, אבל רק מול יריב אחד. ורק בסוף הגיע השולחן המלא, שבו רוב האנשים משחקים בפועל.

הצעדים הראשונים: Polaris ו-Cepheus

לפני שבוט פוקר ניצח בהולדם ללא הגבלה, החוקרים מאוניברסיטת אלברטה עבדו שנים על לימיט. לפי ויקיפדיה, Polaris היה בעצם אוסף של כמה בוטים עם אסטרטגיות קבועות, שבחר ביניהם תוך כדי משחק, והוא דרש כל כך מעט כוח חישוב שבתחרויות הוא רץ על מחשב נייד מסוג MacBook Pro. ביולי 2007 הוא שיחק בוונקובר מול המקצוענים פיל לאק ועלי אסלמי, בארבעה משחקים כפולים של 500 ידיים כל אחד, כשהשחקנים יושבים בחדרים נפרדים. אחרי כ-64 שעות התוצאה הייתה תיקו בסיבוב הראשון, ניצחון לבוט בשני, ושני הפסדים בסוף.

שנה אחר כך, ביולי 2008 בלאס וגאס, גרסה חזקה בהרבה של Polaris שיחקה 6,000 ידיים מול שישה מקצוענים, וסיימה ביתרון של 195 ביג בליינדים. ואז, בינואר 2015, פרסמה הקבוצה מאלברטה מאמר ב-Science שכותרתו קבעה שלימיט הולדם ראש בראש “נפתר”. הבוט שלהם, Cepheus, משחק כל כך קרוב לאסטרטגיה המושלמת, שלפי ויקיפדיה, גם היריב הטוב ביותר האפשרי ירוויח מולו רק 0.000986 ביג בליינד ליד בממוצע. זה כל כך מעט, שגם מי שישחק מולו כל חייו לא יוכל להוכיח סטטיסטית שהוא ניצח.

איך עושים את זה? לפי ויקיפדיה, Cepheus השתמש באלגוריתם בשם CFR+, גרסה משופרת של Counterfactual Regret Minimization, שבחן 3.19×10¹⁴ נקודות החלטה. הרעיון פשוט יותר ממה שהשם מרמז: התוכנה משחקת נגד עצמה שוב ושוב, ואחרי כל יד בודקת כמה היא “מתחרטת” על כל פעולה שלא בחרה, כלומר כמה הייתה מרוויחה אילו בחרה אחרת. לאורך מיליארדי חזרות, הפעולות שגורמות לחרטה הכי קטנה מקבלות משקל גדול יותר, והאסטרטגיה מתקרבת לשיווי משקל.

Claudico: ההפסד שהכין את הניצחון

ב-2015 Claudico, הבוט של סנדהולם והסטודנטים שלו, שיחק בקזינו ריברס בפיטסבורג מול ארבעה מקצוענים, ביניהם דאג פולק, שהיה אז השחקן המדורג ראשון בעולם בראש בראש. לפי ויקיפדיה, השם פירושו “אני עושה לימפ” בלטינית, כי הבוט נכנס הרבה לידיים בהשלמה במקום בהעלאה.

אחרי 80,000 ידיים בני האדם הובילו ב-732,713 צ’יפים. נשמע הרבה, אבל בסך הכול הומרו במשחק 170 מיליון צ’יפים, והחוקרים טענו שההפרש לא מובהק סטטיסטית. מה שבלט יותר היה הסגנון: לפי ויקיפדיה, פולק סיפר שהבוט הימר לפעמים 10% מהקופה ולפעמים פי עשרה ממנה, גדלים שאף אדם לא היה בוחר.

DeepStack: הבוט שלמד להעריך מצבים

בזמן שבקרנגי מלון התכוננו לסיבוב הבא, עבד צוות בינלאומי מאוניברסיטת קארל ומהאוניברסיטה הטכנית בפראג, יחד עם אוניברסיטת אלברטה. לפי ויקיפדיה, DeepStack, בוט פוקר שפיתחו, השתמש ברשתות נוירונים כדי להעריך כמה שווה מצב מסוים במשחק, במקום לחשב את כל ההמשך עד סוף היד. כך הוא יכול היה “לחשוב” רק כמה צעדים קדימה, ולהסתמך על הערכה מהירה מעבר לזה.

בדצמבר 2016 הוא ניצח 11 מקצוענים ב-44,000 ידיים ראש בראש. לפי ויקיפדיה, הוא הרוויח 49 ביג בליינדים למאה ידיים. כדי להבין כמה זה, שחקן שעושה פולד בכל יד מפסיד 75 ביג בליינדים למאה ידיים. התוצאה הייתה יותר מארבע סטיות תקן מעל אפס, כלומר קשה מאוד לייחס אותה למזל. אחד המשתתפים, המקצוען האירי דרה או’קירני, שיחק 456 ידיים וסיפר שהסגנון של הבוט הזכיר לו שחקנים אנושיים שמשחקים לפי תורת המשחקים.

Libratus: עשרים ימים מול המכונה

הבוט הבא של קרנגי מלון נקרא Libratus, שפירושו בלטינית “מאוזן”. לפי ויקיפדיה, הוא נבנה עם יותר מ-15 מיליון שעות ליבה של חישוב במחשב העל Bridges, לעומת 2–3 מיליון ל-Claudico. בין 11 ל-31 בינואר 2017 הוא שיחק 120,000 ידיים מול ארבעה מקצוענים.

כדי לנטרל את המזל, המשחק נבנה בשיטה כפולה. זוג שחקנים אחד שיחק באולם הפתוח, והזוג השני ישב בחדר נפרד, בלי טלפונים, וקיבל את אותם קלפים בדיוק, רק בצד ההפוך. כך אם הבוט קיבל קלפים טובים בחדר אחד, בני האדם קיבלו אותם בחדר השני. על הבסיס הזה של מזל מול מיומנות כדאי לקרוא בעמוד וריאנס בפוקר.

הפרטים הקטנים מעניינים לא פחות. פרס של 200,000 דולר חולק רק בין השחקנים, והבוט לא קיבל כלום. בלילות הוא ניתח את הידיים של היום, בעיקר את ההפסדים, ותיקן את החורים שהשחקנים מצאו בו. לפי ויקיפדיה, לצורך זה הוא השתמש בעוד 4 מיליון שעות ליבה במחשב העל. כל שחקן קיבל לפחות 20,000 דולר, והשאר חולק לפי ההצלחה מול הבוט. ומספר הידיים, 120,000, היה גבוה ב-50% מזה של המשחק מול Claudico, כדי שהתוצאה תהיה מובהקת יותר. לכן גם משך התחרות עלה מ-13 ל-20 ימים. בתחילת הטורניר שוק ההימורים בין שחקני פוקר נתן 4 ל-1 נגד הבוט. ביום השמיני ההימורים כבר היו על מי מבני האדם יפסיד הכי מעט.

בסוף Libratus הוביל ב-1,766,250 דולר בצ’יפים. הביג בליינד היה 100 דולר, כך שמדובר ב-14.7 ביג בליינדים למאה ידיים, קצב זכייה גבוה במיוחד. אחד השחקנים, דונג קים, תיאר אחר כך תחושה שהבוט כאילו ראה את הקלפים שלו, והדגיש שהוא לא חושד ברמאות, רק שהבוט היה טוב עד כדי כך.

Pluribus: בוט פוקר בשולחן מלא

ניצחון ראש בראש הוא דבר אחד. לפי ויקיפדיה, השיטות שעובדות מול יריב אחד, שמתבססות על חישוב שיווי משקל, לא עובדות היטב כשיש שלושה שחקנים או יותר. Pluribus, שפותח על ידי מעבדת הבינה המלאכותית של פייסבוק וקרנגי מלון, פתר את זה בדרך אחרת: הוא שיחק נגד עצמו כדי לבנות אסטרטגיית בסיס, ושיפר אותה בזמן המשחק.

המספרים מפתיעים. אסטרטגיית הבסיס חושבה בשמונה ימים, ובמחירי השוק הייתה עולה כ-144 דולר בלבד. מול חמישה מקצוענים בהולדם ללא הגבלה, הבוט הרוויח בממוצע 5 דולר ליד, כ-1,000 דולר לשעה. ובכל זאת, המפתחים החליטו לא לפרסם את הקוד, מחשש שישמש לרמאות במשחקים אונליין.

האנשים מאחורי הבוטים

מאחורי Libratus ו-Pluribus עמדו שני חוקרים: הפרופסור טואומס סנדהולם והסטודנט שלו, נועם בראון. לפי ויקיפדיה, בראון סיים תואר ראשון במתמטיקה ובמדעי המחשב באוניברסיטת ראטגרס ב-2008, עבד כמה שנים במסחר אלגוריתמי, והגיע לקרנגי מלון ב-2012. ארבעת המקצוענים שהתמודדו מול Libratus היו דונג קים, ג’ייסון לס, ג’ימי צ’או ודניאל מקוליי, והתחרות נקראה Brains vs. Artificial Intelligence: Upping the Ante. המאמר על Libratus פורסם ב-Science ב-2018, ומאמר על אחת הטכניקות שלו זכה בפרס המאמר הטוב ביותר בכנס NeurIPS ב-2017.

גם הניסוי של Pluribus נבנה בזהירות. לפי ויקיפדיה, בחלק אחד המקצוענים דארן אליאס וכריס פרגוסון שיחקו כל אחד 5,000 ידיים לבד מול חמישה עותקים של הבוט. בחלק השני עותק אחד של Pluribus שיחק 10,000 ידיים מול חמישה מקצוענים בכל פעם, מתוך מאגר של 13. הבוט היה רווחי בשני המבנים. המאמר עלה לשער של Science, ונבחר לאחד מתשעת המועמדים הבולטים לפריצת הדרך של השנה ב-2019. ג’ייסון לס תיאר אחר כך תחושה של חוסר אונים מול הבוט, וג’ימי צ’או אמר שבכל משחק מולו הוא לומד משהו חדש למשחק שלו.

הסיפור של בראון לא נעצר בפוקר. לפי ויקיפדיה, ב-2022 הוא היה חלק מהצוות שפיתח את CICERO, בינה מלאכותית שהגיעה לרמה אנושית במשחק האסטרטגיה Diplomacy, ומ-2023 הוא חוקר ב-OpenAI. כלומר, הרעיונות שפותחו בשביל בוט פוקר הפכו לבסיס למחקר רחב בהרבה על קבלת החלטות.

מה הבוטים לימדו את השחקנים

הבוטים לא רק ניצחו. הם הראו לשחקנים דברים שנראו לפני כן כמו טעויות.

1. הימורים גדולים מהקופה. לפי ויקיפדיה, Libratus הימר לפעמים 20,000 דולר לתוך קופה של 100 דולר. אחרי הניצחון שלו, קהילת הפוקר ניתחה את הסגנון הזה ואימצה אותו. היום הימור יתר (Overbet) הוא חלק מהאסטרטגיה של שחקנים חזקים.
2. פחות לימפ. Pluribus כמעט לא נכנס לידיים בהשלמה של הביג בליינד. אם אתם עדיין עושים לימפ עם ידיים בינוניות, טבלת הידיים הפותחות מראה איך לפתוח בהעלאה במקום.
3. דונק בט. לפי ויקיפדיה, Pluribus הימר יותר מהמומחים האנושיים בתחילת סיבוב, אחרי שסיים את הסיבוב הקודם בהשלמה. מהלך שנחשב פעם לחלש קיבל הכשר.
4. איזון. בוט שמהמר באותו גודל עם ידיים חזקות ועם בלופים קשה מאוד לקריאה. זה הרעיון שמאחורי שם הבוט Libratus, ושמאחורי בלוף בפוקר שעובד לאורך זמן.

הכלים שמשמשים היום ללימוד, הסולברים, בנויים על אותה משפחה של אלגוריתמים. מה זה סולבר, איך לומדים איתו ולמה זה נעשה רק אחרי המשחק, הסברנו בהרחבה בעמוד GTO וסולברים בפוקר.

מיתוסים מול עובדות

סביב בוטים ופוקר יש הרבה סיפורים. הנה כמה מהנפוצים, מול מה שמתועד:

• “מחשבים פתרו את הפוקר”. רק חלק ממנו. לפי ויקיפדיה, מה ש“נפתר כמעט לגמרי” ב-2015 הוא לימיט הולדם ראש בראש. בהולדם ללא הגבלה הבוטים מנצחים, אבל לא פתרו את המשחק.
• “בוט פוקר רואה את הקלפים שלך”. לא. דונג קים תיאר תחושה כזאת מול Libratus, אבל הדגיש שהוא לא חושד ברמאות. הבוט פשוט שיחק טוב מאוד במידע שהיה לו.
• “בוטים מנצחים רק בגלל מזל”. בדיוק בשביל זה המשחקים נבנו בשיטה הכפולה, עם עשרות אלפי ידיים. התוצאה של DeepStack, למשל, הייתה יותר מארבע סטיות תקן מעל אפס.
• “להשתמש בסולבר בזמן משחק זה לא כמו בוט”. לפי ויקיפדיה, נכון ל-2020 כל אתרי הפוקר אונליין מחשיבים גם עזרה בזמן אמת, RTA, כרמאות, לא רק בוט שמשחק לבד.

בוט פוקר בשולחן אמיתי: למה זה אסור

כאן הסיפור משנה כיוון. מה שמרתק במעבדה הוא רמאות באונליין. לפי מדיניות האבטחה של רשת GG, שעליה פועלת 7XL, בוט הוא כל תוכנה שמאפשרת לשחק בלי התערבות אנושית או מצמצמת את הצורך של אדם לקבל החלטות. המדיניות קובעת שכל החלטה בשולחן צריכה להתקבל על ידי בעל החשבון, ומפרטת שבוט כולל גם בינה מלאכותית. העונשים האפשריים: חסימה לצמיתות והחרמת כספים. גם תנאי השימוש של GGPoker אוסרים במפורש כל בוט או בינה מלאכותית.

ההגנה הזאת היא בשבילכם. בוט פוקר לא מתעייף, לא נכנס לטילט ולא משחק רגשית, ולכן מול שחקן רגיל יש לו יתרון לא הוגן. איך הרשתות מזהות בוטים וקנוניה, ומה עושים כשיש חשד, מוסבר בעמוד קנוניה ובוטים בפוקר. לפי ויקיפדיה, באוקטובר 2025 GGPoker חסמה לצמיתות שחקן שקיבל עצות בזמן אמת בשולחן גמר של GGMillion$, החרימה את הזכייה שלו וחילקה את הכסף מחדש לשחקנים שנפגעו.

יש גם בינה מלאכותית שמותרת, כי היא מובנית באפליקציה וזמינה לכולם באותה מידה. לפי האתר הרשמי של GGPoker, Smart Betting הוא כלי בינה מלאכותית לנייד שמציע גדלי הימור לפי דפוסי ההימור האישיים שלכם, כדי שלא תצטרכו להקליד סכום או להזיז את הסליידר. לצידו יש Smart HUD, שמוסבר בעמוד הפיצ’רים של 7XL.

מה זה אומר לשחקנים היום

הבוטים הוכיחו שפוקר הוא משחק של מיומנות שאפשר ללמוד: תוכנה שמשחקת טוב יותר מנצחת לאורך זמן, גם כשהמזל משחק תפקיד בכל יד. אבל את מה שהם לימדו לומדים מחוץ לשולחן. עברו על הידיים שלכם אחרי הסשן, נסו להבין למה הימור גדול עובד בבורד מסוים, והתחילו מהבסיס. דרכים ללמוד, מספרים ועד ניתוח ידיים, מרוכזות בעמוד לימוד פוקר.

ואם אתם אוהבים את הצד הזה של המשחק, אולי תיהנו גם מהכתבה על מצלמת הקלפים, ההמצאה שאפשרה לצופים לראות לראשונה את ההחלטות של המקצוענים מבפנים. ובכל מקרה, שחקו רק בכסף שאתם יכולים להרשות לעצמכם להפסיד, והכירו את הכלים בעמוד משחק אחראי.