אתמול התנדבתי לתרום כמה שעות כדי לסקור את התרגום של סילבוס "AI" של ISTQB לעברית. בעיקר, כי ניצן ביקש וחשבתי שזה לא יהיה נורא - אני אתרום כמה שעות ועל הדרך יהיה לי תירוץ לגלות כמה נוראי הסילבוס הספציפי הזה. הרי אי אפשר להמשיך להשמיץ את ISTQB רק על יסוד ההסמכה הבסיסית כשהם עושים עוד כל כך הרבה דברים גרועים. היה איפשהו גם שביב של תקווה שאולי זה יהיה פחות גרוע מאשר חששתי (ספוילר - זה לא היה).
אז קראתי כמה חלקים מהמסמך (לא טרחתי לקרוא את הכל: עברתי על פרק אחד ביסודיות, רפרפתי על האחרים ועברתי בעיון על הבחינה לדוגמה והתשובות) וזו אותה בעיה בדיוק - מבחן אמריקאי מטופש שאפשר לעבור בלי ללמוד כלום ועם היכרות בסיסית עם התעשייה, וגרוע יותר - אפשר לשנן את דרכך כדי לעבור בלי שיש לך ידע רלוונטי כלשהו. נקודת אור אחת הייתה כשהסילבוס הגדיר כמה נקודות לתרגול מעשי. לא, כמובן שאין אכיפה של זה או התייחסות לידע הזה במבחן, אבל לפחות יש פה מקום בו מכוני הכשרה מקבלים עידוד להשקיע קצת מאמץ בללמד משהו. אבל מי שלומד לבד בבית לבחינה? או מכונים שירצו לחסוך עלויות וזמן? הם לא יטרחו עם זה. בכל מקרה, רעיון חיובי.
בדיוק כמו ההסמכה הבסיסית, גם CT-AI מצליח לפספס לחלוטין את המטרה. אבל הפספוס הפעם עמוק יותר. בפרט, במקרה של ההסמכה הבסיסית התקלה היא בכך שהסילבוס לא משיג את המטרה שהוא מתיימר להשיג, אבל כאן יש פספוס כפול - גם לא משיגים את המטרה המוצהרת וגם מנסים להשיג את המטרה הלא נכונה. הסילבוס כולו ממוקד בעיקר בשאלה "איך לבדוק רשתות נוירונים". כן, הוא מכיר בקיומם של אלגוריתמים אחרים שאפשר לכנות בשם AI כמו מערכות חוקים או אלגוריתמים בייסיאניים, אבל עיקר הנפח מוקדש לרשתות נוירונים. זו בחירה סבירה למדי בהתחשב באופנה בזמן שהסילבוס נכתב ובהתחשב בכך שבינה מלאכותית נהירה יותר לא מציבה קשיים מיוחדים כשמגיעים לבדוק אותה. אבל, בדיקה של מודלים כאלה דורשת לא מעט הכשרה מתמטית שאין, בהכרח לבודקי תוכנה, אפילו לאלה שהגיעו למקצוע בדרך המלך ויש להם תואר במדעי המחשב. למעשה, התהליך של "אימון" רשת הוא בעיקר תהליך של בדיקות - מי שבונה את הרשת מריץ דרכה מלא נתונים לאימון ואז בודק האם התוצאה טובה מספיק. אם לא - חוזרים למצוא עוד נתונים להתאמן עליהם, משחקים עם ההגדרות של הרשת וחוזרים על המעגל. האם יש לנו סיבה לחשוב שבודק תוכנה יעשה עבודה טובה יותר בבדיקת המודל? אנחנו אולי נדע לשאול כמה שאלות על בסיס ההקשר (האם המידע מגוון מספיק, האם מי שאימן את הרשת חשב על הוגנות וכו'), אבל מי שיכול לתת תשובה טובה לשאלות הוא מישהו עם הכשרה דומה לזה שבנה את הרשת (או אותו אדם עצמו). הבדיקות שיבצעו בודקי תוכנה בעצמם יהיו נחמדות למשחק, אבל יהיו נחותות יחס למה שיכולים לעשות מהנדסי הנתונים. אם לבודק תוכנה יש את הכישורים הרלוונטיים באופן מקביל למהנדסי הנתונים - הוא לא צריך את הבדיחה הזו שמתחפשת להסמכה.
מטרה נכונה יותר להסמכה כזו הייתה ההכרה במציאות בה בודקי תוכנה כמעט לא בודקים את מנועי הבינה המלאכותית, אלא מערכות בהן משובצות מערכות כאלה, בהן הבינה המלאכותית מוסיפה מימד לא דטרמיניסטי (או לא קל להבנה) להתנהגות המערכת, מה שמקשה על הבדיקות. יש עם זה רק חיסרון אחד - זה קושי די רגיל בבדיקות תוכנה ואי אפשר לרמות אנשים כדי שישלמו על עוד "הסמכה".
בקיצור, אין כאן הפתעות. איכשהו ISTQB הצליחו שוב לקחת אוסף של אנשים די חכמים ולגרום להם להוציא מסמך עם ערך שלילי. זה בזבוז זמן למי שכתב אותו, למי שמלמד בעזרתו ולמי שלומד ממנו. המטרות שלו לא הגיוניות וגם לא מתאימות לזמן הצפוי להכשרה או לקלות המוגזמת בה ניתן להשיג את תעודת ההסמכה.
ודבר אחרון - הגרסה הראשונה של הסילבוס, שנכון להיום היא גם האחרונה, פורסמה באוקטובר 2021. שנה לפני שchatGPT טלטל את השוק. המהירות בה החומר שם התיישן הצליחה להפתיע אותי. זה לא שאבד עליו הכלח לגמרי, אבל הפער ניכר.
ולגבי התשובה לשאלה איתה התחלתי - זה נובע בעיקר מסתירה מעניינת. למרות שISTQB הוא גוף שבעיקר גורם נזק למקצוע הבדיקות, הסניף המקומי שלו - ITCB מנסה לעשות טוב, ומצליח בכל מיני מקומות. כן, יש לי לא מעט ביקורת על כך שפונים רק למכנה המשותף הנמוך ביותר ולא מנסים להרים את הרף, אבל למרות זאת זה מרכז לקהילה של בודקי תוכנה וזה המקום היחיד שאני מכיר בארץ סביבו בודקי תוכנה יכולים להתקבץ. האם היה עדיף שיהיה גוף מנותק מISTQB? כן, בהחלט. אבל אני לא מכיר אחד כזה, ולכן נשאר מסביב לפעילות הזו. כשהם מבקשים עזרה, אני מדי פעם עוזר, גם אם זה לפעילות מגונה כזו. תכל'ס, אני כנראה צריך לבחור טוב יותר, גם אם יש לי את הזמן.
No comments:
Post a Comment