Thursday, December 21, 2017

טוב יותר מאשר ציפיתי

Better than I expected

לפני כמעט חודש השתתפתי, לראשונה בחיי, בסיגיסט.
בכנות? הגעתי לכנס הזה עם ציפיות נמוכות מאוד - סיגיסט, שבשנים קודמות רק נתמך באופן חזק מאוד ע"י מכללת סלע, נבלע השנה לחלוטין בתוך כנס גדול יותר בשם Sela Developer Practice. ועד כה, בכל השנים הקודמות מערך ההרצאות שהיה שם לא הצליח לגרום לי להתרשם במיוחד. כל הסימנים המוקדמים העידו גם הם על משהו מחופף ולא מאורגן: הקריאה להרצאות יצאה באיחור משמעותי (מספיק מאוחר כדי שאקבל טלפון יום אחד עם "עמית, לא הספקנו להוציא CFP, מה דעתך להעביר הרצאה?"), קיבלתי התראה של פחות משבועיים כדי לשלוח את המצגת (במקום, למשל, לקבל את הדדליין הזה כתגובה לשליחת תיאור ההרצאה) ובניגוד למה שקורה גם בכנסים המסחריים ביותר עליהם שמעתי (אני מתייחס כרגע לכנסי Star השונים) - מסתבר שמרצים מקבלים כניסה אך ורק ליום בו הם מרצים (למה זה חשוב? כי מי שהעמיד את עצמו על במה הופך להיות מוקד לשיחה, הוא פרצוף שמזהים ואפשר לשאול אותו שאלות, ואם יש משהו בתחום ההתמחות של המרצה הזה שרלוונטי למשתתף בכנס, אפשר פשוט לגשת אליו. כשכנס מגביל את הכניסה למרצים, הוא אומר "לא אכפת לי מהתוכן שזמין למשתתפים מחוץ להרצאות", שזה קצת עצוב. לצורך השוואה, בכנס הבדיקות האירופי, מרצים התבקשו במפורש להגיע לכל ימי הכנס ולהיות זמינים לקהל).

אבל, למרות כל הסימנים האלה, דווקא הייתה לי חוויה מוצלחת למדי - הגעתי קצת באיחור לכנס (כי פקקים, ובוקר) אבל הספקתי לשמוע מספיק מההרצאה של איגור כדי להבין, בערך, על מה הוא מדבר. אחר כך הייתה ההרצאה של James Lyndsay, שהייתה מצויינת - היו שם מגוון רעיונות מעניינים, ושניים מהם נשארו לי בראש. הראשון: כאשר מציגים דברים באופן חזותי, קל יותר לזהות בעיות מסויימות. השני, שהיה יותר תזכורת: לא עוצרים לחשוב אם יש טעם בבדיקות שקל ומהר לבצע. בזמן שאנחנו מתלבטים כבר יכולנו להריץ אותן פעמיים.
אחרי ההרצאה של ג'יימס, הגיע תורי לעמוד מול קהל ולדבר, ועד כמה שאני יכול לקבוע - נראה שרוב הקהל היה מרוצה (אני ממתין למשוב שמארגני הכנס אספו כדי לדעת קצת יותר). בהמשך הכנס הקשבתי להרצאות של מור, דורון ואלון - שהיו מעניינות מאוד, כל אחת בדרכה.
בין הרצאה להרצאה היו הפסקות של רבע שעה שבאופן רשמי תוייגו כהפסקות לצורכי רישות עסקי ("נטוורקינג", בלעז), מה שלדעתי היה יכול לפעול טוב יותר אלמלא רוב מוחלט של המשתתפים היו מגיעים בקבוצות. יצא לי לראות בעיקר אנשים שהסתובבו עם עמיתיהם לעבודה ופחות שיחות של אנשים עם בודקי תוכנה אחרים. כדי להוסיף חטא על פשע, גיליתי שהנוכחים היו מחולקים מראש לפי צבע השרוך שעל התג שלהם - מסתבר שההרשמה לכנס הייתה לפי ערוץ (או, כמו שהמארגנים קראו לזה "קורס"), ובכנס עם מגוון נושאים מאוד מרשים, נראה שעשו את המקסימום כדי לבודד את הקהל - ההרצאות של דוט-נט או אלו שדיברו על מחשוב ענן היו בקומה אחרת משני ערוצי הבדיקות, ובכל קומה הייתה עמדת קפה ושתייה, כדי לא לעודד אנשים, חלילה, לצאת מהמסגרת שלהם.
למרות זאת, היו לי שלושה יתרונות משמעותיים - קודם כל, הודות ללא מעט אנשים טובים, היו לי מדבקות של Test-IL לחלק לאנשים ולהמליץ להם להגיע למפגשים החודשיים. שנית, כמו כל מרצה,  עמדתי על במה ויצרתי את הרושם שאני מומחה במשהו, אז כשניסיתי לפתח שיחה, לאנשים היה משהו לומר לי. שלישית - חלק מהפרצופים (בעיקר אלו של המרצים האחרים) היו מוכרים לי הודות להגעה למפגשים החודשיים. בקיצור, למרות המאמצים הנכבדים של מכללת סלע, הצלחתי גם לדבר עם אנשים ולשמוע על החוויות שלהם.
בסך הכל, לא רע.
כמו שאפשר לנחש - אני עדיין לא יכול להמליץ על הגעה לכנס הזה ולא יכול לומר שזה אחד הכנסים הטובים שהייתי בהם. מצד שני, הוא לא היה רע במיוחד וההרצאות היו טובות. מצד שני - עם קצת מאמץ, בהחלט אפשר להפיק מזה חוויה לא רעה של כנס, ובהשוואה לכנסים אחרים בעולם, 800 ש"ח ליום זה לא נורא (ואם נרשמים לשלושת הימים, 1800 ש"ח זה אפילו טוב למדי, וזה לפני הנחות על רישום קבוצתי), וקל יותר לשכנע את החברה לשלם על כנס מקומי (אם במקרה אתם קוראים בעברית ולא גרים בארץ - אל תטרחו לקנות כרטיס טיסה רק בשביל הכנס, אבל אם אתם בכל מקרה כאן...)  ואני בעיקר מקווה שהכנס ישתפר בהמשך.



So, A while ago (almost a month now), I participated in SIGiST Israel.
Frankly? I got to this conference with low expectations. In the previous years the program failed to impress me, and this time the conference was organized as a part of a tech training vendor (Sela), and was swallowed by it. All other signs were setting me up for disappointment as well - the organizers did not have time to issue a CFP, so I got  one day a phone call saying "Amit, would you give a talk at SIGiST?", and despite the conference being a 4 day event, speakers got to attend only the day they were presenting (which means less speakers are wandering about the conference and available for attendees to contact, or even just a face to recognize. Speakers, at this conference, are apparently here to deliver a talk, and that's it. The conference is saying "I don't care about content outside of the scheduled talks" For comparison, the European testing conference is specifically asking the speakers to be available at other days of the conference).
At the day of the conference, I got a bit late due to traffic, and me being a bit too optimistic about how long it will actually take me to get there, but I still got to hear a good part of Igor's talk and could understand, for the most part, what he was talking about.
Then there was James Lyndsay with a great keynote (which he delivered twice, as there wasn't a big enough room for all participants). I took away from it two things (and there was much more to take) - When presenting data in a visual way it's easier for a human to detect problems (there was a great way of testing a PRNG in a simple way I believe is quite effective despite not being cryptographically sound). The second idea, which was a reminder more than anything else - if a test is cheap to run, just do it. Don't worry about considering whether or not to execute it, since by the time you'll be done considering you could have run this test twice.
Next was my time to present my talk, and as far as I can tell, the audience enjoyed it (I'm still waiting for the feedback te organizers collected, so currently I have only a gut feeling and a few questions I got from the audience). After that I got to listen to talks by Mor, Doron and Alon,each one interesting in its own way.
Between the talks there were 15 minutes brakes, that were officially "networking breaks", which I think could have been better had most of the attendees not arrived in groups from the same office. I got to see more people hanging around their colleagues than people getting acquainted to people whom they have yet to meet. To add insult to injury - I found out that attendees were divided by the track they registered to (registering for a track? really?) and each got a different color string with their badge. I a very versatile conference, it looked as if they were doing their best to isolate people: The .Net and cloud tracks were given in a different floor, and every floor had its own coffee and snacks station to make sure people had no reason to leave their designated area.
However, I had three advantages that helped me to get a bit of conversation here and there. First, thanks to a lot of good people, I had some stickers of our local meetup group, and the goal of distributing them to as many people as I could. It just so happens, that this is a nice way to restart a conversation. It goes something like that: "Hi, how are you? where are you from? what product are you working on?" *conversation dies out* "Say, did you get one of these already? No? Then here's a couple for you, do check out our meetup group, and you are more than invited to come, or present" And we got another three or five minutes of chat over the meetup.
Second, I was a speaker. I stood in front of a podium and people got to recognize my face and I managed to confuse them into thinking I was an expert in something (first rule of becoming an expert - don't correct people when they think you are one), so they had something to ask me about, which is far safer than simply going and saying "Hi, Let's talk about something".
Third - Thanks to the meetup group, I had some familiar faces in the crowd that were not from my own "click", so when I said hi to someone, I would automatically get introduced to whomever they were talking to. In fact, I ended the conference having a real nice conversation with someone I met exactly this way.
And last (yes, I said three, this one is not an advantage, anyone could do this) - I was set out to try and do exactly this.
So despite Sela's best efforts, I managed to actually meet some people.

As you can guess - I still wouldn't recommend this conference as one of the best I've been at (and I wasn't in that many), it lacks a lot in terms of organization and community building - but it wasn't all bad, and with the right mindset, I could make it into a day worth my time. And, compared to many other conferences - it was not extremely expensive, about 400 euro for three days isn't an awful lot of money to pay (though, the testing conference was one day only, so that would be closer to 200 euro for that day alone), and it's easier to get your company paying for a local conference (if it wasn't clear - don't bother flying in for that one). I am hopeful that in the future this will improve and become at least a decent conference. 

Saturday, December 9, 2017

"קודם תלמד בדיקות"

"First you have to learn testing


אחת לכמה זמן אני נתקל באינטרנט בשאלה "אני מתחיל ללמוד על בדיקות, האם כדאי לי ללמוד אוטומציה?" והתשובה של יותר מדי אנשים היא "קודם צריך ללמוד את הבסיס - מתודולוגית בדיקות". 
ובכן - בולשיט. זה כמו לומר שאי אפשר ללמוד חשבון לפני ששולטים היטב באנגלית כי שמות המשתנים הם באנגלית. בסופו של יום, תכנות ובדיקות תוכנה הם שני כישורים חשובים כל אחד בפני עצמו והם אינם עומדים בסתירה זה לזה. 
אז כן - רוצים להתחיל את דרככם בבדיקות ותוהים מה כדאי ללמוד? תכנות זה אחלה, גם סטטיסטיקה, וגרפיקה, וניהול מסדי נתונים, ורשתות תקשורת, ואלקטרוניקה, וכתיבת מסמכים יעילה, ופסיכולוגיה ותקשורת (אנושית) וכלכלה, וניהול ו... הבנתם את הקטע. 
יש המון דברים שעוזרים במידה זו או אחרת בזמן בדיקות, וכדאי ללמוד את כל מה שאנחנו יכולים. כמובן - אי אפשר ללמוד את הכל יחד, וכדאי להתמקד בדברים החשובים יותר קודם. בכישורים ובידע שאפשר להגדיר ככישורי ליבה של המקצוע. את כישורי הליבה חשוב ללמוד קודם, כי בלעדיהם קשה. שאר הדברים? רק אם יש זמן ומספיק קשב כדי לא לפגוע ברכישת כישורי הליבה. 
נשאלת השאלה - האם תכנות נכלל בכישורי הליבה של בדיקות תוכנה? אחרי הכל, יש המון בודקי תוכנה שלא יודעים לתכנת. לדעתי, התשובה היא בהחלט כן. אנחנו בודקים מוצרים שונים מעולמות תוכן שונים, אבל לכולם יש משהו משותף - אלו מוצרי תוכנה. בבסיס כל אחד ואחד מהמוצרים האלה יש קוד שרץ. אולי זה קוד שנכתב בשפה עילית, אולי זה בכלל מעגל משובץ שהקוד צרוב לתוכו - אבל זה תמיד קוד, והוא תמיד מתנהג כמו קוד. לכן, כמינימום, חשוב שנהיה מסוגלים להבין איך קוד פועל ואיך קוד נכשל. הדרך היחידה להבין דברים כאלה באמת היא לכתוב קצת קוד בעצמנו. זה לא חייב להיות קוד מסובך מאוד, אבל מאה פעמים בהן נקרא או נשמע על Off By One Bug לא יהיו שקולות לפעם האחת בה נכתוב לולאה ונפספס פעולה אחת. 

ובכל זאת, כל מיני אנשים שהשקיעו מאמץ ומחשבה טוענים חזור וטעון ש"צריך ללמוד לבדוק לפני שלומדים אוטומציה" - איך זה הגיוני? האם הם כולם טועים?
אז לא בדיוק. אם מתעלמים מאלו שלא יודעים לתכנת וצועקים חזק כדי לנסות ולמנוע מהעולם להשתנות, עדיין יש שתי סיבות שאני מצליח לחשוב עליהן שיובילו לתשובה כזו: 
  1. הטיית השורד. אנשים נוטים לייחס חשיבות לדברים שפעלו עבורם - אני מנחש שרוב אלו שיענו כך למדו לתכנת אחרי כמה שנות ניסיון בבדיקות, והם רואים את הערך שידע מעמיק במתודולוגיות בדיקה הוסיף למאמצי התכנות שלהם. כמובן, גם הגישה שלי לפיה לומדים לתכנת כמה שיותר מהר נובעת מהטיית השרידה שלי - אני הגעתי למשרת הבדיקות היישר מהאוניברסיטה, שם למדתי לתכנת, וגם כמה דברים על בדיקות תוכנה. לא שמתי לב שהידע התכנותי שלי פגע ביכולת שלי לרכוש ידע בבדיקות תוכנה. 
  2. התקת מטרות (ובלע"ז - Goal Displacement). אני רוצה להצביע לרגע על כך שהשאלה המקורית הייתה "האם כדאי לי ללמוד אוטומציה", והתשובה שלי הייתה "כן, כדאי ללמוד לתכנת". מי שהגדרת התפקיד שלו היא "אתה כותב אוטומציה" יתמקד, באופן טבעי, בכתיבת אוטומציה. כאשר משלבים מיקוד שכזה ביחד עם היעדר ניסיון בבדיקות תוכנה, לא נדיר למצוא אנשים שכותבים קוד לבעיות שעדיף היה לא לכתוב קוד כדי לפתור אותן (או שהיה עדיף לכתוב קוד במקום אחר ובצורה אחרת כדי להתמודד איתן). כל מיני תופעות מגונות של אנשים שכותבים תסריט שלם שמזיז את הממשק הגרפי כדי לכסות דברים שעדיף להם להיות מכוסים בבדיקות יחידה, או כאלו שמוסיפים "חכה עשר שניות" לכל המבדקים רק כי לפעמים פעולות לוקחות המון זמן (במקום, למשל, לחקור למה דברים לוקחים עשר שניות, או חלילה, לפתוח על זה באג). ואחרי הכל, אם התפקיד שלי הוא "לכתוב אוטומציה", אני לא כאן כדי לבדוק את המוצר, אני כאן כדי לוודא שהתסריטים שקיבלתי מצוות הבדיקות רצים כמו שצריך. 
בקיצור - התשובה לשאלה "האם ללמוד אוטומציה" איננה "אחר כך", אלא, באופן חד וחלק - לא. 
כן חשוב ללמוד לתכנת, כי תכנות הוא כלי נהדר ומגוון שיש לא מעט דברים שקשה לעשות בלעדיו. המטרה1 לא מושפעת מהתשובה לשאלה "האם אני יודע לתכנת", בתנאי שהתכנות משרת את המטרה הזו. 

1 בהתחלה רציתי לכתוב כאן שהמטרה היא "לבדוק תוכנה", רק שכאן אנחנו נכנסים לשאלה אחרת - מה מטרת בדיקות התוכנה, שזו שאלה שאולי אכתוב עליה רשומה נפרדת בהזדמנות (מצד שני, סביר שלא) 






Every now and then I see a question posted somewhere "I'm starting my way in testing, should I learn automation?" And too many times I see the response "You should learn first to test well, and expand to automation only once you have a good testing foundation".

Well, I call bullshit. Saying such a thing is similar to stating that one cannot learn higher math before mastering Greek, as many of the symbols are Greek letters.
Programming and testing are two important skills for a software tester, and acquiring one is not impeding acquiring the other in any way.
So, what should a software tester know? Testing is one thing, programming is another, as are statistics, graphics, network, electronics, databases, communication skills, finance, management, psychology and ... - you got the gist.
There are a whole bunch of skills that help us when we test software, and it is a great thing to learn any part of them. Naturally, we cannot learn everything, and certainly not everything at the same time, so we have to prioritize. It's better to focus on the skills that will deliver the most value in most positions (or, if you know the position you aim for - most value in that position), and I'll call those "core skills" - it does not mean that everyone has them, but only that they are not esoteric and possessing them would benefit most practitioners. The core skills are what we should focus on "first". Learning other stuff? only if it does not hinder our efforts to acquire the core skills (or we are already comfortable enough with them to expand).

The question is - is coding a core testing skill? After all, many testers do not code. Personally, I answer this question with a definite yes, based on the fact that all of us are testing software, and we should have a pretty good understanding of "how software works" (and how it fails). The only way I know to get a feeling  around this (which later can lead to understanding, but feeling is good enough for beginners) is to actually write code. One can hear a million times about the "Off By One Bug" and even understand it pretty well, but those million times pale in face of the one time that person wrote a simple for loop just to find out that one step was missing.

Still, some people who have invested genuine thought about this subject still claim that one should learn to test before they learn to code. Could it be that they are all wrong?
Well, they could, but it's not very probable. Putting aside some of them who simply don't code and are trying to assert everyone that nothing is changing in the testing world, I can think of two reasons to prefer focusing on "manual" testing (BTW. I really hate this term, any suggestion of replacing it are welcome. I've tried "human testing" and it's not working for me) before learning to write automated checks.

  1. Survivorship bias: Some people learned to code after they had some experience with testing, and I'm assuming they see the value they gained from having this testing experience. This value then becomes "the way to do it". Naturally, my own opinion, as someone who started as a coding tester, is biased just as much. 
  2. Goal displacement: I want to point out that the original question was "should I learn automation". It is only my response that was "learn to code". People whose role is to "create automation" tend, amazingly, to focus on creating "automation" (which, in most places having such role, means E2E scenarios). When combined with lack of testing knowledge, it is not rare for people in this role to "automate" thoughtlessly - writing code at the wrong level, or trying to write code to solve problems that are better left to humans, or working around a defect in the system (say, a screen is taking 10-20 seconds to load) instead of investigating the problem or opening a bug. After all, if my role is to "write automation", I'm not here to test the product. I'm here to make sure the test execution is delivered on time and is stable. 
So, in short, the answer to "Should I learn automation" isn't "later", it is a resounding "no". 
It is important to learn how to code, since coding is a powerful tool that can help quite a bit with our tasks and there are several things we simply can't do without it. Our goal1 as testers should not be affected by whether we know to code or not - as long as the coding serves this goal. 



1 Initially I wrote "the goal is to test the software", which leads to another discussion about what is the role of software testing, which I'll leave for another time (don't hold your breath for it, though). Currently, I like ATAOSQ quite a bit