Friday, May 31, 2019
Nordic Testing Days - day 1
Tutorial day is over, and it's time for the first day of the conference. I did the responsible thing and got enough sleep, despite some people (whom name shall remain undisclosed) who were dragging speakers to try out this "traditional" alcoholic beverage (and by "traditional", I mean "is probably going to kill you horribly"), so a fresh start for a new day.
I got into the venue just in time for the keynote about machine learning and testing. It was interesting, and would have made a good track talk, I was expecting more out of a keynote.
Then, I went to give a workshop and teach people about unit testing. It's a bit long, and setup always takes longer than planned, but all in all, I think it went well, I hope the participants agree.
After lunch i went to participate in Alex Schladebeck's workshop on testopsies and micro-heuristics, in which we spent some time learning about how to think about what it is that we do while testing. Narrating a testing session can be quite challenging, but very insightful. Being forced to communicate reason ("I'm surprised by x, so I'm going to investigate that by doing y") is a great way to both learn what we do and teach others how we think.
Apparently, one opening keynote and two workshops leave time only for the closing keynote of the day, in which Raimond Sinivee told about his journey and how relying on his existing testing skills he was able to become a well rounded software engineer (for the purpose of this talk, an engineer is someone who has both testing and development skills and is functioning in those two roles). It was a very good keynote, inspiring people in what I think to be a good direction.
Naturally, things do not simply end after the last lecture - we had a conference party, alongside with two activities I really like: lightning talks and Powerpoint karaoke. I could probably tell you about it, but it will not do it any justice. I guess you really should have been there.
Thursday, May 30, 2019
Nordic testing days 2019 - tutorial day
Tutorial day is over, and the conference is starting with a very positive note. After arriving late to Tallinn (and enjoying the beautiful weather here - rain and everything, while at home it's 35 degrees centigrade), I woke up, had some breakfast, and headed to the conference venue.
I didn't remember which workshop I chose (there were two options that I could have selected for different reasons), and was very happy that the one I preferred now was the one I chose on registration as well. I attended the tutorial on android security, hoping to have some insight to what's going over there and collect some pointer for future reference in case of need. Marko Belzetski did a fine work as an instructor and took us on a sightseeing trip that covered a lot of topics - from reverse engineering to repackaging and exploiting internal procedure calls, as well as using a proxy to inspect the outgoing data and avoid certificate pinning.
After a packed learning day, I went to the hotel to rest for half an hour, and then - off to speakers' dinner. We got up on a boat where good food and better conversation awaited. All in all, a great way to finish a day, especially when the sun is still up at 22:30.
Tuesday, May 28, 2019
End of an era
Hebrew version
Almost two months ago ago was my last day at RSA, and I wrote a bit about it in Hebrew. I intended to publish The English version at the same day, but barely managed to get the Hebrew version out, and as it turned to be, I was a bit occupied in the past couple of months, part of it was preparing my workshop for Nordic Testing Days. Now, when I'm at the airport, waiting for a long connection, I have some time to catch on this gap.
After seven years and a bit, following an opportunity that jumped into my hands, I decided to move on. What can I say? It's not an easy decision to make after so much time, especially since RSA was my first "grown-up" job where I've learned a lot and where my entire professional persona has evolved. Such turn points are a good opportunity to look back and reflect, so here I am, reflecting.
The easiest thing is to drown thoughts with numbers, and thus I'll start with it:
1 In short, a school is a group of professionals that share a common paradigm (maybe more than one?), and a paradigm is an angle to look on and define the problem space in a field. It's a set of questions that are interesting and some tools to answer them.
For example, the "reader's response" school is focused on answering the question "how is a text processed by a reader and what are the mechanisms through which a text is having its effect on us" (So, The Iliad would be a very different thing for contemporary readers and ancient Greeks). Questions such as "what was the writer's intentions" are mostly irrelevant and secondary to the perception of the act of reading as a dialog between the reader and the text) ↩
2 I use the term "European testing community" from my own personal perspective, There are multiple testing communities in Europe, with varying amounts of overlapping. I use this term to note the people I met through ETC (not necessarily at ETC, though) ↩
Almost two months ago ago was my last day at RSA, and I wrote a bit about it in Hebrew. I intended to publish The English version at the same day, but barely managed to get the Hebrew version out, and as it turned to be, I was a bit occupied in the past couple of months, part of it was preparing my workshop for Nordic Testing Days. Now, when I'm at the airport, waiting for a long connection, I have some time to catch on this gap.
After seven years and a bit, following an opportunity that jumped into my hands, I decided to move on. What can I say? It's not an easy decision to make after so much time, especially since RSA was my first "grown-up" job where I've learned a lot and where my entire professional persona has evolved. Such turn points are a good opportunity to look back and reflect, so here I am, reflecting.
The easiest thing is to drown thoughts with numbers, and thus I'll start with it:
- Seven years
- 41 team members
- 8 managers (two of which were team members before)
- One product, two versions (of a sort)
- ~25 major releases
- 13 conferences in which I've participated, in 4 of which I attended as a speaker
- two certification diplomas, one is completely useless, and the other one is not much more so.
Naturally, those numbers are not telling any significant story, and tell nothing about how my professional approach has changed alongside with my role.
Officially, my role in the team has not changed. I was hired as a (junior) tester, promoted to a (senior) tester and even to a (principal) tester. Each promotion came with the expectation "please continue to do what you are doing". In practice, what I did changed drastically.
I started my way in RSA fresh out of the university after a friend who worked there referred me, and since all I knew about testing was what I've learned in one introductory course to software testing, I thought that the job of a software tester is to test software (spoiler - it is not). I started with almost decent programming skills, and with knowledge about testing that was just a bit over the required knowledge to pass the ISTQB CTFL test (The professor passing this course was a member of ITCB - the Israeli chapter of ISTQB, but we had some extra material in to fill a semester-worth of course for CS students that don't need to waste time on "what's a loop"). This meant I came prepared to write mountains of documents and to deeply analyze the software I was about to work on. Frankly, my initial experience was pretty close to that: I came to what soon became six regression cycles running back to back due to some major changes that incorporated a lot of risk - we upgraded the OS and then upgraded some central components in our system, so we had to go over most of the system just to see that nothing was very broken. We worked with tests that were written some time ago in Quality-Center, and with rudimentary automation that wasn't that great, and in most cases - simply wasn't there. In fact, one of the test scripts was so poor that I asked for, and got, some time to re-write it using the framework we've started building so that it will be easy to understand what's going on and in case of failure, understand what were the symptoms of the failure. All in all, my focus was on learning the product and while doing so, learn also how to test software. Oh, and bugs, what fun was it to find bugs.
After about a year I got to a point of unease - I was a bit more familiar with the product, and I thought I did a decent job, but I felt that my theoretical knowledge on testing wasn't improving and I looked with my then manager (The third one, after maternity leave and a wave of layoffs) and we came to a conclusion that a course could be a good thing. But what courses are available on testing? We didn't find anything we thought was relevant or useful, but there was a CTFL certification course, so what the heck - company's paying and we're out of ideas. Now's probably the time to say: Despite what I have against this lousy certification, the preparation course can be used to learn a thing or two about testing if the instructor is experienced, you have some knowledge about how real software projects look like and you are prepared to ask a lot of "why" questions each time you hear a recommendation that does not align with reality (which is about 90% of the material). I got out of the course with some ideas for improving our process, which, unsurprisingly, included more paperwork. I think this was a point where I can mark a changing point - about the same time I decided to act upon a rumour I heard back at the university that said professional hi-tech workers should real to always stay current. I probably started doing some reading a bit before the course, but it takes some time for knowledge and impact to accumulate. That second phase came when I've encountered James Bach's &Co. ideas, out of which the most representative example is probably this video. Another idea that I found very helpful was the concept of the "testing schools" which I found convenient, as it connected well with what I learned at the university about different literary schools and, more importantly, different paradigms 1.
The concept of different testing paradigms seemed very sensible to me, and the division to five schools was convenient. The factory school, which is represented very clearly in the ISTQB syllabi (mostly in the CTFL, but it was in the others I skimmed through), is focused on managing the testing process, and treats software creation like an assembly line - where consistency and predictability are the main focus, as well as cost saving. The analytical school focuses on scientific and formal methods of measuring and improving testing, and it provides tools to practitioners of the other schools that are busy with the real world of software delivery. The agile school is focused on the developer's perspective - unit testing, TDD, fast feedback and freeing bottlenecks are the bread and butter of the agile tester, and this school provides language to engage non-testers in testing, which is mission-critical in most software projects. The control school (or, in Pettichord's terminology - "quality assurance school" tries to understand how to prevent mistakes from getting to production, on setting standards and regulations and deploying measurements to deal with bug escapes). The line between this one and the factory school is a bit blurry, but I think that having two focal points is important enough to have those two schools separate. The final school, which has assumed the title "Context Driven school" (To be honest, only people within the CDT communities are using the notion of testing schools. Others, such as Rex Black, are opposed to it) and is focused on the skills of the individual tester and treats testing as performance - In the balance between personal skills and methodology, the former has much more influence on how effective will the testing process be.
The message carried by the CDT community appealed to me very much - It said that *my* skills are the most important to do a good job, and I found there encouragement to think on how I test software and to notice the language I was using. My focus shifted gradually from processes and bug finding to improving as a software tester.
Roughly at the same time, by the end of 2013, I connected, almost by mistake, to the local testing community. A colleague of mine told me of a testing meetup in Jerusalem and I thought it could be a good way to connect with people working in the city and maybe find my next position (I don't know if I mentioned it before, but when I first started in RSA I had full intentions of staying there for a year or two and then return to Jerusalem. A blink of an eye later and seven years have passed, me still living in a self imposed exile) I got there, met some people, and someone managed to convince me to participate in an online forum (Facebook wasn't as dominant as it is today in the testing community in Israel, or rather - the forum wasn't yet as dormant as it is today). This is how I began chatting with other testers and going to meetups.
In the meantime, things progressed at a slow and comfy pace at work - my coding skills improved, I learned the product, people and processes and there even were parts of the product I was the expert on, having been the one working on them. In addition, my team was maturing as a scrum team: We've learned to work closer and minimize gaps between functions in the team and the pace was speeding up nicely. As time passed, I noticed that most of my contribution was not while I was "working" with the software but rather when I chatted around with other team members, offering some advice, passing on rumors and asking questions, and then Brendan Connolly wrote this post, which connected well with what I was experiencing and it helped me define my role as a nexus of information and not as "someone who comes to check that everything's ok"
Time passed, and some of the faces around me changed, when I started noticing that not enough testers at work are showing interest in professional development, and unsurprisingly, things had some place for improvement. It wasn't only that information didn't really pass between teams working on similar products, but the standards were different as well: People who worked for years in one team didn't have the skills to even pass a basic interview for junior position in another, let alone function in that team. Once I noticed this phenomenon, it was impossible to un-notice it, so I looked for ways to help resolve this (I was sadly unsuccessful in that). Completely unrelated to this but about the same time I saw a post in Maaret's blog I was (and still am) following that published an experiment - half price tickets for a testing conference, based solely on the reputation of the organisers. Well, cool. I was wondering about professional conferences, but they were quite expensive to try out and pay for myself, and this one was not that expensive, and being in Romania it was a cheap enough flight and the extra expenses were also cheap enough for me to decide on taking a vacation and attend the conference. What can I say? The European Testing conference was a great conference to start with - I met awesome people, learned a bunch, and came back home with some ideas I wanted to try out. It was also the point where I met the European testing community2 and started disconnecting from the American CDT ideas (mainly because I connected more to an inclusive discussion instead of the debate oriented one).
I was also influenced by the changes in my team - when one of of our developers left, I found myself in a position where I was the only one in the team who was familiar with the bureaucracy around software security (or rather, the only one who was familiar with it and wasn't already swamped with back-to-back meetings) I had the opportunity to develop my understanding in software security and became the team's expert. On a side note, being an expert does not require any specific knowledge, just declaring "I'm an expert", and whenever anyone comes to you with a question, respond with "I don't know, but let's figure this out together". Another such event was when after 5 years at RSA my manager for 3 years, who was a technical leader in the team when I joined, left to work at another place and I had to help my new manager to figure out what was going over, and in the meanwhile to shield the rest of the team from external pressures. I was thus exposed to just enough of the process of managing people to know that this is not something I want to do at the moment.
All of those processes, alongside the progress we made in combining the test and dev parts of the team, and listening to the ABTesting podcast helped me grow to the paradigm that currently appeals the most to me, which is phrased quite eloquently under the modern testing principles, which despite the name, is not a testing paradigm but rather a software production (or however you would call the process of defining, developing, testing and deploying an application) one. There is one point on which I disagree with those principles, and this is the exaggerated focus on the "customer". I wrote about this before, so I won't go into it again, I'll just mention that for me - the business comes first. I work for my employer, and in the cases where my employer interests are not aligned with the customer, I'll choose my employer.
After all this time, when I'm looking back, what I see is mostly people. Those who were there when I arrived and those who stayed there when I moved on. There were good and difficult times, and each person added their own unique something into this cauldron. I think I learned at least a bit from everyone I worked with (even if some people taught me patience by testing it over and over), I've learned that every software out is a matter of compromise, how to work as part of a team and how to write better code and talk about the principles that guide me. I learned a thing or two about software security and bureaucracy and how to both ask and receive help. Most of all, I've learned that the most important thing are the people you work with.
So, thank you for everything, and we'll probably meet again.
The concept of different testing paradigms seemed very sensible to me, and the division to five schools was convenient. The factory school, which is represented very clearly in the ISTQB syllabi (mostly in the CTFL, but it was in the others I skimmed through), is focused on managing the testing process, and treats software creation like an assembly line - where consistency and predictability are the main focus, as well as cost saving. The analytical school focuses on scientific and formal methods of measuring and improving testing, and it provides tools to practitioners of the other schools that are busy with the real world of software delivery. The agile school is focused on the developer's perspective - unit testing, TDD, fast feedback and freeing bottlenecks are the bread and butter of the agile tester, and this school provides language to engage non-testers in testing, which is mission-critical in most software projects. The control school (or, in Pettichord's terminology - "quality assurance school" tries to understand how to prevent mistakes from getting to production, on setting standards and regulations and deploying measurements to deal with bug escapes). The line between this one and the factory school is a bit blurry, but I think that having two focal points is important enough to have those two schools separate. The final school, which has assumed the title "Context Driven school" (To be honest, only people within the CDT communities are using the notion of testing schools. Others, such as Rex Black, are opposed to it) and is focused on the skills of the individual tester and treats testing as performance - In the balance between personal skills and methodology, the former has much more influence on how effective will the testing process be.
The message carried by the CDT community appealed to me very much - It said that *my* skills are the most important to do a good job, and I found there encouragement to think on how I test software and to notice the language I was using. My focus shifted gradually from processes and bug finding to improving as a software tester.
Roughly at the same time, by the end of 2013, I connected, almost by mistake, to the local testing community. A colleague of mine told me of a testing meetup in Jerusalem and I thought it could be a good way to connect with people working in the city and maybe find my next position (I don't know if I mentioned it before, but when I first started in RSA I had full intentions of staying there for a year or two and then return to Jerusalem. A blink of an eye later and seven years have passed, me still living in a self imposed exile) I got there, met some people, and someone managed to convince me to participate in an online forum (Facebook wasn't as dominant as it is today in the testing community in Israel, or rather - the forum wasn't yet as dormant as it is today). This is how I began chatting with other testers and going to meetups.
In the meantime, things progressed at a slow and comfy pace at work - my coding skills improved, I learned the product, people and processes and there even were parts of the product I was the expert on, having been the one working on them. In addition, my team was maturing as a scrum team: We've learned to work closer and minimize gaps between functions in the team and the pace was speeding up nicely. As time passed, I noticed that most of my contribution was not while I was "working" with the software but rather when I chatted around with other team members, offering some advice, passing on rumors and asking questions, and then Brendan Connolly wrote this post, which connected well with what I was experiencing and it helped me define my role as a nexus of information and not as "someone who comes to check that everything's ok"
Time passed, and some of the faces around me changed, when I started noticing that not enough testers at work are showing interest in professional development, and unsurprisingly, things had some place for improvement. It wasn't only that information didn't really pass between teams working on similar products, but the standards were different as well: People who worked for years in one team didn't have the skills to even pass a basic interview for junior position in another, let alone function in that team. Once I noticed this phenomenon, it was impossible to un-notice it, so I looked for ways to help resolve this (I was sadly unsuccessful in that). Completely unrelated to this but about the same time I saw a post in Maaret's blog I was (and still am) following that published an experiment - half price tickets for a testing conference, based solely on the reputation of the organisers. Well, cool. I was wondering about professional conferences, but they were quite expensive to try out and pay for myself, and this one was not that expensive, and being in Romania it was a cheap enough flight and the extra expenses were also cheap enough for me to decide on taking a vacation and attend the conference. What can I say? The European Testing conference was a great conference to start with - I met awesome people, learned a bunch, and came back home with some ideas I wanted to try out. It was also the point where I met the European testing community2 and started disconnecting from the American CDT ideas (mainly because I connected more to an inclusive discussion instead of the debate oriented one).
I was also influenced by the changes in my team - when one of of our developers left, I found myself in a position where I was the only one in the team who was familiar with the bureaucracy around software security (or rather, the only one who was familiar with it and wasn't already swamped with back-to-back meetings) I had the opportunity to develop my understanding in software security and became the team's expert. On a side note, being an expert does not require any specific knowledge, just declaring "I'm an expert", and whenever anyone comes to you with a question, respond with "I don't know, but let's figure this out together". Another such event was when after 5 years at RSA my manager for 3 years, who was a technical leader in the team when I joined, left to work at another place and I had to help my new manager to figure out what was going over, and in the meanwhile to shield the rest of the team from external pressures. I was thus exposed to just enough of the process of managing people to know that this is not something I want to do at the moment.
All of those processes, alongside the progress we made in combining the test and dev parts of the team, and listening to the ABTesting podcast helped me grow to the paradigm that currently appeals the most to me, which is phrased quite eloquently under the modern testing principles, which despite the name, is not a testing paradigm but rather a software production (or however you would call the process of defining, developing, testing and deploying an application) one. There is one point on which I disagree with those principles, and this is the exaggerated focus on the "customer". I wrote about this before, so I won't go into it again, I'll just mention that for me - the business comes first. I work for my employer, and in the cases where my employer interests are not aligned with the customer, I'll choose my employer.
After all this time, when I'm looking back, what I see is mostly people. Those who were there when I arrived and those who stayed there when I moved on. There were good and difficult times, and each person added their own unique something into this cauldron. I think I learned at least a bit from everyone I worked with (even if some people taught me patience by testing it over and over), I've learned that every software out is a matter of compromise, how to work as part of a team and how to write better code and talk about the principles that guide me. I learned a thing or two about software security and bureaucracy and how to both ask and receive help. Most of all, I've learned that the most important thing are the people you work with.
So, thank you for everything, and we'll probably meet again.
1 In short, a school is a group of professionals that share a common paradigm (maybe more than one?), and a paradigm is an angle to look on and define the problem space in a field. It's a set of questions that are interesting and some tools to answer them.
For example, the "reader's response" school is focused on answering the question "how is a text processed by a reader and what are the mechanisms through which a text is having its effect on us" (So, The Iliad would be a very different thing for contemporary readers and ancient Greeks). Questions such as "what was the writer's intentions" are mostly irrelevant and secondary to the perception of the act of reading as a dialog between the reader and the text) ↩
2 I use the term "European testing community" from my own personal perspective, There are multiple testing communities in Europe, with varying amounts of overlapping. I use this term to note the people I met through ETC (not necessarily at ETC, though) ↩
Monday, April 1, 2019
סופה של תקופה
אחרי שבע שנים וקצת, בעקבות הזדמנות שפחות או יותר קפצה לי לידיים, החלטתי לעזוב את מקום העבודה ולהמשיך הלאה, ומה אגיד לכם? לא קל לעזוב מקום אחרי תקופה כזו ארוכה, בטח לא את מקום העבודה הראשון בו התפתחה כמעט כל האישיות המקצועית שלי עד כה.בכל אופן, סיכומי תקופה כאלה הם הזדמנות לא רעה להסתכל לאחור ולחשוב קצת אז הנה אני, חושב קצת.
הדבר הכי קל הוא להטביע את הכל במספרים, אז אני חושב שאתחיל בזה -
הדבר הכי קל הוא להטביע את הכל במספרים, אז אני חושב שאתחיל בזה -
- שבע שנים
- ארבעים ואחד חברי צוות
- שמונה מנהלים (שניים היום חביר צוות מן המניין קודם)
- שלושה אנשים שהיו בעבודה לפני ועדיין נמצאים שם
- ארבע חתונות בצוות ולפחות שמונה לידות
- מוצר אחד
- בערך 25 גרסאות "גדולות" ואינספור תיקונים קטנים
- 10 כנסים בהם השתתפתי , בארבעה מתוכם הרציתי
- שתי תעודות הסמכה, אחת מהן מיותרת לחלוטין
אבל כמובן, המספרים לא באמת מספרים שום דבר משמעותי, ובטח לא מייצגים את השינויים שחלו בגישה המקצועית שלי ובתפקידים שלי בתוך הצוות.
מבחינה רשמית, התפקיד שלי בתוך הצוות לא באמת השתנה - גוייסתי כבודק תוכנה מתחיל, ופעמיים במהלך העבודה סיפרו לי שהחליפו לי את הקידומת ל"Senior" ואז ל"Principal", אבל הדברים האלה קרו בלי להוסיף ציפיות רשמיות למה שכבר עשיתי. בפועל, לעומת זאת, השינוי היה דרמטי מאוד.
התקבלתי לעבודה היישר מהאוניברסיטה, בעקבות הפנייה של חברה, וכיוון שכל מה שידעתי על בדיקות תוכנה היה קורס של סמסטר אחד, חשבתי שתפקידו של בודק תוכנה הוא, ובכן, לבדוק תוכנה (ספויילר - זה לא). הגעתי עם יכולות תכנות סבירות מינוס, ועם ידע בבדיקות שהוא רק קצת יותר מקיף מזה של מי שעבר את בחינת ISTQB CTFL (הקורס באוניברסיטה הועבר ע"י אחד מחברי ITCB, שהוסיף עוד נושא או שניים כדי למלא סמסטר). זה אומר שהגעתי עם כל הכוונות לכתוב הררי ניירת, ולנתח לעומק את התוכנה עליה אני עובד. ובאמת, החווייה הראשונה שלי הייתה קרובה מאוד לציפיות - רצה הגורל והגעתי בדיוק לתחילתם של שישה סבבי רגרסיה מלאה על המוצר. בדיוק החלפנו מערכת הפעלה, ואז שדרגנו כמה רכיבים מרכזיים בהפתעה, ובכל פעם היה צורך לעבור על כל המערכת מחדש. עבדנו עם בדיקות שנכתבו בQuality Center ועם אוטומציה שהייתה, במקרה הטוב, ראשונית ולא מדהימה, ובדרך כלל פשוט לא הייתה. מתישהו גם ביקשתי, וקיבלתי, קצת זמן כדי לכתוב מחדש כמה מבדקים אוטומטיים בצורה שתאפשר להם לרוץ באופן שיאפשר לנו להבין מה קורה שם. באופן כללי, הפוקוס שלי היה לנסות להבין את המוצר עליו עבדתי ועל הדרך ללמוד איך לבדוק תוכנה. ובאגים, איזה כיף היה למצוא באגים.
אחרי בערך שנה הגעתי למקום בו התחלתי להרגיש חוסר נוחות מסויים - עבדתי על המוצר, וחשבתי שעשיתי עבודה לא רעה, אבל הרגשתי שהבסיס התיאורטי שלי לגבי בדיקות תוכנה לא מתקדם לשום מקום וחיפשתי עם המנהל שלי (אחרי חופשת לידה של המנהלת שגייסה אותי וגל קיצוצים, זה היה המנהל השלישי שלי) והגענו למסקנה שאולי הגיע הזמן לבחור קורס, וכיוון שאין שום דבר רלוונטי, ניקח קורס הסמכת CTFL. לא ציפינו להמון ידע חדש, אבל היה תקציב לקורס, ולא היה לנו רעיון טוב יותר. זה כנראה הזמן לומר - עם כל מה שיש לי נגד ההסמכה המצו'קמקת הזו, אפשר לנצל את קורס ההכנה כדי ללמוד דבר או שניים על בדיקות - בתנאי שהמדריך (ובמקרה שלי, מדריכה) מנוסה, אתם ראיתם דבר או שניים בתעשייה ואתם מוכנים לשאול הרבה מאוד "למה" בכל פעם בה החומר הנלמד לא קשור למציאות . יצאתי מהקורס עם רעיונות לכמה שיפורים בדרך בה עבדנו. שלא במפתיע, המשמעות הייתה עוד ניירת. אני חושב שכאן אפשר לסמן את תחילת הזמן בו התחלתי להקדיש תשומת לב לבדיקות תוכנה כמקצוע ותחום ידע בפני עצמו. הסימון הזה כנראה לא מאוד מדוייק, כי כבר באוניברסיטה שמעתי שמועה על זה שצריך לקרוא כל הזמן ולהישאר מעודכנים, ואני די בטוח שעוד קודם לקורס הזה חיפשתי בגוגל כמה בלוגים והתחלתי לקרוא, אבל לדברים האלה לוקח קצת זמן להצטבר.
ואם כבר אנחנו מדברים על קריאה, השלב השני בקריירה שלי התחיל כשתקלתי בכמה רעיונות של ג'יימס באך ושות', מתוכן הדוגמה הכי מייצגת היא כנראה הוידיאו הזה, והרעיון של אסכולות שונות בבדיקות מאוד קסם לי. כשלמדתי ספרות באוניברסיטה, למדנו על אסכולות, ובאופן ספציפי יותר, על פרדיגמות1.
הרעיון של פרדיגמות שונות בבדיקות תוכנה נראה לי שימושי למדי, והחלוקה לחמש אסכולות נשמעה לי נוחה - אסכולת המפעל, שמיוצגת באופן מובהק למדי בסילבוס הבסיסי של ISTQB, מתמקדת בניהול תהליך הבדיקות, ומתייחסת לייצור תוכנה כאל פס-ייצור במפעל, בו עקביות ויכולת חיזוי הם המטרה, יחד עם שיפור בעלויות הבדיקה. האסכולה האקדמית שמתעסקת בשאלות טכניות של מדידת ושיפור הבדיקות באופן מתודולוגי מספקת כלים לאסכולות האחרות שממוקדות ביישום פרקטי של בדיקות בעולם האמיתי. האסכולה האג'ילית שממוקדת בבדיקות מנקודת מבטו של המתכנת, עוזרת להטמיע בדיקות תוכנה בקרב אלו שבדיקות אינן מוקד הקריירה העיקרי שלהם, אסכולת השומר בשער שמנסה להבין כיצד למנוע מתקלות להגיע לעולם החיצון, מתעסקת בתקנים, במציאת בלמים אפקטיביים ובאיתור תקלות שחמקו. הגבולות בין האסכולה הזו לאסכולת המפעל קצת מטושטשים, אבל אלו שני דגשים חשובים לניהול עסק. האסכולה האחרונה, שלקחה לעצמה את התואר "בדיקות מוכוונות הקשר" (ויש לציין, שיח האסכולות קיים אך ורק אצל אלו שמגדירים את עצמם כחלק מקהילת CDT, אז הם היחידים שזכו לבחור לעצמם שם) שמתמקדת בעיקר בכישורי בודק התוכנה ומתייחסת לבדיקות כאל ביצוע - במשוואה שבין איכות התהליך לטיב בודקי התוכנה, לפרמטר האחרון יש השפעה רבה יותר על אפקטיביות תהליך הבדיקות בחברה.
הרעיון של CDT מצא חן בעיני מאוד, והוא עודד אותי לחשוב על האופן בו אני בודק תוכנה ועל האופן בו אני מדבר על בדיקות תוכנה עם אחרים. בהדרגה לאורך השנים מרכז תשומת הלב שלי עבר לשאלה הזו - כיצד אני יכול לשפר את האופן בו אני בודק תוכנה.
במקביל, לקראת סוף 2013, מצאתי את עצמי מתחבר לקהילה המקצועית המקומית. זה התחיל כשעמית לעבודה סיפר לי על מיטאפ בירושלים, וחשבתי שזו יכולה להיות דרך מוצלחת להכיר אנשים ולשמוע על משרות בעיר (אני לא יודע אם כתבתי את זה כאן בעבר, אבל כשהגעתי לעבודה, הייתה לי כוונה מלאה להישאר שם שנה-שנתיים, לצבור קצת ניסיון ואז לחזור לעיר הקודש. מצמוץ ורבע אחר כך, ואני כבר שבע שנים גולה בהרצליה). אז הגעתי, פגשתי כמה אנשים טובים, ומישהו, בואו נקרא לו קובי, הצליח לשכנע אותי להיכנס לפורום בתפוז ולהשתתף קצת בדיונים שם. כן, פייסבוק היה פחות משמעותי אז. מן הון להון, התחלתי להגיע למפגשים, ולדבר עם בודקי תוכנה אחרים.
בינתיים, בעבודה עצמה, דברים התקדמו לאט בקצב נוח - כישורי התכנות שלי השתפרו, ההיכרות עם המוצר העמיקה ואפילו היו אזורים שהכרתי טוב מכולם, והתרגלתי לעבודה עם הצוות. בנוסף, הצוות שלנו התקדם בתהליך המעבר לסקראם - למדנו לעבוד בצורה הרבה יותר צמודה והקצב הלך והאיץ. ככל שעבר הזמן, שמתי לב לכך שאני יעיל יותר כשאני מדבר עם אנשים לפני שהם מתחילים לעבוד, ואז ברנדן קונולי כתב את הפוסט הזה, שמיצה היטב את התובנות שלי עד אז, הפוסט הזה ייצג נאמנה את המקום בו הרגשתי שאני תורם הכי הרבה - כצומת של מידע ולא כמישהו שמגיע כדי לבדוק שהכל תקין.
הזמן חלף, וגם האנשים, ולפתע שמתי לב שיש לי פנאי גם להסתכל מעבר לקצה האף שלי. שמתי לב שאין במקום העבודה שלי מספיק אנשים שמפגינים עניין בהתפתחות מקצועית ובהתאם, איכות העבודה יכולה להשתפר - לא רק שמידע לא עובר בין צוותים בצורה טובה, אלא שגם הסטנדרטים הבסיסיים שונים - אנשים שעבדו בצוות אחד במשך שנים לא היו עוברים ראיון עבודה למשרת ג'וניור בצוותים אחרים. ומרגע שראיתי - רציתי לעזור. לגמרי במקרה, בערך באותו זמן פורסם הפוסט הזה בבלוג של מאארט שעקבתי אחריו מזה זמן מה, ופרסם כרטיס מוזל לכנס בדיקות שנערך במדינה שכרטיסי הטיסה אליה לא יקרים, אז למה לא? נטוס לראות מה קורה בכנסים. מה אגיד ומה אומר, כנס הבדיקות האירופאי היה בחירה נהדרת ללכת אליה - פגשתי אנשים נהדרים, למדתי המון וחזרתי עמוס רעיונות. חשוב יותר, הכנס הזה היה המקום בו התחברתי לקהילת הבודקים האירופאית2 (בניגוד לקהילת הCDT האמריקאית) בה היה דגש חזק יותר על שיתוף פעולה בין כל חלקי הצוות, אבל גם על סוג של הרמוניה - אם הקולות הדומיננטיים בקהילת הCDT חיפשו את העימות בו ניתן לחדד את הרעיונות עד לדיוק גבוה, בקהילה הזו חיפשו את הצמיחה המשותפת ואת ההפריה ההדדית בדרכים של נועם. לא מאוד מפליא שההשתייכות הרעיונית שלי עברה לשם.
גם חילופי אנשים עשו את שלהם כדי להשפיע עלי - כשאחד המפתחים שהיה אחראי אצלנו על אבטחת תוכנה החליט להחליף תפקיד מצאתי את עצמי במצב בו מבין כל חברי הצוות אני היחיד שגם בערך מבין בכל התהליכים שאנחנו חייבים לעבור ברמת הנהלים וגם לא קבור בישיבות הנהלה מהבוקר עד הערב, ויכולתי לפתח קצת את ההבנה שלי בכל מה שקשור לאבטחת תוכנה. כשאחרי חמש שנים בצוות המנהל בשלוש השנים האחרונות עזב את החברה, זה הכריח אותי לרכוש כישורים חדשים ולהתחיל לעזור לצוות במגוון דרכים חדשות - לסנן רעשים ולחצים שהגיעו מבחוץ, להקשיב לחברי הצוות, ולחנוך את המנהל החדש, מה שבעצם הכניס אותי לתוך קלחת הבעיות הניהוליות בדיוק מספיק כדי לדעת שזה לא מה שאני מחפש כרגע.
השילוב של התהליכים האלה, יחד עם ההתקדמות שעשה הצוות באיחוד אנשי הבדיקות והפיתוח ועם האזנה לפודקאסט ABTesting עזרו לי להתקדם אל התחנה בה אני נמצא היום - הפרדיגמה שמנוסחת בצורה ברורה למדי תחת הכותרת Modern Testing היא, למרות שמה, פרדיגמת פיתוח תוכנה ולאו דווקא משהו שממוקד בבדיקות, בין היתר כי בדיקות זו פשוט דרך אחת לענות על צרכים מסויימים של תהליך פיתוח בוגר, וצריכה להיות בתוך סט היכולות של הצוות. נקודה אחת בה אני פחות מסכים עם אלן פייג' וברנט ג'נסן היא בתשומת הלב המוגזמת לדעתו של הלקוח. אני מאמין שצריך לזכור תמיד מה המטרות העסקיות שלנו, ולדעת מתי לשים את הצרכים שלנו לפני אלה של הלקוח.
ואחרי כל זה, כשאני מסתכל לאחור, אני רואה בעיקר את האנשים - את אלו שהיו שם כשהגעתי, את אלו שנשארו כשאני הולך. היו תקופות קשות, היו תקופות טובות מאוד, וכל אדם בצוות הוסיף משהו משלו לתוך הקלחת הזו. אני חושב שלמדתי מכל מי שעבדתי איתו (גם אם מה שלמדתי היה סבלנות), למדתי שכל תוכנה שיוצאת לשוק היא עניין של פשרה, למדתי איך לעבוד כחלק מצוות, למדתי לכתוב קוד טוב יותר ולדבר על העקרונות שמנחים אותנו בו, למדתי דבר או שניים על אבטחת תוכנה ועל בירוקרטיה, למדתי לעזור לאחרים ולבקש עזרה, והכי חשוב, למדתי שהדבר הכי חשוב הוא האנשים איתם עובדים.
אז תודה על הכל, ולהתראות מחר במקום הבא. ואם לא מחר, אז מחרתיים.
הזמן חלף, וגם האנשים, ולפתע שמתי לב שיש לי פנאי גם להסתכל מעבר לקצה האף שלי. שמתי לב שאין במקום העבודה שלי מספיק אנשים שמפגינים עניין בהתפתחות מקצועית ובהתאם, איכות העבודה יכולה להשתפר - לא רק שמידע לא עובר בין צוותים בצורה טובה, אלא שגם הסטנדרטים הבסיסיים שונים - אנשים שעבדו בצוות אחד במשך שנים לא היו עוברים ראיון עבודה למשרת ג'וניור בצוותים אחרים. ומרגע שראיתי - רציתי לעזור. לגמרי במקרה, בערך באותו זמן פורסם הפוסט הזה בבלוג של מאארט שעקבתי אחריו מזה זמן מה, ופרסם כרטיס מוזל לכנס בדיקות שנערך במדינה שכרטיסי הטיסה אליה לא יקרים, אז למה לא? נטוס לראות מה קורה בכנסים. מה אגיד ומה אומר, כנס הבדיקות האירופאי היה בחירה נהדרת ללכת אליה - פגשתי אנשים נהדרים, למדתי המון וחזרתי עמוס רעיונות. חשוב יותר, הכנס הזה היה המקום בו התחברתי לקהילת הבודקים האירופאית2 (בניגוד לקהילת הCDT האמריקאית) בה היה דגש חזק יותר על שיתוף פעולה בין כל חלקי הצוות, אבל גם על סוג של הרמוניה - אם הקולות הדומיננטיים בקהילת הCDT חיפשו את העימות בו ניתן לחדד את הרעיונות עד לדיוק גבוה, בקהילה הזו חיפשו את הצמיחה המשותפת ואת ההפריה ההדדית בדרכים של נועם. לא מאוד מפליא שההשתייכות הרעיונית שלי עברה לשם.
גם חילופי אנשים עשו את שלהם כדי להשפיע עלי - כשאחד המפתחים שהיה אחראי אצלנו על אבטחת תוכנה החליט להחליף תפקיד מצאתי את עצמי במצב בו מבין כל חברי הצוות אני היחיד שגם בערך מבין בכל התהליכים שאנחנו חייבים לעבור ברמת הנהלים וגם לא קבור בישיבות הנהלה מהבוקר עד הערב, ויכולתי לפתח קצת את ההבנה שלי בכל מה שקשור לאבטחת תוכנה. כשאחרי חמש שנים בצוות המנהל בשלוש השנים האחרונות עזב את החברה, זה הכריח אותי לרכוש כישורים חדשים ולהתחיל לעזור לצוות במגוון דרכים חדשות - לסנן רעשים ולחצים שהגיעו מבחוץ, להקשיב לחברי הצוות, ולחנוך את המנהל החדש, מה שבעצם הכניס אותי לתוך קלחת הבעיות הניהוליות בדיוק מספיק כדי לדעת שזה לא מה שאני מחפש כרגע.
השילוב של התהליכים האלה, יחד עם ההתקדמות שעשה הצוות באיחוד אנשי הבדיקות והפיתוח ועם האזנה לפודקאסט ABTesting עזרו לי להתקדם אל התחנה בה אני נמצא היום - הפרדיגמה שמנוסחת בצורה ברורה למדי תחת הכותרת Modern Testing היא, למרות שמה, פרדיגמת פיתוח תוכנה ולאו דווקא משהו שממוקד בבדיקות, בין היתר כי בדיקות זו פשוט דרך אחת לענות על צרכים מסויימים של תהליך פיתוח בוגר, וצריכה להיות בתוך סט היכולות של הצוות. נקודה אחת בה אני פחות מסכים עם אלן פייג' וברנט ג'נסן היא בתשומת הלב המוגזמת לדעתו של הלקוח. אני מאמין שצריך לזכור תמיד מה המטרות העסקיות שלנו, ולדעת מתי לשים את הצרכים שלנו לפני אלה של הלקוח.
ואחרי כל זה, כשאני מסתכל לאחור, אני רואה בעיקר את האנשים - את אלו שהיו שם כשהגעתי, את אלו שנשארו כשאני הולך. היו תקופות קשות, היו תקופות טובות מאוד, וכל אדם בצוות הוסיף משהו משלו לתוך הקלחת הזו. אני חושב שלמדתי מכל מי שעבדתי איתו (גם אם מה שלמדתי היה סבלנות), למדתי שכל תוכנה שיוצאת לשוק היא עניין של פשרה, למדתי איך לעבוד כחלק מצוות, למדתי לכתוב קוד טוב יותר ולדבר על העקרונות שמנחים אותנו בו, למדתי דבר או שניים על אבטחת תוכנה ועל בירוקרטיה, למדתי לעזור לאחרים ולבקש עזרה, והכי חשוב, למדתי שהדבר הכי חשוב הוא האנשים איתם עובדים.
אז תודה על הכל, ולהתראות מחר במקום הבא. ואם לא מחר, אז מחרתיים.
1 בקיצור ומבלי להיכנס לדיוקים ודקדוקים, אסכולה מאופיינת ע"י קבוצת אנשי מקצוע שחולקים פרדיגמה (אולי יותר מאחת). פרדיגמה היא מעין זווית הסתכלות על עולם תוכן כלשהו, היא אוסף של שאלות מעניינות וכלים שמאפשרים לענות עליהן.
למשל, אסכולת "תגובת הקורא" בחקר הספרות מתעסקת לא מעט בשאלה "איך נתפס טקסט בעיני הקורא" וכיצד משתנה היצירה הספרותית כאשר הקהל הקורא אותה שונה (למשל - האיליאדה היום מכילה איכויות שונות עבורנו מאשר היא הכילה עבור בני התקופה בה היא נכתבה). שאלות כמו "למה התכוון הכותב" הן משניות וזניחות ביחס לתפיסת הקריאה כדיאלוג בין הקורא לטקסט, בניגוד לגישה הפמיניסטית, למשל, בה חוקרים את האופנים בהם מבני הכוח השונים פועלים בתוך הטקסט, ומתוך הטקסט על הקהל המודרני ושם כוונת הכותב היא משהו שיש עניין רב לדון בו.↩
2 אני משתמש במונח "קהילת הבודקים האירופאית" מנקודת המבט שלי, זו לא בדיוק קהילה אחת, והיא לא הקהילה האירופאית היחידה - מבחינתי, אני מתייחס לאוסף האנשים שפגשתי דרך ETC בשם הזה. ↩
Saturday, March 16, 2019
איכות בארון
"איכות". אחלה מילה. גורמת לנו לתחושה טובה כזו, חמימה. כאילו שאנחנו עושים משהו כמו שצריך. רק דבר אחד קטן - יש משהו מאוד שבור בצורה בה אנחנו משתמשים במילה הזו. התחלתי לחשוב על העניין הזה כשדיברתי על החשיבות המוגזמת שניתנת ללקוח והזכרתי את ההגדרה של ג'רי ויינברג לאיכות - ערך עבור מישהו. ואז, היו כל מיני הסחות דעת שגזלו את תשומת ליבי (הסחת דעת אחת, חיובית במיוחד, הייתה כנס הבדיקות האירופאי) עד שמספיק דברים אחרים הזכירו לי שרציתי לכתוב עוד קצת על הנושא.
אז, למה אני מתכוון כשאני אומר שבור? כדי להסביר את זה אני רוצה לחזור רגע לתיכון, להגדרת הפונקציות הטריגונומטריות. נו, אתם יודעים - סינוס, קוסינוס, החברים האלה.
התחלנו את הדרך בהגדרה פשוטה של סינוס - היחס במשולש ישר-זווית שבין הצלע שמול הזווית לבין היתר, ובאופן דומה, הגדרת הקוסינוס הייתה היחס בין הצלע שליד הזווית ליתר. פשוט, אינטואיטיבי, ועם סיבה די ברורה - אנחנו רוצים לחשב את אורך הצלעות, או את ערכי הזוויות.
בהמשך, שאלנו את עצמנו (טוב, נו, המורה שאל) "ומה קורה אם יש לי זווית של תשעים מעלות או יותר?" התשובה הייתה קלה - ערכי הפונקציה אינם מוגדרים עבור זוויות כאלה, וזה חבל מאוד. מהר מאוד שרטט המורה על הלוח את מעגל היחידה והציע הצעה משונה "בואו נרחיב את הגדרת סינוס וקוסינוס באופן הבא: "עבור זווית אלפא, נגדיר רדיוס של מעגל היחידה שיוצר זווית זו יחד עם ציר הX+, סינוס הזווית יהיה ערך Y של נקודת חיתוך הרדיוס ומעגל היחידה, וקוסינוס יהיה ערך X של אותה נקודה". איזה כיף, עכשיו יש לנו הגדרה של סינוס וקוסינוס שעובדת לכל מספר, ואפשר גם להסיק כמה תכונות ממש נחמדות על שתי הפונקציות האלה. בקיצור - כיף חיים.
אבל רגע. היה דבר אחד קטן שעוד היינו צריכים לעשות: "עכשיו, בואו נראה שההגדרה החדשה שלנו לא סותרת את ההגדרה הקודמת שהייתה לנו". ההוכחה קלה למדי, והתלמיד החרוץ יוכל להשלים זאת בעצמו. וזו הנקודה שמחזירה אותי לאמירה המקורית שלי - משהו שבור בדרך בה אנחנו מגדירים "איכות" ובדרך בה אנחנו מתייחסים אליה. ההגדרה שלנו אינה עקבית עם הגדרת האיכות בכל תחום אחר שאני מצליח לחשוב עליו. יותר מזה, התכונות שמפגינות תוכנות "איכותיות" שונות באופן מהותי מאלו שמפגינים מוצרים איכותיים בתחומים אחרים.
דמיינו, למשל, ארון. ולא סתם ארון - ארון כבד מעץ אלון, מהוקצע ומעוטר ביד אומן, דלתות כפולות וציפוי לכה כהה. יש? מצויין. עכשיו דמיינו ארון נוסף, דומה בצורה ובמבנה, עשוי מחומר קל בהרבה ומצופה במשהו דמוי פלסטיק. נו, כזה שמוכרים באיקאה.
מבין שני הארונות האלה, איזה ארון איכותי יותר?
מעט מאוד אנשים (שאני מכיר) יטענו שהארון השני איכותי יותר - ועדיין, יותר אנשים יקנו ארון מעפן מאיקאה ולא את הארון היקר. למה? כי הוא זול יותר, ונגיש יותר, ולא נורא אם הילד יצייר עליו משהו. הארון מאיקאה אולי פחות איכותי, ואולי הוא יתפרק בתוך עשר שנים, אבל המחיר שלו נמוך מספיק כדי שזה יהיה לנו נחמד להחליף ארון פעם בכמה זמן, וממילא אנחנו עוברים דירה פעם בכמה שנים, אז הרבה יותר קל להשאיר אותו מאחור לדיירים הבאים. האיכות אינה זהה לשימושיות, ולמעשה, העלות הנוספת של איכות הופכת את המוצר לשימושי פחות. את אותה סתירה אפשר למצוא גם בתחומים אחרים, חומריים פחות. למשל, אם נשווה את סדרת ספרי הארי פוטר לאיליאדה ולאודיסיאה - רוב האנשים יסכימו עם הטענה שהאיליאדה והאודיסיאה הן יצירות מופת, אבל סדרת ספרי הארי פוטר שמתקשה אפילו לשמור על עקביות נמכרת הרבה יותר1. האם היא איכותית יותר? לא היא לא. או, אם נקצין את הדוגמה קצת - יותר אנשים מכירים את הטקסטים שכתב יוסי גיספן מאשר את אלו שכתב נתן אלתרמן.
ככלל, עד שמגיעים לתוכנה, יש מעט מאוד קשר בין כמות השימוש במוצר לבין האיכות שלו. למעשה, אפשר לחשוב לפעמים שהקשר הוא קשר הפוך - ככל שמוצר איכותי יותר, כך הוא נפוץ פחות. אז למה שמדד המכירות או השימוש של תוכנה יעיד על איכותה?
אפשר לנסות ולהבין את המקור לטעות התפיסתית הזו, ויש לי כמה ניחושים בגרוש, אבל זה קצת פחות חשוב. מה שחשוב יותר הוא להבין שכאשר אנחנו משתמשים במונח באופן לא הולם, כל תחושות הבטן שלנו שגויות: זה אומר שאנחנו מנסים לפתור בעיות שיווק ומכירה בעזרת "איכות", שאנחנו שואלים תהליכים ומדדים מוזרים ממקומות אחרים בהם מדברים על איכות (מישהו שמע על 6-סיגמה במקרה? למה שמושג של פס ייצור ימצא את עצמו בתהליך פיתוח תוכנה?) הערבוב הזה גם שולח אותנו במירוץ סביב הזנב של עצמנו כשאנחנו מנסים לשפר "איכות" במקומות בהם זה מיותר. כמובן, שימוש במונח בצורה כל כך לא הולמת גורם להמון אנשים לשפוך גבב של מילים רק כדי לנסות ליישב את הסתירה הזו (הייתי מחפש קישורים להדגמה, אבל מה נראה לכם שאני עושה כאן אם לא לשפוך מילים על הנושא הזה בדיוק?)
כאנשי תוכנה, אנחנו צריכים להפסיק להתייחס לאיכות כאל היעד אלא כעל עוד משהו שאנחנו צריכים להתייחס אליו בזמן שאנחנו מסייעים לקדם את המטרות העסקיות של המקום בו אנחנו עובדים. כשאנחנו עוברים למוד פעולה כזה, אפשר לדלג על השאלה הקשה של "מה היא איכות", כי התשובה "אני אזהה את זה כשאראה את זה" היא לגמרי לגיטימית כשמדובר בפרמטר יחיד (ולא מאוד חשוב) בתוך מגוון פרמטרים שעוזרים לנו לענות על השאלה "האם המוצר הזה מקדם את המטרות העסקיות שלנו היטב?" והכי חשוב - אנחנו צריכים לזכור שברוב המקרים אפשר וצריך מוצר באיכות של איקאה.
ככלל, עד שמגיעים לתוכנה, יש מעט מאוד קשר בין כמות השימוש במוצר לבין האיכות שלו. למעשה, אפשר לחשוב לפעמים שהקשר הוא קשר הפוך - ככל שמוצר איכותי יותר, כך הוא נפוץ פחות. אז למה שמדד המכירות או השימוש של תוכנה יעיד על איכותה?
אפשר לנסות ולהבין את המקור לטעות התפיסתית הזו, ויש לי כמה ניחושים בגרוש, אבל זה קצת פחות חשוב. מה שחשוב יותר הוא להבין שכאשר אנחנו משתמשים במונח באופן לא הולם, כל תחושות הבטן שלנו שגויות: זה אומר שאנחנו מנסים לפתור בעיות שיווק ומכירה בעזרת "איכות", שאנחנו שואלים תהליכים ומדדים מוזרים ממקומות אחרים בהם מדברים על איכות (מישהו שמע על 6-סיגמה במקרה? למה שמושג של פס ייצור ימצא את עצמו בתהליך פיתוח תוכנה?) הערבוב הזה גם שולח אותנו במירוץ סביב הזנב של עצמנו כשאנחנו מנסים לשפר "איכות" במקומות בהם זה מיותר. כמובן, שימוש במונח בצורה כל כך לא הולמת גורם להמון אנשים לשפוך גבב של מילים רק כדי לנסות ליישב את הסתירה הזו (הייתי מחפש קישורים להדגמה, אבל מה נראה לכם שאני עושה כאן אם לא לשפוך מילים על הנושא הזה בדיוק?)
כאנשי תוכנה, אנחנו צריכים להפסיק להתייחס לאיכות כאל היעד אלא כעל עוד משהו שאנחנו צריכים להתייחס אליו בזמן שאנחנו מסייעים לקדם את המטרות העסקיות של המקום בו אנחנו עובדים. כשאנחנו עוברים למוד פעולה כזה, אפשר לדלג על השאלה הקשה של "מה היא איכות", כי התשובה "אני אזהה את זה כשאראה את זה" היא לגמרי לגיטימית כשמדובר בפרמטר יחיד (ולא מאוד חשוב) בתוך מגוון פרמטרים שעוזרים לנו לענות על השאלה "האם המוצר הזה מקדם את המטרות העסקיות שלנו היטב?" והכי חשוב - אנחנו צריכים לזכור שברוב המקרים אפשר וצריך מוצר באיכות של איקאה.
1 הבהרה: אני לא טוען שסדרת הארי פוטר גרועה - היא מהנה וקולחת ומכילה לא מעט דברים מעניינים. אבל זו אינה יצירת מופת ↩
Quality in the closet
עברית
Quality.
Don't we just love this word? It gives us that warm and fuzzy feeling of doing something well. But there's something wrong about the way we use it.
I've started thinking about it when I was processing my disagreement with the 5th principle of modern testing and mentioned Jerry Weinberg's definition of quality - value for someone. Then, shortly after, a lot of distractions took over (one very positive such distraction was European Testing Conference) and I put this issue aside for a moment, at least until other things reminded me I had some more to write on this subject.
So, what do I mean by "broken"? Or rather, why do I say it's broken? To answer that I want to go back to school and to the definitions of the trigonometric functions. More specifically, to sine & cosine.
When we were first introduced to the idea of a sine it was through a question: since we know that the relative edge sizes of similar triangles is the same, what can we tell about the size of a right angled triangle's legs related to the hypotenuse? To answer that question we introduced two new mathematical functions - the sine and the cosine. School being school, we went to practice it for a bit, calculating the size of various edges. After getting used to it, the teacher asked a question: What would be the value of a sine for values that are less than zero or more than 90 degrees? The action, at least for the moment, was undefined. Well, what about a new definition? The value of sine(a) for any angle a is the y value of the intersection point between the unit circle and a radius forming an angle of "a" with the X axis. cosine shall be defined to be the x value of that same very point. Great, right? Now we can have this function defined for whichever value we want, and can even deduct some cool properties of those function rather easily (for instance, cosine(x)=cosine(-x)) There's only one thing to do - prove that the new definition does not contradict our previous definition, and it agrees with it at any point where both definitions hold. This proof is rather easy, and the studious readers can complete this exercise by themselves, but this is where I return to the definition of quality in software. Something in the way we define quality is broken. Our definition is inconsistent with the definition of quality in other domains. Moreover, the properties displayed by "quality" examples outside of software are very different than those displayed by software.
Picture an armoire, and not a simple, generic one, a sturdy, dark mahogany armoire, with double doors decorated with fine engravings and polished brass handles. Do you have a picture in mind? Great. Now picture another one, roughly about the same size and shape, made out of plywood, assembled by you with the help of the very detailed Ikea guide, with most screws fitting snugly into their dedicated sockets. Which of the two would you say is of a better quality? Which one are you more likely to see in someone's appartement?
Most people would answer that the mahogany armoire is of better quality, but that the Ikea one is more likely to be used. Why? Because it's cheaper, more accessible, and it doesn't really matter a lot if your child would draw on it with crayons. It might be of lesser quality, but the price is low enough so that we won't mind replacing it every decade or so, and we might even look at it as an opportunity to replace and renew the furniture, which can be nice. Also, if we move to another apartment, as some people do, it will be much easier to leave that armoire behind or resell it instead of going through the fuss of taking it with us. Quality is not the same as "being used a lot", and in fact, the extra cost paid for quality usually makes it used less.
It's not only physical goods that have those properties, if we'll wander to the realms of literature for a moment and compare The Harry Potter series to the Iliad we'll see that the same is true there. Most people would agree that the Iliad is a masterpiece, and that Harry Potter, which sometimes is having difficulties even keeping consistent with itself, is not1. And yet, Harry Potter is being purchased and read far more than the Iliad. Despite the fact the most people would rather spend an evening reading Harry Potter, "quality" is not the reason they do it. In fact, with the exception of software, quality items are less common than their shoddy counterparts. Why would measuring the use of software be any indication of its quality?
We can try to understand the reasons behind this conceptual mistake, and I have my own lousy guesses, but that's not really that important. What is important is to understand that when we use an improper term (or use a term improperly), we mess up all of our gut feelings. It means that we are trying to use quality processes to solve marketing and sales problems, or that we borrow some odd measurements and processes from other fields that mention "quality" (Can anyone explain to me please how on earth did 6-sigma make its way from manufacturing to a presentation about software quality?) This mix also sends us chasing our tail trying to achieve "quality" in places we shouldn't. And, obviously, it causes many people to waste a lot of time and words trying to define "quality" (I considered looking for a link or two for examples, but what have you been reading here up until now?).
As software people, we should stop treating quality as a goal by itself and remember that it is one property that might help us achieve our business goals. When we think about it like that, it is perfectly fine to skip a meticulous definition of this term, since "I'll know it when I see it" is good enough for a single (not that important) property of what makes a project successful. Most importantly, we should embrace the fact that in software too, it is acceptable (and common) to look for Ikea-level quality.
1 I'm not claiming that Harry Potter is bad - it is fun and fluent and has many interesting things in it, it just isn't a masterpiece ↩
Friday, February 22, 2019
Exploratory Testing Peer conference 2019 (or: ETC 2019, day 3 - sort of)
As I've mentioned before, I found a way to extend ETC by joining "Exploratory testing peer conference" that was organised by Maaret Pyhäjärvi, Anne-Marie Charrett and Alex Schladebeck. In essence, a full day of people talking about ET and trying to see what does ET mean today, after 30-odd years since the term was coined and kickstart some work to current knowledge to this domain.
Regardless of how would this day go, I learned one thing already: simply ask - I would not be having this experience without asking to join, and I'm very glad I did that. I'm also very thankful for being allowed to join, as it was a great learning experience for me.
I've never been to a peer conference before, and I didn't know what to expect, besides a bunch of smart people (and me) talking in a room, which is usually a great start.
The discussion was facilitated masterfully by Alex, using K-cards and we had an interesting addition to this: we had on the whiteboard the twitter handles of every participant, and noted each time. It looked like so:
This had an interesting effect, at least on me - I was more conscious about giving others time to speak (I received in the past feedback about taking too much "spotlight time" and am trying to be more aware of that) and I could use this tool to actually measure how much do I speak in comparison to others. The answer, which is not in this picture, is that even when I try, and even after asking several times to drop my turn after someone said something similar enough, I still ended up speaking more times than most, if not all, participants.
The subjects themselves were quite versatile: we spoke about sharing intent while mobbing, teaching ET to developers, what happens when good exploratory testers are looking on unit tests, an experience report on trying to integrate ET practices on large scale dark-scrum organization, how to give a 5 minutes elevator pitch on ET and microheuristics. Those are only the topics we got to actually talk about, and there were many more ideas, as can be seen here:
One important feature of the K-cards for such discussions is the blue note (orange in our case, due to logistics), the ability to signal "We're done \ losing focus \ I'm bored" is important and helped us several time during the day.
Another thing I liked was that after each discussion (at least in the first half of the day) we did a quick retrospective on the discussion and came up with some improvements. I have never before seen such a large group of people having a discussion that was so well organised.
Naturally, there are some things I think we can improve for the next time. The main thing is to have a clearer goal for the peer conference. With a topic as vast as ET and with so little time, I felt the need for a narrower question\topic. During one of the breaks, after a discussion that we felt went astray, Lisi and I stood next to the board and tried to see which subjects are in the intended theme of the day (As we understood it) and as you can see in the picture above, out of the 12 topics on the board at the moment, only 5 were positively there, and 4 were about something completely different that happened to have some ET close to it. We could either trust the organisers to design a format for the day, or spend a short time box and decide on the way we wanted to do things, but as it was, we started the discussion without agreeing explicitly on our goal, which I think caused some friction.
One thing I can surely say - If I thought that participating in a conference is an intense experience, this peer-conference took it up a notch. In a larger conference, it is always possible to find some small places to rest - either lose some focus in a talk, or find a corner where the crowd is providing some white-noise. With 24 people in the room, even taking a break is still speaking with the same people, and the mind-work done by actively participating in a discussion is more intense. At some point, just to get some air and let the mind rest a bit I went outside to play catch with Mira. By the end of the day, most of us were a bit depleted, in the most positive way possible.
Of course, no conference is just ending just when the official time is up, and we all started to walk towards the hotel. In a smaller group, some further discussion was continuing and I think I got to understand better some of the words people were using. Eventually, though, we've decided it was enough, and started talking about getting something to eat. As it happened, I ended up walking with Thomas and Lisi. We just walked about, chilling off and talking. After such an intense day, I felt very recharged just speaking with them quietly. Then we got to a park that had a notice sign - closes in 20:30. As we still had well over an hour, we entered and walked through it for a while. when at 20:00 we got to the gate through which we've entered, we found it locked, as were the next gate and the two after it. We were starting to be slightly worried, but not very much. eventually, we saw someone other than us in the park, and could see an open gate. From there we could walk back to the city center and had a nice dinner. A great way to finish the day.
Subscribe to:
Comments (Atom)




