Станислав АнтиповРуководитель, Москва
Проверка софта выполняется так придирчиво и внимательно, что давно стала отдельной индустрией. Почему она актуальна не только в IT?
По большому счету вся наша жизнь — непрерывная проверка гипотез. Предметная область меняется, но мы регулярно проверяем мир на прочность. И себя.
В раннем детстве человек тестирует достижимость дивана для дальнего пешего перехода в 5 шагов подряд, и что будет, если не доесть кашу. Подростки изобретают способы подкатов и получения хороших оценок при полном игнорировании учебы. Взрослые – в вечном поиске, ведь им все нужно: работа, заказы, клиенты, секс, помимо рабочих девиаций, жилье, машина, медицина, развлечения.
Даже уже достигнутые результаты время от времени нужно тестировать снова. Потому что все меняется: ситуация в мире и поближе, рынки, курсы валют и их доступность, привычки и отношения.
Удивительно, что начиная со школы и далее везде нет курса «Тестирование». Ведь это один из самых универсальных навыков, которые нужны для решения практически любых задач. Впрочем, он есть. Мелькает, точнее. На уроках информатики, потом в ПТУ для тестировщиков.
Поскольку IT – крайне методичная и технологичная отрасль, тему тестирования в ней раскопали гораздо лучше, чем где-либо. Можно просто брать и пользоваться — практически в любых сферах, где угодно. Давайте рассмотрим три вектора применения «айтишных» подходов:
- В бизнесе
- Для карьеры
- По личным темам
Но сначала краткий ликбез по терминологии QA (Quality Assurance, обеспечение качества). Строго говоря, это более широкая тема. Тестирование – лишь часть QA. Однако лучше видеть картину целиком.
Словарик QA, и зачем это все за пределами IT
Тестирование «в чистом виде» называется QC (Quality Control, контроль качества). Ключевое отличие от QA в том, что проверяется нечто уже готовое. Например, корректно ли работает мобильное приложение на нужных видах устройств. Или:
- Что там с рентабельностью уже запущенной чебуречной.
- Нравится ли в новом офисе, куда вы уже устроились на работу.
- Сколько ссор и почему после того, как съехались.
Тогда как QA действует упреждающе и позволяет вместо фиксирования проблем вообще их избежать. Полностью. Если упрощенно, это такое тестирование заранее.
В любом случае все через тесты. А их великое множество:
- Позитивные — проверка того, что все идет как надо в благоприятных внешних условиях, и негативные — когда вводят ошибочные данные, путают карты, меняют законы, блокируют счета и вообще играют не по (привычным) правилам.
- Метод белого, серого и черного ящика. Варьируется прозрачность процедур, степень понимания того, как все устроено. Если у вас актуальные чертежи в руках, это белый ящик. Наугад как ночью по тайге — черный.
- Статическое тестирование (вот оно как раз заранее) или динамическое после запуска системы, бизнеса, проекта, когда все уже летит в ***.
- Граничное тестирование. Например, вводить минимальное значение, максимальное, можно еще -1 и max+1, другие варианты. Ввести «куй» в цифровое поле. Позвонить в нерабочее время. Заказать пиццу с топпингом из картошки. Импровизировать.
- Нагрузочное тестирование. Что будет, если вместо 10 пользователей одновременно подключится 1 000 или 1 000 000? Готов ли ваш бизнес к росту? А вы сами? Очень полезный тест.
- A/B тестирование. Сравниваем всего 2 показателя или даже «вкл/выкл». Так гораздо нагляднее, чем получить цифры по абсолютно разным видам продуктов или ситуациям с десятком, сотней переменных. Как потом пользоваться всем этим изобилием.
- Повторное тестирование, для проверки якобы устраненных ошибок. Регрессивное после масштабных изменений, которые могли породить новые проблемы. То есть раньше ошибок не было, но потом вы чего-то сделали — и теперь надо убедиться в том, что стало лучше, а не хуже. Есть еще приемочное тестирование, но оно формальное и «наружу», в рамках сдачи-приемки.
Если тема вас увлекла, поищите подробные мануалы. Их много и там гораздо больше всяческих нюансов.
Нормальных людей все это может утомить, поэтому заканчиваем курс «IT за 5 минут» и переходим к прикладному масштабированию.
Нужно только сказать еще о проектировании тестов. В этом самая мякотка QA. Мы не хаотично меняем настройки, а заранее продумываем вероятные проблемные места, выбираем методы проверок для каждого, записываем план (обычно в виде таблицы) и дальше шпарим по нему. Так точно ничего не пропустите, и не придется делать много лишних движений.
Само собой, тестами дело не ограничивается. Результаты записываются, анализируются. Что позволяет сделать выводы. В идеале упреждающе — не дожидаясь больших проблем, убытков, необратимых конфликтов и прочих ужасов.
Ну, погнали.
Тестирование в бизнесе
По-хорошему все должно начинаться с проверки бизнес-гипотез. Только не «опросом знакомых», как это иногда трактуют. Даже целевую аудиторию опрашивать по большому счету без толку. Потому что люди думают, говорят и делают вещи совершенно разные.
Если кто-то одобрил и в восторге — предложите сделать денежный взнос. Краудфандинг гораздо эффективнее, как раз по этой причине. Когда люди голосуют рублем и другими денежными знаками, результаты исследования заслуживают доверия.
В крайнем случае предложите бесплатные подписки, установки мобильного приложения, скачивание каких-нибудь материалов. Действия, только действия.
Удобно и практично ранжировать разные виды реакций по utm-меткам в адресах или помощью QR-кодов. Важно понимать, какая именно часть фокус-группы отреагировала так, а какая иначе. Что было разное у них на входе или, возможно, по демографии, геолокациям, еще чему-то.
Кстати, часть тестирования можно свести к разведке чужих данных. Необязательно делать собственный лендинг и тратиться на рекламу. Иногда достаточно изучить статистику по ключевым словам, просмотрам и особенно лайкам, комментариям, репостам в соцсетях, на видеохостингах.
Все записываем, приводим к общему знаменателю, делаем неприятные выводы. Нужно быть готовым к тому, что цифры обычно подтверждают не надежды, а опасения. Клиентов меньше, чем ожидалось. Шансы пройти собеседование такие себе. Переоценивать свое здоровье не стоит.
Тестирование для сильных духом. Оно поможет тем, кто готов смотреть правде в глаза.
Другой пример из мира бизнеса: аналитика рекламы. Сразу видно, что ее разрабатывали айтишники. Все просчитано, по большей части автоматизировано, сводится в удобные показатели и инфографику.
Что именно тестировать — хороший вопрос. Ключевой. Пожалуй, тут лучше обратиться к спецам. Вариативность зашкаливает. Всего несколько примеров:
- Динамика трафика, количество уникальных посетителей или пользователей.
- Количество отказов и уходов.
- Дочитываемость (особенно на таких площадках как Дзен и Пульс).
- CPM (цена за тысячу показов).
- CPC (цена за клик).
- CPC (цена за конверсию).
- Сами конверсии.
- CTR (кликабельность).
- CPA (стоимость за действие).
- ROAS (возврат расходов на рекламу).
- LTV (суммарный доход с клиента за все время работы).
Как и по любой другой серьезной теме, тут по каждой строчке можно сделать отдельный тренинг. Но в конечном счете все сводится к тому, что реклама абсолютно техническая отрасль, гуманитарностью тут и не пахнет. Все рассчитывается, просчитывается, проверяется.
И если подходить к делу осознанно, вы не просто пучите глаза на статистику, поражаясь тому как одно дороже, чем думали, другое вообще не работает, оказывается.
Гораздо продуктивнее сначала построить матрицу для тестирования эффективности рекламы, отобрать важные показатели, что, кстати, поможет собрать данные по ним. Прогнозируете годные цифры, ставите граничные по допустимости. И таким образом переходите из лиги начинающих заказчиков:
- «Пожалуйста, сделайте нам рекламу покреативнее, чтобы супер все было».
на принципиально другой уровень:
- «Мы рассматриваем охваты от ____ по CPM не более ___, с CPC ___. Готовы увеличить финансирование при вашей готовности оценивать CPA от ___ и выше».
Потому что проверка гипотез всегда выигрывает у подхода «Сначала сделаем, потом посмотрим, чего получилось».
Тестирование для построения карьеры
Начиная с поиска работы, можно полностью применять QA ко всему рабочему процессу и по другую его сторону — с точки зрения соискателей, сотрудников, потом бывших сотрудников.
Вместо слепого прозванивания вакансий и собеседований «как повезет» лучше строить и обязательно записывать:
- Свои интересы
- Ожидания
- Реальную статистику
- Затраченное время
- Результативность в виде оцифрованных ответов
Важно все приводить к цифрам. Только не переборщите. Ранжировать по 5-бальной шкале себе дороже — слишком эмоционально, в виде так называемых «экспертных оценок» (когда специалист не может аргументировать свои выводы и просто надувает щеки).
Бинарный учет гораздо точнее. «Да» или «нет», 1 или 0. Этого вполне достаточно, кроме разве что полей с предлагаемой зарплатой, минут или часов ежедневной езды до офиса и других крупных значений.
Между прочим, такой подход к оценке работы позитивно сказывается на трудоустройстве. Везде нужно системное мышление, даже на сортировке овощей в подсобке. И уж тем более по должностям, где это прямо входит в должностные обязанности.
Тестирование в личной жизни
Наконец, не работой единой. Нужно успевать тратить добытые богатства. Вкладывать их, перепрятывать. Умно распоряжаться.
В любой жизненной ситуации обращаемся к принципам и методам QA:
- Шопинг в супермаркете — тестируем процент совпадения покупок с намеченным списком, свой средний чек, потом процент выброшенных продуктов.
- Поиск пары — количество попыток познакомиться, конверсия по удачным подкатам, дней или недель до и суммарно, общие выводы по приближению к идеалу на свой вкус (и партнера тоже, о чем часто забывают).
- Обучение детей — средние оценки, динамика, медали за олимпиады и вызовы в школу, растущие расходы. Все, что можно оцифровать для понимания трендов.
- Здоровье и физическая форма — килограммы, обхваты в сантиметрах, количества подходов, веса, секунды, минуты, объем чемодана для таблеток.
- Отдых — часы на тупое листание лент в соцсетях, кино, офлайн-активности (прогулки со смартфоном в руке не считаются).
Практически все можно планировать и тестировать. Нужно так делать.
Важно не тестирование само по себе, это не самоцель. Главное – сохранять адекватное представление о происходящем и оценивать реальный прогресс, тем более негативный рост. Чтобы шевелиться активнее, совершать меньше ошибок, зарабатывать больше и жить лучше.