Инструменты для QA manual

Скриншоты

У каждого тестировщика есть свои любимые инструменты для скриншотов. Когда в вашем приложении случаются какие-то проблемы на UI (если, конечно, UI вообще есть, а даже если нет — может понадобится сделать скриншот и ответов консоли, и результатов запросов к базе), вам нужно сделать скриншот, и эти скриншоты надо делать правильно.

1.  Lightshot. Универсальный инструмент, позволяет выбирать область для скриншота, редактировать скриншоты и сохранять их в облако. Не работает с видео.
2. Jing. Умеет делать скриншоты, сохраняет их как локально, так и в свое облако, умеет записывать видео (к сожалению, записывается только во Flash).
3. Recordit, он позволяет сразу записывать видео и превращать его в gif одним движением. Но — всё, что он записал, он сразу выкладывает к себе в облако.
4. Monosnap умеет делать видео, умеет сразу сохранять его локально и делать из видео gif.

Протитипирование

Бывают случаи когда неизвестно как должна выглядеть ожидаемая страница (нет дизайна, или описания). И в этих случаях спасают рисованные на доске или бумаги схемы, как должна выглядеть страница. Но в случае если Вы работаете удаленно, или часть команды работает удаленно, лучше использовать онлайн-сервис для прототипированния страниц.

1. HotGloo. Очень удобный и интуитивно понятный интерфейс. Содержит больше количество предустановленных элементов. Нет возможности «кликать» по кнопкам, только делать схемы страниц и структуру сайта. Сервис платный.
2. Balsamiq. Один из самых популярных в мире инструментов. Есть контейнеры, элементы, из которых вы можете нарисовать веб-страницу, мобильное приложение или что угодно, просто перетаскивая «картинки». Есть система «контроля версий». Сервис платный.
3. Pencil. Браузерный плагин, возможностей не много, но бесплатный.

Тестовые данные

1. Mockaroo. Позволяет вам подобрать, например, номера карточек или user name. Также умеет генерировать SQL-запросы, например, вы указываете имя базы, в которую вы хотите пойти, а также какие там параметры, и он создает из этого insert.|
2. Generate Data.com. Альтернативный инструмент генерации данных.
3. Random Text Generator. Генератор текстов.
4. Bug Magnet. Плагин к Chrome и Firefox с заранее сохраненным набором тестовых данных. Когда у вас есть какое-то текстовое поле на экране, вы просто кликаете на него правой кнопкой мышки и в меню выбираете bugmagnet, внутри вас уже ждет куча всяких предустановленных, пред заданных тестовых данных, разбитых по группам: по длине, по формату, по языку, даже самые простые скрипты для тестирования XSS. Незаменимый продукт для exploratory-тестирования. Даже если у вас есть поле с e-mail, и вы забыли, какой e-mail валидный, а какой  — нет, этот инструмент уже всё сделал за вас, вам необходимо просто найти нужный элемент в этом списке. Что важно — он еще и кастомизируется, т.е. вы можете добавить свои разделы в меню.
5. Form Filler. Плагин для Chrome, который может по клику кнопку, рядом с адресной строкой, заполнить вашу форму.

Проверка орфографии и переводы

1. Language Tool. Бесплатный инструмент для проверки орфографии. В отличие от некоторых конкурентов, работает стабильно.
2. Google Translate. Без комментариев. Гугл Переводчик.

Картинки

1. Lorem Pic Sum. Сервис, который позволяет вам генерировать картинки. Вы можете задать размер картинки, цвет и даже тематику: котик, город, еда, транспорт и т.д. Минус сервиса — стабильность работы.
2. Dummy Image. Минимум функционала, максимум полезности. Позволяет генерировать изображения нужного разрешения и формата с заданным фоном.

Pairwise Testing

Когда мы используем классы эквивалентности и определяем граничные значения для них, то на выходе можем получить много тест-кейсов. Да хоть сотни, хоть тысячи. Техника попарного перебора (pairwise testing) поможет значительно сократить количество тест-кейсов в таком случае. Суть техники заключается в попарном переборе всех значений всех параметров.  Т.е. каждое значение каждого параметра должно быть в паре с каждым значением других параметров хотя бы раз.

Не могу сказать, что использую эту технику каждый день, но, тем не менее, иногда пригождается.

Инструменты для техники попарного перебора:
1. Pair Wiser (к сожалению, онлайн-версия больше недоступна, но осталась локальная версия). Как использовать — заводите параметры в Pairwiser, нажимаете «generate test» и получаю список тестов. Таблицу, в которой видно, что и с чем нужно протестировать, какие инстансы нужно создать.
2. Pairwise Teremok Games. Бесплатный аналог с веб интерфейсом.

Есть много других инструментов, но большая часть из них — консольные, не такие наглядные.

Валидаторы HTML/CSS

Сообщество World Wide Web Consortium, занимается стандартизацией HTML и CSS.

Они создали валидаторы, т.е. статические анализаторы, куда вы задаете URL своего приложения и он вам выдает набор ошибок. Существуют схожие инструменты, которые проверяют, насколько ваш сервис совместим с мобильными, или же проверяют ссылки. К примеру у этого валидатора задается URL, или прямо загружается файл с HTML. Существуют плагины для Chrome, которые могут это делать локально.

Примечание — это золотые стандарты, не стоит записывать в баги все что покажет данный сервис. К примеру, если вбить в этот валидатор Google.com, то он выдаст 21 ошибку, большая часть из них про устаревшие элементы.

Performance

Тестирование продуктивности (Performance testing) — по простому это эмулирование пользовательских запросов к тестируемому сайту на минимальных, средних, и максимальных возможностях сервиса. Это, отдельная наука, и этим должны заниматься отдельные специалисты.

Но предлагаю ознакомится с несколькими инструментами, для поверхностного тестирования продуктивности. Рекомендация уместна только если сервис уже размещен на общедоступном URL.

1. Page Speed от Google. У сервиса есть Chrome-плагин, который может локально проверить, насколько всё хорошо, и дать вам советы — сразу есть о чем поговорить с разработчиками.
2. Web Page Test, схожий сервис, от не такого известного разработчика, но с более широкими настройками. К примеру сервис позволяет эмулировать устройство или браузер с которого запущен ваш сервис. Также поддерживает API.
3. Light House, плагин для Chrome,  который оценивает ваш сервис с разных сторон, т.е. как приложение в общем, так и перформанс, доступность сервиса, доступность для людей с ограниченными возможностями.
4. JMeter. Очень популярный сервис. JMeter обычно используется для оценки скорости серверной части.  На ресурсе есть программа самообучения по данному сервису.
5. BlazeMeter Converter. Специальный конвертер, который умеет превращать HAR-файлы в тест-план для JMeter, т.е. вы просто проделали некоторые действия у себя в браузере, зашли на специальный сайт конвертера и получили уже готовый тест-план для JMeter. BlazeMeter Converter позиционирует себя, как конвертатор не только из HAR-файлов в JMeter тест-планы, но и XML, Selenium и JSON.
6. Консоль разработчика браузера. Для открытия в большинстве браузеров необходимо нажать F12. В данной консоли на разделе Network,  при выбрано фильтре XHR, возможно отслеживать время загрузки страницы и запросов на ней.

Эмуляторы

Для кроссбраузерного, и кроссплатформингового тестирования (проверки совместимости), возможно поднимать виртуальные машины, и проводит тестирование на реальных физических, разных устройствах. Но есть способ проще, вот несколько сервисов для этого:
1. Виртуальный IE. Официальный сервис от Microsoft. Через 60 дней может появится уведомление, что просрочена лицензия — решается перезагрузкой этой виртуальной машины.
2. Browserstack. Удобный и полезный инструмент. Он не эмулирует устройства, а имеет реально запущенные или виртуальные соответствующие устройства. Позволяет тестировать с различных устройств, OS и  браузеров. Сервис платный, но есть пробный период и тестирование через MS Edge возможно бесплатно.
3. Saucelabs. Аналог вышеуказанного сервиса.
4. Test Object. Сервис для тестирования на реальных мобильных устройствах.

Тестирование безопасности

Тестирование безопастности, как и тестирование продуктивности это отдельная наука, но стоит упомянуть несколько инструментов для базовых проверок.

1. Fiddler. Инструмент (бесплатный), который позволяет перехватывать запросы или писать свои с нуля. Позволяет также быстро отправить множество одинаковых запросов: хоткей Shift+R позволит повторить выбранный запрос сколько угодно раз.Рекомендуется для Windows.
2. Charles. Схожий инструмент (платный, 30 дней триала) для отслеживания запросов и их повтора с измененными параметрами. Тесты с данного сервиса возможно выгрузить в файл использовать в автоматизации. Отдельная статья по инструменту. Рекомендуется для Mac.
3. Tamper Data. Плагин для браузера (доступен для Firefox, и Chrome). Выполняет схожие функции с предыдущими инструментами, но не такой функциональный (для примера в нем нельзя эмулировать долгую работу сети)
4. Web Developer (ссылка для хрома). Плагин для браузера (доступен для Firefox, и Chrome). Инструмент, помощью которого возможно  проверить HTML локально, изменять cookies, отключать, JavaScript или изображения. Также его возможно использовать для security-тестирования: например, превращать выпадающие меню в текстовые поля, тем самым убирая клиентскую валидацию, и проверить, готова ли серверная часть к странным данным.

Написание тестов

Инструменты, где можно писать и «прогонять» тесты:
1. Test Rail. Один из самых популярных ресурсов. Имеет также мобильное приложение Moqa, с помощью которого можно проходить тесты или следить за результатами прохождения с мобильного.
2. Leantesting. Бесплатный аналог Test Rail.
Другие аналоги: HP QCMS Test ManagerTest Link.

Mind Maps. Схемы тестирования

Mind-карты — инструмент для того, чтобы визуализировать те тесты, которые вы собираетесь проводить, показать связи между ними.

Важный совет: не надо начинать карты с деталей, ваша карта становится очень большой и малоприменимой, старайтесь двигаться от общего к частному, не наоборот.

1. MindMup. Бесплатный онлайн-инструмент, карты из которого можно сохранять просто на Google drive и делиться ими со своими коллегами.
2. Coggle. Аналогичный инструмент (есть бесплатные возможности, платные недорогие). Достаточно приятно выглядит но сложно поддерживается.
3. Mindmeister. Плагин-коннектор от, Yoikee, только для Confluence.
4. LucidChart. Плагин-коннектор только для Jira, (по работе, схож с Google Drawings.)
5. Checkvist. Инструмент, который позволяет вести чек-листы. Сервис не заточен под тестировщиков, в нем недостает статусов, но очень прост в обращении, и благодаря хоткеям с ним можно очень быстро работать.
6. TestPad. Инструмент (исключительно облачный), который позволяет вести многоуровневые чек-листы и присваивать им различные статусы, сервис очень удобный, но достаточно дорогостоящий.
7. Structure.Testy. Инструмент схожий с пребедущим, но с возможностью инсталляции внутри баг-трекера Jira, если не покупать сервер то бесплатный.

Готовые чек-листы

В случае если продукт тестируется не один раз — документацию рано или поздно писать всё равно придется. Вот несколько сервисов с «заготовками» чек-листов:

1. Usability checklist. Сервис c чек-листами  (usability тестирование). Содержит подсказки для тех, у кого совсем ничего нет, или кто совсем не знает, с чего начать.
2. Статья, которая содержит множество примеров простых тест кейсов.