Журнал фильтра правок

'{{викифицировать}} '''Регрессио́нное тести́рование''' ({{lang-en|regression testing}}, от {{lang-la|regressio}} — движение назад) — собирательное название для всех видов [[тестирование программного обеспечения|тестирования программного обеспечения]], направленных на обнаружение ошибок в уже протестированных участках [[исходный код|исходного кода]]. Такие ошибки — когда после внесения изменений в программу перестаёт работать то, что должно было продолжать работать, — называют ''регрессионными ошибками'' ({{lang-en|regression bugs}}). Регрессионное тестирование (по некоторым{{каким?}} источникам) включает ''new bug-fix'' — проверка исправления вновь найденного дефекта, ''old bug-fix'' — проверка, что исправленный ранее и верифицированный дефект не воспроизводится в системе снова, а также ''side-effect'' — проверка того, что не нарушилась работоспособность работающей ранее функциональности, если её код мог быть затронут при исправлении некоторых дефектов в другой функциональности. Обычно используемые методы регрессионного тестирования включают повторные прогоны предыдущих тестов, а также проверки, не попали ли регрессионные ошибки в очередную версию в результате слияния кода. Из опыта разработки ПО известно, что повторное появление одних и тех же ошибок — случай достаточно частый. Иногда это происходит из-за слабой техники управления версиями или по причине человеческой ошибки при работе с [[система управления версиями|системой управления версиями]]. Но настолько же часто решение проблемы бывает «недолго живущим»: после следующего изменения в программе решение перестаёт работать. И наконец, при переписывании какой-либо части кода часто всплывают те же ошибки, что были в предыдущей реализации. Поэтому считается хорошей практикой при исправлении ошибки создать тест на неё и регулярно прогонять его при последующих изменениях программы. Хотя регрессионное тестирование может быть выполнено и вручную, но чаще всего это делается с помощью специализированных программ, позволяющих выполнять все регрессионные тесты [[Автоматическое_тестирование|автоматически]]. В некоторых проектах даже используются инструменты для автоматического прогона регрессионных тестов через заданный интервал времени. Обычно это выполняется после каждой удачной компиляции (в небольших проектах) либо каждую ночь или каждую неделю. Регрессионное тестирование является неотъемлемой частью [[экстремальное программирование|экстремального программирования]]. В этой методологии проектная документация заменяется на расширяемое, повторяемое и автоматизированное тестирование всего программного пакета на каждой стадии [[процесс разработки программного обеспечения|процесса разработки программного обеспечения]]. Регрессионное тестирование может быть использовано не только для проверки корректности программы, часто оно также используется для оценки [[качество программного обеспечения|качества]] полученного результата. Так, при разработке [[компилятор]]а при прогоне регрессионных тестов рассматривается размер получаемого кода, скорость его выполнения и время компиляции каждого из тестовых примеров. == Классификация == В своей статье S. Yoo and M. Harman<ref name=":0">{{Книга|автор=S. Yoo and M. Harman|заглавие=Regression testing minimisation, selection and prioritisation: A survey.|ответственный=|издание=|место=|издательство=|год=2010|страницы=121-141|страниц=|isbn=}}</ref> предоставляют следующую классификацию регрессионного тестирования: * '''''Тест минимизации наборов''''' ({{lang-en|test suite minimization}}) стремится уменьшить размер тестового набора за счет устранения избыточных тестовых примеров из тестового набора. * '''''Тестовая задача на определение приоритетов''''' ({{lang-en|test case prioritization}}). Её цели заключаются в выполнении заказанных тестов на основе какого-либо критерия. Например, на основе истории, базы или требований, которые, как ожидается, приведут к более раннему выявлению неисправностей или помогут максимизировать некоторые другие полезные свойства. * '''''Тестовая задача выбора''''' ({{lang-en|test case selection}})  связана с проблемой выбора подмножества тестов, которые будут использоваться для проверки измененных частей программного обеспечения. Для этого требуется выбрать подмножество тестов из предыдущей версии, которые могут обнаруживать неисправности, основываясь на различных стратегиях. Большинство задокументированных методов регрессионного тестирования сосредоточены именно на этой технике. Обычная стратегия состоит в том, чтобы сосредоточить внимание на отождествления модифицированных частей SUT ({{lang-en|SUT - system under test}} ) и для выбора тестовых случаев, имеющих отношение к ним. Например, техника полного повторного тестирования ({{lang-en|retest-all}}) – один из наивных типов выбора регрессивного теста путем повторного выполнения всех видов тестов от предыдущей версии на новой. Она часто используется в промышленности из-за её простого и быстрого внедрения. Тем не менее, ее способность обнаружения неисправностей ограничена. Таким образом, значительный объем работ связан с разработкой эффективных и масштабируемых селективных методы. * '''Гибридный тест'''. Является сочетанием задач на определение приоритетов и выбора. === '''Тест минимизации наборов''' === Тест минимизации наборов стремится уменьшить размер тестового набора путем устранения тестовых случаев из набора тестов на основе данного критерия. Существует три подхода, первый из которых применяет автоматизированное тестирование безопасности для обнаружения уязвимостей путем изучения неисправностей приложений, которые могут выявлять известные вредоносные программы, как вирусы или черви. Этот подход учитывает только проваленные тесты из предыдущей версии для повторного запуска в новой версии системы после фиксации неисправности. Другой же подход предназначен для обнаружения и устранения уязвимостей второстепенных релизов веб-приложений. В нем настраивается жесткая связь со страницами предыдущей версии при помощи итераторов, которые выбираются для изучения веб-страниц, которые содержат уязвимости. И, наконец, третий подход  предлагает тестирование с самоадаптацией системы для уже известных неудач. Авторы избегают воспроизведения уже известных ошибок, рассматривая только те тесты для выполнения, которые выявили известные неудачи в предыдущих версиях. === Тестовая задача на определение приоритетов === Тестовая задача на определение приоритетов касается правильного упорядочения тестов, что максимизирует желаемые свойства, такие как раннее выявление неисправностей. Кроме того, в настоящее время подходы к расстановке приоритетов рассматривают только уязвимости. Один из методов предлагает основанные на ошибках приоритетные тесты, которые непосредственно используют знание об их способности обнаруживать неисправности. Другой же предлагает изменяемую систему записи-воспроизведения, которая позволяет переписать записанную исполненную версию приложения в новую, модифицированную. Их выполнение является приоритетным из-за определения так называемой d-оптимальной изменяемого переписывания на основе функции затрат измерения разности между первоначальным исполнением и измененным при  повторе. === Тестовая задача выбора === Метод выбора позволяет выбрать подмножество или все тестовые случаи, чтобы проверить измененные части программного обеспечения. Следующие подходы тестируют и механизмы безопасности, и уязвимости. 1.     Были предложены некоторые методы, основанные на подмножествах и повторных испытаниях. 2.     Подход, основанный на диаграмме состояния (UML-based), регрессионного тестирования для требований безопасности аутентификации, конфиденциальности, доступности, авторизации и целостность. Тесты, представленные в виде диаграммы последовательности, выбираются на основе теста изменения требований. 3.     Подход к улучшению регрессионного тестирования на основе нефункциональных требований онтологий. Тесты выбираются на основе изменений и воздействий анализа нефункциональных требований, таких как безопасность, безопасность, производительность и надежность. Каждый тест связан с измененным требованием, которое выбирается для регрессивного тестирования. 4.     Подход для обеспечения проверки дополнительных доказательств для сертификации требований безопасности услуг. Этот подход основан на обнаружении изменений в тестовой модели обслуживания, которая будет определять, должны ли быть созданы новые тестовые случаи или существующие будут отобраны для повторного выполнения на выделенном сервисе. 5.     Подход к разработке безопасных систем оцениваемых по общим критериям. В этом подходе тестовые задания по требованиям безопасности создаются вручную и представлены в виде диаграммы последовательности. В случае изменения при необходимости пишутся новые тесты, а затем все тесты выполняются на новой версии. 6.     Подход к требованиям тестирования безопасности веб-сервиса релизов. Пользователь службы может периодически повторно выполнить набор тестов, направленных против сервиса чтобы проверить, является ли по-прежнему обладает правильными правами. 7.     Последние  три coverage-based методов отбора для эволюции тестирования политик безопасности, каждая из которых включает в себя последовательность правил, чтобы определить, какие предметы разрешено или отказано в доступе, какие ресурсы при каких условиях. Эти три метода основаны на двух критериях покрытия, т.е. охват измененных правил в политике и охват различных программных решений для эволюционировавшей и оригинальной политики. == Преимущества и недостатки == == Цитаты == {{начало цитаты}} Фундаментальная проблема при сопровождении программ состоит в том, что исправление одной ошибки с большой вероятностью (20—50 %) влечёт появление новой. Поэтому весь процесс идёт по принципу «два шага вперёд, шаг назад». Почему не удается устранять ошибки более аккуратно? Во-первых, даже скрытый дефект проявляет себя как отказ в каком-то одном месте. В действительности же он часто имеет разветвления по всей системе, обычно неочевидные. Всякая попытка исправить его минимальными усилиями приведет к исправлению локального и очевидного, но если только структура не является очень ясной, или документация очень хорошей, отдалённые последствия этого исправления останутся незамеченными. Во-вторых, ошибки обычно исправляет не автор программы, а зачастую младший программист или стажёр. Вследствие внесения новых ошибок сопровождение программы требует значительно больше системной отладки на каждый оператор, чем при любом другом виде программирования. Теоретически, после каждого исправления нужно прогнать весь набор контрольных примеров, по которым система проверялась раньше, чтобы убедиться, что она каким-нибудь непонятным образом не повредилась. На практике такое ''возвратное (регрессионное) тестирование'' действительно должно приближаться к этому теоретическому идеалу, и оно очень дорого стоит. {{конец цитаты|[[Брукс, Фредерик|Ф. Брукс]] ''[[Мифический человеко-месяц|Мифический человеко-месяц или как создаются программные системы]]''<ref>Ф. Брукс, ''Мифический человеко-месяц или как создаются программные системы''. Пер. с англ. — СПб.: Символ-Плюс, 2001. — 304 с.: ил. (с. 113—114).</ref>}} == См. также == * [[Автоматическое тестирование|Автоматизированное тестирование]] * [[Бета-тестирование]] * [[Интеграционное тестирование]] * [[Модульное тестирование]] * [[Непрерывная интеграция]] * [[Разработка через тестирование]] * [[Система отслеживания ошибок]] * [[Системное тестирование]] * [[Тестирование программного обеспечения]] * [[Экстремальное программирование]] * [[Юзабилити-тестирование]] == Примечания == {{примечания}} == Ссылки == * [http://www.javenue.info/post/24 Регрессионное тестирование (regression testing)] {{ref-ru}} == Литература == <ref>{{Статья|автор=Michael Felderer, Matthias Büchler, Martin Johns|заглавие=Security Testing: A Survey|ссылка=https://www.researchgate.net/publication/297918097_Security_Testing_A_Survey|язык=|издание=researchgate|тип=|год=2016|месяц=март|число=12|том=|номер=|страницы=22-26|issn=}}</ref> Michael Felderer, Matthias Büchler, Martin Johns. Security Testing: A Survey [[Категория:Тестирование программного обеспечения]]'