Автоматизированное тестирование с DUnit
Человеку свойственно ошибаться - Автоматизированное тестирование кода Delphi с DUnit. Автор: Крис Голко
Вносить ошибки свойственно человеку; проблема обычно не в их исправлении, а в том, чтобы найти их раньше, чем это сделают ваши клиенты. На помощь приходят инструменты автоматизированного тестирования с их способностью неустанно повторять процесс тестирования, чтобы разработчики могли работать с гораздо большей уверенностью. Почему стоит выбрать DUnit? Потому что речь идёт о модульном тестировании (модуль в смысле строительного блока кода, а не модуля Object Pascal). Ещё одно преимущество заключается в том, что тесты DUnit представляют собой фреймворки, в рамках которых выполняется код, что быстрее и удобнее, чем запуск всего приложения. Больше всего в DUnit мне нравится то, что я могу создавать свои тестовые случаи с помощью своего любимого инструмента разработки. DUnit поддерживает Delphi с 4 по 7 версию, а также Kylix.
Начало работы
DUnit распространяется в виде исходного кода; он включает несколько файлов исходного кода Delphi, примеры и документацию. Его можно загрузить со страницы проекта на SourceForge по адресу sourceforge.net/projects/dunit. Для установки просто распакуйте файл в выбранную вами директорию, сохраняя подкаталоги. Модули, используемые для создания и выполнения тестов, находятся в подкаталоге src, который следует добавить либо в Library Path в Environment Options|Library, либо в Search Path в Project|Options вашего тестового проекта.
Как писать тестовые случаи
Это просто: всё, что вам нужно сделать, это создать класс, унаследованный от TTestCase. TTestCase объявлен в модуле TestFramework. Чтобы добавить тесты в класс тестового случая, просто добавьте опубликованную процедуру для каждого теста в свой производный класс. Объект запуска тестов использует RTTI для определения доступных тестов в классе тестового случая.
Есть два очень полезных метода: Setup и TearDown. Выполнение каждого отдельного тестового случая внутри класса начинается с Setup, затем идёт опубликованная процедура, которая составляет тест, за которой следует TearDown. Setup можно использовать для создания экземпляров объектов, необходимых для выполнения тестов, и инициализации их состояний в соответствии с операциями теста. Setup также должен содержать действия, которые необходимо выполнить перед каждым тестом, например, подключение к базе данных. Метод TearDown следует использовать для очистки и удаления объектов.
Опубликованная процедура обычно содержит несколько вызовов метода Check. Метод Check объявлен следующим образом:
procedure Check(Condition: boolean; msg: string = ''); virtual;
|
Параметр condition обычно представляет собой выражение, которое вычисляется в булево значение. Если выражение, переданное в процедуру Check, вычисляется как false, тест помечается как неудавшийся, и выполнение теста прерывается.
...
Check(Expected = Actual, 'Actual number different than expected');
...
|
Тесты организованы в наборы, называемые сюитами. Тестовые сюиты могут содержать несколько тестов и других тестовых сюитов, обеспечивая способ построения дерева тестов. Центральным элементом работы DUnit является реестр тестов, который хранит все сюиты в тестовом приложении. Обычно реестр тестов создаётся во время инициализации тестового приложения. Модули, объявляющие тестовые случаи, по соглашению имеют секцию initialization, где создаются тестовые случаи и добавляются в реестр.
Тестовые сюиты можно создавать, создавая экземпляр класса TTestSuite, объявленного в TestFramework. Наиболее удобный и часто используемый способ создания тестовой сюиты — использовать метод Suite класса TTestCase, который создаёт новый TTestSuite, содержащий только этот тестовый случай. Обратите внимание, что это метод класса.
Процедуры RegisterTest и RegisterTests добавляют тесты или тестовые сюиты в реестр тестов. Простейший пример — создать тестовую сюиту, содержащую один тестовый случай, а затем зарегистрировать её следующим образом:
Framework.RegisterTest(TMyTest.Suite);
|
Как запускать тесты
DUnit включает два стандартных класса запуска тестов: TGUITestRunner с интерактивным графическим интерфейсом и TTextTestRunner с пакетным режимом командной строки. TGUITestRunner объявлен в модуле GUITestRunner вместе с отдельной процедурой RunRegisteredTests, которая запускает зарегистрированные тестовые сюиты с использованием TGUITestRunner. Версия CLX для TGUITestRunner объявлена в модуле QGUITestRunner.

TTextTestRunner объявлен в модуле TextTestRunner вместе с соответствующей отдельной процедурой RunRegisteredTests. Вызовы RunRegisteredTests обычно квалифицируются именем модуля, поскольку существует несколько глобальных процедур RunRegisteredTests. Например:
GUITestRunner.RunRegisteredTests;
|
Существующие пользователи DUnit заметят, что одно из последних изменений в DUnit — это добавление методов класса RunRegisteredTests и устаревание отдельных процедур RunRegisteredTests, поскольку несколько глобальных процедур с одинаковым именем излишне загромождают пространство имён. Теперь рекомендуется квалифицировать вызовы RunRegisteredTests именем класса запуска тестов, а не именем модуля:
TGUITestRunner.RunRegisteredTests;
|
Пример
Давайте применим всё это на практике. Пример приложения собирает рейтинги так же, как многие веб-сайты предоставляют возможность «оценить этот сайт». Наиболее примечательно, что CodeCentral имеет интересную систему рейтингов, где вы можете устанавливать варианты выбора в соответствии со своими личными предпочтениями (мой любимый — древнегреческая мифология). Базовая логика нашей системы рейтингов определяется интерфейсом IRatingCollector.
IRatingCollector = interface
function GetPrompt: string;
procedure Rate(Rater: string; Choice: integer);
function GetChoiceCount: integer;
function GetChoice(Choice: integer): string;
function GetChoiceRatings(Choice: integer): integer;
function GetRatingCount: integer;
function GetRating(Index: integer; var Rater: string): integer;
function GetRatersRating(Rater: string): integer;
end;
|
Класс TRateTests позволяет нам разрабатывать и тестировать бизнес-логику независимо от пользовательского интерфейса. Фактически выгодно разрабатывать и тестировать бизнес-логику перед началом работы над пользовательским интерфейсом. Тестовые случаи разработаны для тестирования любой реализации IRatingCollector.
TRateTests = class(TTestCase)
private
FRateCollector: IRatingCollector;
protected
procedure Setup; override;
procedure TearDown; override;
published
// tests here
end;
|
Процедуры Setup и TearDown используются для создания экземпляра и удаления реализации IRatingCollector.
const
SAMPLE_RATE_PROMPT = 'Rate DUnit (Mythological Slavic Feminine)';
SAMPLE_RATE_CHOICES: array[0..3] of string = ('Lada', 'Jurata', 'Marzanna', 'Baba Jaga');
procedure TRateTests.Setup;
begin
// modify this line only to test another implementation of IRatingCollector
FRateCollector := TSimpleRatingCollector.Create(SAMPLE_RATE_PROMPT, SAMPLE_RATE_CHOICES);
end;
procedure TRateTests.TearDown;
begin
FRateCollector := nil;
end;
|
Процедуры, объявленные в разделе published, являются базовыми тестовыми единицами; их написание требует изобретательности и творчества. В нашем примере TestChoices проверяет, соответствует ли список вариантов ожидаемому.
procedure TRateTests.TestChoices;
var
I: integer;
begin
Check(FRatingCollector.GetChoiceCount = Length(SAMPLE_RATE_CHOICES),
Format('There should be exactly %d choices',
[Length(SAMPLE_RATE_CHOICES)]));
for I := 0 to FRatingCollector.GetChoiceCount - 1 do
Check(FRatingCollector.GetChoice(I) = SAMPLE_RATE_CHOICES[I],
'Expected ' + SAMPLE_RATE_CHOICES[I]);
end;
|
Процедура TestRate проверяет, приводит ли выполнение процедуры Rate к увеличению количества рейтингов для оцениваемого варианта:
procedure TestRate;
...
FRatingCollector.Rate(NextRater, 0);
Check(FRatingCollector.GetRatingCount = RatingCount + 1,
'Expected ' + IntToStr(RatingCount + 1));
...
end;
|
Тесты должны быть как можно более полными, но очень сложно охватить все возможные сценарии. По мере сообщения об ошибках тесты следует пересматривать.
Очень важно, чтобы тесты охватывали экстремальные условия; в нашем примере вариант выбора или оценщик, переданные процедуре Rate, могут быть недействительными. Тесты проверяют, возникает ли исключение, когда оно ожидается. Следующий код проверяет, возникает ли исключение EInvalidRater, когда оценщик пытается оценить во второй раз.
ErrorAsExpected := false;
Rater := NextRater;
try
FRatingCollector.Rate(Rater, 0);
FRatingCollector.Rate(Rater, 0);
except
// exception expected
on E:EInvalidRater do
ErrorAsExpected := true;
end;
Check(ErrorAsExpected, 'Exception expected if a rater has already rated');
|
Наконец, регистрация теста в секции initialization:
RegisterTest('Basic tests', [TRateTests.Suite]);
|
Файл проекта показывает типичный способ запуска тестов в режиме GUI.
GUITestRunner.RunRegisteredTests;
|

Чтобы использовать CLX вместо VCL, замените GUITestRunner на QGUITestRunner в квалифицированных вызовах RunRegisteredTests, а также в секции uses.
Экстремальное кроссплатформенное программирование
При переносе DUnit на Kylix существуют две категории проблем: различия между системными вызовами Windows и Linux и различия между VCL и CLX. Удивительно, но покрытие различий в ОС является более лёгкой частью. Первый шаг — добавить условные операторы в секции uses; модули типа Windows или Messages, конечно, недоступны в Kylix. Прототипы базовых системных вызовов можно найти в модуле libc, а базовые определения типов — в стандартных модулях Types и Qt. Некоторые системные функции были заменены эквивалентами Linux; другие необходимо реализовать.
Для переноса на CLX потребовалось несколько трюков. Визуальные компоненты CLX и VCL различаются лишь незначительно, но, несмотря на это, перенос иногда может быть довольно сложным.
DUnit для Delphi и Kylix компилируется из одного и того же источника, за исключением графических запускающих программ тестов GUITestRunner и QGUITestRunner. Однако в источнике много условных операторов для обеспечения этой кроссплатформенной поддержки.
Это только начало
После освоения основ в DUnit есть много дополнительных функций, которые позволяют выполнять более сложные тесты. Например, есть готовые классы для конкретных целей, такие как тестирование на утечки памяти. Модуль TestExtensions содержит ряд полезных классов, основанных на паттерне проектирования Декоратор. Один из наиболее важных — класс TRepeatedTest, который позволяет выполнить тестовый случай заданное количество раз. В этом примере TRepeatedTest используется для многократного последовательного вызова процедуры Rate.
RegisterTest('Repeated Rate',
TRepeatedTest.Create(TRateTests.Create('CheckRate'), 5));
|
Класс TGUITestCase поддерживает тестирование графического интерфейса. TGUITestCase объявлен в модуле GUITesting. См. модуль RateGUITests для примера его использования для тестирования диалогового окна отправки рейтинга.
Поскольку исходный код Delphi для DUnit свободно доступен, опытный разработчик Delphi может легко расширить DUnit, например, создавая новые расширения.
Тестирование как свободное искусство
Тестирование даёт лучшие результаты, когда тесты основаны на знании дизайна приложения. Если были созданы диаграммы UML, их можно использовать в качестве основы для построения тестов, завершая тем самым цикл требований, анализа, реализации и тестирования.
В идеале тесты должны разрабатываться одновременно с кодом проекта. Технически тесты можно создавать для уже завершённых приложений; однако такие приложения часто не подходят для модульного тестирования, поскольку им не хватает хорошо развитой модульной структуры. Использование автоматизированного тестирования с DUnit способствует лучшему проектированию приложений и облегчает рефакторинг кода, но наибольшую разницу это вносит на этапе сопровождения приложения. Сопровождающих можно назначать на модули (в смысле компонентов), а не на полные проекты, и они могут исправлять ошибки и тестировать модули без сборки и тестирования всего приложения. Иногда проблему можно решить на уровне модуля без привлечения опытного разработчика, тогда как в случае большого, аморфного приложения опытные разработчики должны быть вовлечены всё время.
Автоматизированное тестирование с DUnit
Автоматизированное тестирование с DUnit : Несколько тысяч советов, которые сделают вашу жизнь проще.
Человеку свойственно ошибаться - Автоматизированное тестирование кода Delphi с DUnit. Автор: Крис Голко
Вносить ошибки свойственно человеку; проблема обычно не в их исправлении, а в том, чтобы найти их раньше, чем это сделают ваши клиенты. На помощь приходят инструменты автоматизированного тестирования с их способностью неустанно повторять процесс тестирования, чтобы разработчики могли работать с гораздо большей уверенностью. Почему стоит выбрать DUnit? Потому что речь идёт о модульном тестировании (модуль в смысле строительного блока кода, а не модуля Object Pascal). Ещё одно преимущество заключается в том, что тесты DUnit представляют собой фреймворки, в рамках которых выполняется код, что быстрее и удобнее, чем запуск всего приложения. Больше всего в DUnit мне нравится то, что я могу создавать свои тестовые случаи с помощью своего любимого инструмента разработки. DUnit поддерживает Delphi с 4 по 7 версию, а также Kylix.
Начало работы
DUnit распространяется в виде исходного кода; он включает несколько файлов исходного кода Delphi, примеры и документацию. Его можно загрузить со страницы проекта на SourceForge по адресу sourceforge.net/projects/dunit. Для установки просто распакуйте файл в выбранную вами директорию, сохраняя подкаталоги. Модули, используемые для создания и выполнения тестов, находятся в подкаталоге src, который следует добавить либо в Library Path в Environment Options|Library, либо в Search Path в Project|Options вашего тестового проекта.
Как писать тестовые случаи
Это просто: всё, что вам нужно сделать, это создать класс, унаследованный от TTestCase. TTestCase объявлен в модуле TestFramework. Чтобы добавить тесты в класс тестового случая, просто добавьте опубликованную процедуру для каждого теста в свой производный класс. Объект запуска тестов использует RTTI для определения доступных тестов в классе тестового случая.
Есть два очень полезных метода: Setup и TearDown. Выполнение каждого отдельного тестового случая внутри класса начинается с Setup, затем идёт опубликованная процедура, которая составляет тест, за которой следует TearDown. Setup можно использовать для создания экземпляров объектов, необходимых для выполнения тестов, и инициализации их состояний в соответствии с операциями теста. Setup также должен содержать действия, которые необходимо выполнить перед каждым тестом, например, подключение к базе данных. Метод TearDown следует использовать для очистки и удаления объектов.
Опубликованная процедура обычно содержит несколько вызовов метода Check. Метод Check объявлен следующим образом:
procedure Check(Condition: boolean; msg: string = ''); virtual;
|
Параметр condition обычно представляет собой выражение, которое вычисляется в булево значение. Если выражение, переданное в процедуру Check, вычисляется как false, тест помечается как неудавшийся, и выполнение теста прерывается.
...
Check(Expected = Actual, 'Actual number different than expected');
...
|
Тесты организованы в наборы, называемые сюитами. Тестовые сюиты могут содержать несколько тестов и других тестовых сюитов, обеспечивая способ построения дерева тестов. Центральным элементом работы DUnit является реестр тестов, который хранит все сюиты в тестовом приложении. Обычно реестр тестов создаётся во время инициализации тестового приложения. Модули, объявляющие тестовые случаи, по соглашению имеют секцию initialization, где создаются тестовые случаи и добавляются в реестр.
Тестовые сюиты можно создавать, создавая экземпляр класса TTestSuite, объявленного в TestFramework. Наиболее удобный и часто используемый способ создания тестовой сюиты — использовать метод Suite класса TTestCase, который создаёт новый TTestSuite, содержащий только этот тестовый случай. Обратите внимание, что это метод класса.
Процедуры RegisterTest и RegisterTests добавляют тесты или тестовые сюиты в реестр тестов. Простейший пример — создать тестовую сюиту, содержащую один тестовый случай, а затем зарегистрировать её следующим образом:
Framework.RegisterTest(TMyTest.Suite);
|
Как запускать тесты
DUnit включает два стандартных класса запуска тестов: TGUITestRunner с интерактивным графическим интерфейсом и TTextTestRunner с пакетным режимом командной строки. TGUITestRunner объявлен в модуле GUITestRunner вместе с отдельной процедурой RunRegisteredTests, которая запускает зарегистрированные тестовые сюиты с использованием TGUITestRunner. Версия CLX для TGUITestRunner объявлена в модуле QGUITestRunner.

TTextTestRunner объявлен в модуле TextTestRunner вместе с соответствующей отдельной процедурой RunRegisteredTests. Вызовы RunRegisteredTests обычно квалифицируются именем модуля, поскольку существует несколько глобальных процедур RunRegisteredTests. Например:
GUITestRunner.RunRegisteredTests;
|
Существующие пользователи DUnit заметят, что одно из последних изменений в DUnit — это добавление методов класса RunRegisteredTests и устаревание отдельных процедур RunRegisteredTests, поскольку несколько глобальных процедур с одинаковым именем излишне загромождают пространство имён. Теперь рекомендуется квалифицировать вызовы RunRegisteredTests именем класса запуска тестов, а не именем модуля:
TGUITestRunner.RunRegisteredTests;
|
Пример
Давайте применим всё это на практике. Пример приложения собирает рейтинги так же, как многие веб-сайты предоставляют возможность «оценить этот сайт». Наиболее примечательно, что CodeCentral имеет интересную систему рейтингов, где вы можете устанавливать варианты выбора в соответствии со своими личными предпочтениями (мой любимый — древнегреческая мифология). Базовая логика нашей системы рейтингов определяется интерфейсом IRatingCollector.
IRatingCollector = interface
function GetPrompt: string;
procedure Rate(Rater: string; Choice: integer);
function GetChoiceCount: integer;
function GetChoice(Choice: integer): string;
function GetChoiceRatings(Choice: integer): integer;
function GetRatingCount: integer;
function GetRating(Index: integer; var Rater: string): integer;
function GetRatersRating(Rater: string): integer;
end;
|
Класс TRateTests позволяет нам разрабатывать и тестировать бизнес-логику независимо от пользовательского интерфейса. Фактически выгодно разрабатывать и тестировать бизнес-логику перед началом работы над пользовательским интерфейсом. Тестовые случаи разработаны для тестирования любой реализации IRatingCollector.
TRateTests = class(TTestCase)
private
FRateCollector: IRatingCollector;
protected
procedure Setup; override;
procedure TearDown; override;
published
// tests here
end;
|
Процедуры Setup и TearDown используются для создания экземпляра и удаления реализации IRatingCollector.
const
SAMPLE_RATE_PROMPT = 'Rate DUnit (Mythological Slavic Feminine)';
SAMPLE_RATE_CHOICES: array[0..3] of string = ('Lada', 'Jurata', 'Marzanna', 'Baba Jaga');
procedure TRateTests.Setup;
begin
// modify this line only to test another implementation of IRatingCollector
FRateCollector := TSimpleRatingCollector.Create(SAMPLE_RATE_PROMPT, SAMPLE_RATE_CHOICES);
end;
procedure TRateTests.TearDown;
begin
FRateCollector := nil;
end;
|
Процедуры, объявленные в разделе published, являются базовыми тестовыми единицами; их написание требует изобретательности и творчества. В нашем примере TestChoices проверяет, соответствует ли список вариантов ожидаемому.
procedure TRateTests.TestChoices;
var
I: integer;
begin
Check(FRatingCollector.GetChoiceCount = Length(SAMPLE_RATE_CHOICES),
Format('There should be exactly %d choices',
[Length(SAMPLE_RATE_CHOICES)]));
for I := 0 to FRatingCollector.GetChoiceCount - 1 do
Check(FRatingCollector.GetChoice(I) = SAMPLE_RATE_CHOICES[I],
'Expected ' + SAMPLE_RATE_CHOICES[I]);
end;
|
Процедура TestRate проверяет, приводит ли выполнение процедуры Rate к увеличению количества рейтингов для оцениваемого варианта:
procedure TestRate;
...
FRatingCollector.Rate(NextRater, 0);
Check(FRatingCollector.GetRatingCount = RatingCount + 1,
'Expected ' + IntToStr(RatingCount + 1));
...
end;
|
Тесты должны быть как можно более полными, но очень сложно охватить все возможные сценарии. По мере сообщения об ошибках тесты следует пересматривать.
Очень важно, чтобы тесты охватывали экстремальные условия; в нашем примере вариант выбора или оценщик, переданные процедуре Rate, могут быть недействительными. Тесты проверяют, возникает ли исключение, когда оно ожидается. Следующий код проверяет, возникает ли исключение EInvalidRater, когда оценщик пытается оценить во второй раз.
ErrorAsExpected := false;
Rater := NextRater;
try
FRatingCollector.Rate(Rater, 0);
FRatingCollector.Rate(Rater, 0);
except
// exception expected
on E:EInvalidRater do
ErrorAsExpected := true;
end;
Check(ErrorAsExpected, 'Exception expected if a rater has already rated');
|
Наконец, регистрация теста в секции initialization:
RegisterTest('Basic tests', [TRateTests.Suite]);
|
Файл проекта показывает типичный способ запуска тестов в режиме GUI.
GUITestRunner.RunRegisteredTests;
|

Чтобы использовать CLX вместо VCL, замените GUITestRunner на QGUITestRunner в квалифицированных вызовах RunRegisteredTests, а также в секции uses.
Экстремальное кроссплатформенное программирование
При переносе DUnit на Kylix существуют две категории проблем: различия между системными вызовами Windows и Linux и различия между VCL и CLX. Удивительно, но покрытие различий в ОС является более лёгкой частью. Первый шаг — добавить условные операторы в секции uses; модули типа Windows или Messages, конечно, недоступны в Kylix. Прототипы базовых системных вызовов можно найти в модуле libc, а базовые определения типов — в стандартных модулях Types и Qt. Некоторые системные функции были заменены эквивалентами Linux; другие необходимо реализовать.
Для переноса на CLX потребовалось несколько трюков. Визуальные компоненты CLX и VCL различаются лишь незначительно, но, несмотря на это, перенос иногда может быть довольно сложным.
DUnit для Delphi и Kylix компилируется из одного и того же источника, за исключением графических запускающих программ тестов GUITestRunner и QGUITestRunner. Однако в источнике много условных операторов для обеспечения этой кроссплатформенной поддержки.
Это только начало
После освоения основ в DUnit есть много дополнительных функций, которые позволяют выполнять более сложные тесты. Например, есть готовые классы для конкретных целей, такие как тестирование на утечки памяти. Модуль TestExtensions содержит ряд полезных классов, основанных на паттерне проектирования Декоратор. Один из наиболее важных — класс TRepeatedTest, который позволяет выполнить тестовый случай заданное количество раз. В этом примере TRepeatedTest используется для многократного последовательного вызова процедуры Rate.
RegisterTest('Repeated Rate',
TRepeatedTest.Create(TRateTests.Create('CheckRate'), 5));
|
Класс TGUITestCase поддерживает тестирование графического интерфейса. TGUITestCase объявлен в модуле GUITesting. См. модуль RateGUITests для примера его использования для тестирования диалогового окна отправки рейтинга.
Поскольку исходный код Delphi для DUnit свободно доступен, опытный разработчик Delphi может легко расширить DUnit, например, создавая новые расширения.
Тестирование как свободное искусство
Тестирование даёт лучшие результаты, когда тесты основаны на знании дизайна приложения. Если были созданы диаграммы UML, их можно использовать в качестве основы для построения тестов, завершая тем самым цикл требований, анализа, реализации и тестирования.
В идеале тесты должны разрабатываться одновременно с кодом проекта. Технически тесты можно создавать для уже завершённых приложений; однако такие приложения часто не подходят для модульного тестирования, поскольку им не хватает хорошо развитой модульной структуры. Использование автоматизированного тестирования с DUnit способствует лучшему проектированию приложений и облегчает рефакторинг кода, но наибольшую разницу это вносит на этапе сопровождения приложения. Сопровождающих можно назначать на модули (в смысле компонентов), а не на полные проекты, и они могут исправлять ошибки и тестировать модули без сборки и тестирования всего приложения. Иногда проблему можно решить на уровне модуля без привлечения опытного разработчика, тогда как в случае большого, аморфного приложения опытные разработчики должны быть вовлечены всё время.
Автоматизированное тестирование с DUnit
By russiatips
Автоматизированное тестирование с DUnit : Несколько тысяч советов, которые сделают вашу жизнь проще.