Использование ApacheBench для тестирования нагрузки на веб-сервер

ApacheBench (Apache Bench) представляет собой инструмент, который используется для тестирования веб-сервера по протоколу гипертекстовой передачи (HTTP). Изначально его создали для измерения производительности веб-сервера Apache. Однако впоследствии стали использовать для тестирования других веб-серверов или web-приложений. С помощью этого инструмента можно достаточно быстро узнать, сколько запросов в секунду способен обслуживать Ваш веб-сервер или приложение.

Содержание:

1. Основные особенности ApacheBench
2. Установка ApacheBench
   1. Проверка установки ApacheBench
3. Тестирование нагрузки веб-сервера / приложения
   1. Расшифровка параметров вывода
   2. Визуализация вывода ApacheBench
      1. Анализ результатов тестирования нагрузки
4. Тестирование нагрузки на приложение
5. Выводы

Основные особенности ApacheBench

Начать стоит с того, что ApacheBench имеет ряд преимуществ и недостатков. А именно:

1. Он представляет собой программное обеспечение с открытым исходным кодом, поэтому распространяется по бесплатной лицензии.
2. Из-за того, что это простая однопоточная программа для командной строки, она не может использовать преимущества многоядерных процессоров, то есть является не масштабируемой.
3. Это кроссплатформенный инструмент. Следовательно, его можно использовать как на ОС Linux / Unix, так и на сервере Windows.
4. При помощи этой программы можно тестировать нагрузку только веб-серверов HTTP или HTTPS.

Установка ApacheBench

Еще одним преимуществом ApacheBench является то, что это автономное приложение. То есть для его использования не нужно устанавливать веб-сервер Apache.

Давайте установим ApacheBench. Сперва обновляем список пакетов в репозиториях:

# apt update

Устанавливаем пакет утилит apache2, чтобы получить доступ к ApacheBench:

# apt install apache2-utils

Проверка установки ApacheBench

Посмотрим, как проверить установку ApacheBench, для этого выполняем команду:

# ab -V

Пример вывода:

This is ApacheBench, Version 2.3 <$Revision: 1843412 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Важно: ApacheBench следует запускать только на тех серверах, которыми Вы владеете, или на которых у Вас есть явное разрешение на тестирование. В некоторых странах использование ApacheBench без разрешения владельца сервера считаться преступлением и уголовно наказуемо.

Тестирование нагрузки веб-сервера / приложения

Для примера протестируем сайт blog.sedicomm.com. Предположим, мы хотим увидеть, как быстро сервер сможет обработать 100 запросов к sedicomm, если ApacheBench одновременно будет выполнять не более 10 запросов:

# ab -n 100 -c 10 https://blog.sedicomm.com/

Пример вывода:

This is ApacheBench, Version 2.3 <$Revision: 1843412 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking blog.sedicomm.com (be patient).....done

Server Software: cloudflare
Server Hostname: blog.sedicomm.com
Server Port: 443
SSL/TLS Protocol: TLSv1.2,ECDHE-ECDSA-CHACHA20-POLY1305,256,256
Server Temp Key: X25519 253 bits
TLS Server Name: blog.sedicomm.com

Document Path: /
Document Length: 398247 bytes

Concurrency Level: 10
Time taken for tests: 4.442 seconds
Complete requests: 100
Failed requests: 7
(Connect: 0, Receive: 0, Length: 7, Exceptions: 0)
Total transferred: 39916579 bytes
HTML transferred: 39824755 bytes
Requests per second: 22.51 [#/sec] (mean)
Time per request: 444.176 [ms] (mean)
Time per request: 44.418 [ms] (mean, across all concurrent requests)
Transfer rate: 8776.03 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 5 9 4.2 8 29
Processing: 34 199 302.7 82 2647
Waiting: 18 130 295.4 53 2644
Total: 40 208 302.9 93 2657

Percentage of the requests served within a certain time (ms)
50% 93
66% 250
75% 266
80% 286
90% 370
95% 721
98% 898
99% 2657
100% 2657 (longest request)

Расшифровка параметров вывода

Чтобы свободно пользоваться ApacheBench, важно понимать, из каких параметров и соответствующих им значений состоят результаты вывода команды ab. Для Вашего удобства мы подготовили следующий список с расшифровкой параметров вывода:

• Server Software / Серверное программное обеспечение — это название веб-сервера в заголовке HTTP первого успешного возврата.
• Server Hostname / Имя хоста сервера — это DNS или IP-адрес, указанный в командной строке.
• Server Port / Порт сервера — это порт, к которому подключается ApacheBench. Если порт не указан в командной строке, то по умолчанию будет установлено значение 80 (для HTTP) и 443 (для HTTPS).
• SSL / TLS Protocol / Протокол SSL / TLS — протокол, согласованный между клиентом и сервером (если вообще используется SSL).
• Document Path / Путь документа — это URI запроса из командной строки.
• Document Length / Длина документа — размер первого успешно возвращенного командой ab документа в байтах (если длина документа изменяется во время тестирования, будет возвращена ошибка).
• Concurrency Level / Количество параллельных запросов — это число одновременно запущенных во время теста клиентов ApacheBench (эквивалентных отдельным веб-браузерам, совершающих запросы).
• Time taken for tests / Время, затраченное на тесты — время, затраченное от момента создания первого сокетного соединения до момента получения последнего ответа на запрос команды ab.
• Complete requests / Выполнено запросов — общее количество полученных успешных ответов на запросы команды ab.
• Failed requests / Запросы с ошибками — количество запросов, которые были признаны ошибочными (если оно больше нуля, будет выведена строка, показывающая количество запросов, не выполненных из-за подключения, чтения, неправильной длины содержимого или исключений).
• Total transferred / Всего передано — общий объем переданных по сети данных в байтах.
• HTML transferred/ Передано HTML — общее количество байтов документа, полученных с сервера (значение исключает байты, полученные в заголовках HTTP).
• Requests per second/ Количество запросов в секунду — сколько запросов выполнялось за секунду (результат деления количества запросов на общее время тестирования).
• Time per request / Время на запрос — среднее время, затраченное на один запрос (первое значение — Concurrency Level * Time taken for tests * 1000 / Complete requests; второе значение — Time taken for tests * 1000 / Complete requests).
• Transfer rate / Скорость передачи — скорость передачи данных, рассчитанная по формуле Total transferred / 1024 / Time taken for tests.

Анализ результатов тестирования нагрузки

Теперь, когда Вы изучили расшифровку параметров вывода команды ab, попробуем проанализировать и понять выводы для нашего теста:

• Организация использует собственное ПО для веб-сервера — CloudFlare.
• Сервер прослушивает порт 443 из-за использования HTTPS. Если бы использовался протокол HTTP, то сервер прослушивал бы порт 80 (по умолчанию).
• Всего передано 398 247 байт за 100 запросов.
• Тест завершен за 4.442 секунды.
• Количество неуспешных запросов — 7.
• Количество запросов в секунду — 22.51, что считается довольно хорошим показателем.
• Время на запрос — 444.176 мс (для 10 одновременных запросов). Таким образом, суммарно затрачено 44.418 мс (444.176 мс / 10).
• Скорость передачи данных — 8776.03 [Кбайт/с] получено.

По результатам анализа статистики времени соединения можно заметить, что многим запросам приходилось ждать обработки несколько секунд. Это может быть связано с тем, что веб-сервер помещает запросы в очередь ожидания.

Таким образом мы узнали, что сервер возвращал запросы со скоростью 22.51 запросов в секунду, самый быстрый запрос составлял 40 мс, самый медленный — 2657 мс.

Визуализация вывода ApacheBench

Далее посмотрим, как запросы распределяются по времени. Для визуализации результатов будем использовать опцию -g, после нее укажем имя файла, в который запишем результаты тестирования:

# ab -n 100 -c 10 -g out.data https://blog.sedicomm.com/

Посмотрим содержимое файла out.data:

# less out.data

Пример вывода:

starttime seconds ctime dtime ttime wait
Thu Jun 09 15:05:34 2022 1654787134 5 21 26 17
Thu Jun 09 15:05:33 2022 1654787133 5 30 35 22
Thu Jun 09 15:05:33 2022 1654787133 8 37 45 30
Thu Jun 09 15:05:34 2022 1654787134 5 40 45 27
Thu Jun 09 15:05:34 2022 1654787134 8 38 45 34

Теперь разберемся с заголовками столбцов в файле out.data:

• starttime — это дата и время начала запроса;
• seconds — время начала запроса, но уже в формате отметки времени Unix (date -d @ 1654787134 возвращает значение, соответствующее starttime);
• ctime — время на установку соединения;
• dtime — время на обработку;
• ttime — общее время (ttime = ctime + dtime);
• wait — время ожидания.

Чтобы понять, как эти несколько элементов связаны друг с другом, изучим изображение:

Устанавливаем и запускаем gnuplot:

# apt install gnuplot
# gnuplot

Так как мы работаем в терминале, то графики нам необходимо строить в режиме ASCII. Включаем режим рисования:

gnuplot> set terminal dumb

Терминал готов к рисованию, построим данные из файла out.data:

gnuplot> plot "out.data" using 9 w l

Для примера протестируем другой сайт: sedicomm.com.

# ab -n 100 -c 10 -g out.data https://www.sedicomm.com/
# gnuplot
gnuplot> set terminal dumb
gnuplot> plot "out.data" using 9 w l

В результате получаем следующий график:

Тестирование нагрузки на приложение

Чтобы провести тестирование нагрузки, создадим небольшое приложение. Для этого установим менеджер пакетов pip и небольшой web-фреймворк Bottle:

# apt install python3-pip
# pip install bottle

Откроем текстовый редактор:

vim app.py

Напишем web-приложение:

from bottle import Bottle, run

app = Bottle()

@app.route('/')
@app.route('/hello')

def hello():
return "Hello Youtubers of SEDICOMM TV!"

run(app, host = '0.0.0.0', port = 8080)

Запускаем приложение:

# python3 app.py

Пример вывода:

Bottle v0.12.21 server starting up (using WSGIRefServer())...
Listening on http://0.0.0.0:8080/
Hit Ctrl-C to quit.

Эти результаты вывода показывают, что наше приложение работает на локальной машине, доступно по всем сетевым интерфейсам по адресу http: //<server-ip> и прослушивает порт 8080.

Давайте теперь протестируем наше приложение, набрав следующую команду:

# ab -n 100 -c 10 http://<server-ip>:8080/hello

Пример вывода:

This is ApacheBench, Version 2.3 <$Revision: 1843412 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 138.197.177.219 (be patient).....done

Server Software: WSGIServer/0.2
Server Hostname: 138.197.177.219
Server Port: 8080

Document Path: /hello
Document Length: 40 bytes

Concurrency Level: 10
Time taken for tests: 0.805 seconds
Complete requests: 100
Failed requests: 0
Total transferred: 19500 bytes
HTML transferred: 4000 bytes
Requests per second: 124.26 [#/sec] (mean)
Time per request: 80.474 [ms] (mean)
Time per request: 8.047 [ms] (mean, across all concurrent requests)
Transfer rate: 23.66 [Kbytes/sec] received

Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 0 0.0 0 0
Processing: 0 10 77.0 2 772
Waiting: 0 10 76.9 2 771
Total: 1 10 77.0 2 772

Percentage of the requests served within a certain time (ms)
50% 2
66% 2
75% 2
80% 2
90% 2
95% 3
98% 3
99% 772
100% 772 (longest request)

Запустим тест, чтобы построить график нагрузки на приложение:

# ab -n 100 -c 10 -g out.data http://<server-ip>:8080/hello
# gnuplot
gnuplot> set terminal dumb
gnuplot> plot "out.data" using 9 w l

Информацию о других возможностях команды ab можно получить, введя в командную строку запрос man ab:

man ab

Как видите, ApacheBench имеет много полезных опций для настройки дополнительных параметров запросов и детализации результатов вывода.

Выводы

Мы успешно справились с задачей — научились выполнять тестирование нагрузки с ApacheBench для веб-сервера и приложения. После изучения наших примеров легко понять, что работать с ApacheBench намного проще, чем может показаться на первый взгляд. Надеемся, это руководство было полезным для Вас!

Если возникли вопросы — задавайте их в комментариях.

Подписывайтесь на обновления нашего блога и оставайтесь в курсе новостей мира инфокоммуникаций!

Чтобы знать больше и выделяться знаниями среди толпы IT-шников, записывайтесь на курсы Cisco, курсы по кибербезопасности, полный курс по кибербезопасности, курсы DevNet / DevOps (программируемые системы) от Академии Cisco, курсы Linux от Linux Professional Institute на платформе SEDICOMM University (Университет СЭДИКОММ).