15 советов по использованию команды curl в Linux

Еще в середине 1990-х годов, когда Интернет был в зачаточном состоянии, шведский программист по имени Даниэль Стенберг начал проект, который в конце концов перерос в то, что мы сегодня знаем как команду curl. Первоначально он стремился создать бот, который будет периодически загружать курсы обмена валют с веб-страницы и предоставлять пользователям IRC эквиваленты шведских крон в долларах США. С тех пор проект процветал, к нему добавились несколько протоколов и различные возможности.

Прежде всего curl представляет собой кроссплатформенную служебную программу для командной строки. Она позволяет взаимодействовать с различными серверами по множеству различных протоколов, использующих синтаксис URL.

Мы подготовили список из 15 способов использования команды curl для передачи данных и многого другого в Linux.

Содержание:

1. Просмотр версии curl
2. Загрузка файла
3. Возобновление прерванной загрузки
4. Загрузка нескольких файлов
5. Загрузка URL-адреса из файла
6. Использование прокси-сервера с аутентификацией или без нее
7. Запрос HTTP-заголовков
8. Создание запроса POST с помощью параметров
9. Загрузка файлов с FTP-сервера с аутентификацией или без неё
10. Загрузка URL-адреса из файла
11. Указание агента пользователя
12. Просмотр cookie-файлов сайта
13. Отправка cookie-файлов сайта
14. Изменение разрешения имени
15. Ограничение скорости скачивания
16. Выводы

Просмотр версии curl

Опции -V или --version возвращают не только версию, но и поддерживаемые протоколы и функции Вашей текущей версии.

$ curl --version

Загрузка файла

Если хотите загрузить файл, можете использовать curl с опциями -O или -o. Первая сохранит файл в текущем рабочем каталоге с тем же именем, что и в удаленном хранилище, а вторая позволит указать другое имя файла и / или местоположение.

$ curl -O http://yourdomain.com/yourfile.tar.gz # Save as yourfile.tar.gz

$ curl -o newfile.tar.gz http://yourdomain.com/yourfile.tar.gz # Save as newfile.tar.gz

Возобновление прерванной загрузки

Если загрузка была прервана по какой-то причине (например, использованием Ctrl + C), её можно очень легко возобновить. Использование -C - (тире C, тире) указывает на то, что загрузка должна возобновиться с того места, где она была прервана.

$ curl -C - -O http://yourdomain.com/yourfile.tar.gz

Загрузка нескольких файлов

Следующей командой одновременно инициируется загрузка info.html и about.html с http://yoursite.com и http://mysite.com, соответственно.

$ curl -O http://yoursite.com/info.html -O http://mysite.com/about.html

Загрузка URL-адреса из файла

Если совместить curl с xargs, можно скачать файлы из списка URL-адресов в файле.

$ xargs -n 1 curl -O < listurls.txt

Использование прокси-сервера с аутентификацией или без нее

Если прокси-сервер находится за портом 8080 на proxy.yourdomain.com:

$ curl -x proxy.yourdomain.com:8080 -U user:password -O http://yourdomain.com/yourfile.tar.gz

Можно пропустить -U user:password, если прокси не требует аутентификации.

Запрос HTTP-заголовков

HTTP-заголовки позволяют удаленному веб-серверу отправлять дополнительную информацию о себе вместе с фактическим запросом. Это предоставляет клиенту подробную информацию о том, как обрабатывается запрос.

Чтобы запросить HTTP-заголовки с веб-сайта, нужно выполнить следующие действия:

$ curl -I blog.sedicomm.com

Эта информация также доступна в инструментах разработчика браузера.

Создание запроса POST с помощью параметров

Следующая команда отправит параметры firstName и lastName вместе с соответствующими значениями на адрес https://yourdomain.com/info.php.

$ curl --data "firstName=John&lastName=Doe" https://yourdomain.com/info.php

Эту команду можно использовать для моделирования поведения обычной HTML-формы.

Загрузка файлов с FTP-сервера с аутентификацией или без неё

Если удаленный FTP-сервер ожидает соединения по адресу ftp://yourftpserver, следующая команда загрузит файл yourfile.tar.gz в текущую рабочую директорию. Можно пропустить -u username:password, если FTP-сервер разрешает анонимные входы.

$ curl -u username:password -O ftp://yourftpserver/yourfile.tar.gz

Загрузка файлов на FTP-сервер с аутентификацией или без неё

Чтобы загрузить локальный файл mylocalfile.tar.gz на сайт ftp://yourftpserver с помощью curl, выполните следующие действия:

$ curl -u username:password -T mylocalfile.tar.gz ftp://yourftpserver

Указание агента пользователя

Агент пользователя является частью информации, которая отправляется вместе с запросом HTTP. Он указывает браузер, который использовался клиентом для создания запроса. Давайте посмотрим, что использует наша текущая версия curl по умолчанию, а позже изменим её на "I am a new web browser":

$ curl -I http://localhost --user-agent "I am a new web browser"

Просмотр cookie-файлов сайта

Чтобы узнать, какие файлы cookie загружаются на компьютер, нужно перейти по ссылке https://www.cnn.com? и использовать следующую команду, чтобы сохранить их в файле cnncookies.txt:

$ curl --cookie-jar cnncookies.txt https://www.cnn.com/index.html -O

Затем можно использовать команду cat для просмотра файла:

Отправка cookie-файлов сайта

Можно использовать файлы cookie, восстановленные в предыдущем разделе в последующих запросах на тот же сайт.

$ curl --cookie cnncookies.txt https://www.cnn.com

Изменение разрешения имени

Если Вы веб-разработчик и хотите протестировать локальную версию сайта yourdomain.com, прежде чем запускать его для публичного доступа, вы можете сделать так, чтобы curl разрешил запуск http://www.yourdomain.com на локальный хост. Таким образом, запрос на http://www.yourdomain.com скажет curl запросить сайт у localhost, вместо использования DNS или файла /etc/hosts.

$ curl --resolve www.yourdomain.com:80:localhost http://www.yourdomain.com/

Ограничение скорости скачивания

Для того, чтобы curl не ограничивал Вашу пропускную способность, скорость загрузки можно ограничить до 100 Кб/с с помощью следующей команды:

$ curl --limit-rate 100K http://yourdomain.com/yourfile.tar.gz -O

Выводы

Спасибо за время, уделенное на прочтение статьи! Теперь Вы знаете о том, как можно использовать удобную и полезную команду curl в Linux.

Если возникли вопросы, задавайте их в комментариях.

Подписывайтесь на обновления нашего блога и оставайтесь в курсе новостей мира инфокоммуникаций!

Чтобы знать больше и выделяться знаниями среди толпы IT-шников, записывайтесь на курсы Cisco, курсы по кибербезопасности, полный курс по кибербезопасности, курсы DevNet / DevOps (программируемые системы) от Академии Cisco, курсы Linux от Linux Professional Institute на платформе SEDICOMM University (Университет СЭДИКОММ).