Уроки Linux для администраторов - pipes, именованные каналы, понятие, разбор, практическое задание с ответами

1. Часть 4. Именованные каналы (pipes)
Перенаправление команд и pipes
Использование перенаправления команд и pipes — одна из наиболее мощных возможностей командной строки Unix. В
этой главе мы рассмотрим как и для чего используется перенаправление потоков ввода, вывода и ошибок, а также
рассмотрим что такое pipes и как это работает.
stdin, stdout, и stderr
Shell (а также почти все команды Linux) принимает ввод команд из стандартного потока ввода stdin (поток 0) и
отправляет вывод на стандартный поток вывода stdout (поток 1). Если команды завершаются с ошибками, то сообщения
об ошибках отправляются в стандартный поток ошибок stderr (поток 2).
Например, вы вводите команду echo Hello в консоли и нажимаете Enter (поток stdin), далее, вы видите на экране
результат ее работы — Hello (поток stdout). Если возникла ошибка, то на экран выводится какое-то сообщение (поток
stderr). В нашем примере мы работали со стандартным вводом, выводом и потоком ошибок, то есть набирали команду на
клавиатуре, результаты видели на экране, ошибки также выводились на экран.
В Unix есть возможность перенаправлять эти потоки. Например, вам нужно, чтобы результат работы команды
отправлялся не на экран а в файл или чтобы ошибки отправлялись на e-mail и т. д. Такие ситуации в администрировании
возникают постоянно. Это и есть перенаправление команд.
Перенаправление стандартного вывода
Рассмотрим перенаправление более подробно. В следующем примере stdout перенаправляется с помощью знака
больше >:
$ echo Hello world!
Hello world!
$ echo Hello world! > hello.txt
$ cat hello.txt
Hello world!
В этом примере мы перенаправляем stdout в файл. При этом создается новый файл, если его не было или полностью
перезаписывается, если он уже был создан.
Обратите внимание, что запись > на самом деле является аббревиатурой от 1> (stdout называется поток 1).
Даже если команда закончится с ошибкой файл все равно будет перезаписан! Будте внимательны при перенаправлении
stdin в файл!
$ cat hello.txt
Hello world!
$ zcho Hello world! > hello.txt
-bash: zcho: command not found
$ cat hello.txt
$
Можно предотвратить перезапись файла при использовании 1> с помощью опции noclobber:
$ cat hello.txt
Hello world!
$ set -o noclobber
$ echo Hello world! > hello.txt
-bash: hello.txt: cannot overwrite existing file
$ set +o noclobber
$
В тоже время опцию noclobber можно «обойти», используя >| вместо >:
1

2. $ set -o noclobber
$ echo Hello world! > hello.txt
-bash: hello.txt: cannot overwrite existing file
$ echo Hello world! >| hello.txt
$ cat hello.txt
Hello world!
$
Если вам нужно добавить stdout в файл и при этом не перезаписать его, то используйте >>:
$ echo Hello world! > hello.txt
$ cat hello.txt
Hello world!
$ echo Hello Linux! >> hello.txt
$ cat hello.txt
Hello world!
Hello Linux!
$
Перенаправление ошибок
Перенаправление потока ошибок выполняется с помощью 2>. Это делается достаточно часто, например, чтобы не
«засорять» экран сообщениями об ошибках. В следующем примере перенаправляется stdout в файл и stderr на
устройство /dev/null (вспомним, что /dev/null — это «черная дыра», а также, что 1> и > выполняют одно и тоже):
$ find / > allfiles.txt 2> /dev/null
$
Чтобы перенаправить в один файл и stdout и stderr можно использовать 2>&1:
$ find / > allfiles_and_errors.txt 2>&1
$
Обратите внимание, важно в каком порядке выполняется перенаправление! Так, в следующем примере:
ls > file.txt 2>&1
направляет и stdout (1) и stderr (2) в файл file.txt, а команда:
ls 2>&1 > file.txt
направляет только stdout в файл file.txt, а stderr просто копируется на stdout до того, как stdout был перенаправлен в
файл. Пока это может показаться сложным, но, используя перенаправление на практике вы поймете этот механизм
лучше.
Перенаправление стандартного ввода
Перенаправление stdin выполняется с помощью < (полная запись 0<):
$ cat < text.txt
one
two
$ tr 'onetw' 'ONEZZ' < text.txt
ONE
ZZO
$
Существует способ (называется here document или here-is-document), чтобы выполнять перенаправление stdin до
определенной последовательности символов (обычно это маркер EOF). Маркер EOF можно ввести прямо с клавиатуры
или вставить комбинацией Ctrl-D:
2

3. $ cat <<EOF > text.txt
> one
> two
> EOF
$ cat text.txt
one
two
$ cat <<brol > text.txt
> brel
> brol
$ cat text.txt
brel
$
Запутанное перенаправление
Перед перенаправлением shell сканирует командную строкудо конца. Следующая команда легко читаема и абсолютно
корректна:
cat one.txt > two.txt 2> errors.txt
В следующем примере команда также абсолютно корректна, но уже менее читабельна:
2> errors.txt cat one.txt > two.txt
И даже эта команда будет корректна:
< one.txt > two.txt 2> errors.txt cat
Как быстро очистить файл
Как удалить всю информацию из файла самым быстрым способом?
> file.txt
А если нужно очистить файл при включенной опции noclobber:
>| file.txt
Перенаправление stdout на stderr
При фильтрации выходного потока, например, через обычный pipe (|) можно только фильтровать stdouot. Допустим, вы
хотите отфильтровать некоторые малозначительные ошибки, из потока stderr. Этого нельзя сделать напрямую, поэтому
вам нужно организовать обмен ("swap") между stdout и stderr:
3>&1 1>&2 2>&3
В этой конструкции мы используем временный поток 3, чтобы организовать обмен между stdout (1) и stderr (2). В
следующем примере показано как отфильтровать из потока ошибок stderr все, что совпадает со значением переменной
$error:
$command 3>&1 1>&2 2>&3 | grep -v $error 3>&1 1>&2 2>&3
Но, этот способ не самый лучший. В следующем примере мы делаем то же самое используя pipe:
/usr/bin/$command | & grep -v $error
Pipes. Использование |
Одно из самых мощных преимуществ Linux является использование pipes — именованных каналов. Pipes мспользуется
для обмена данными между приложениями (от ангийского pipe – труба).
Pipe берет стандартный вывод stdout предыдущей команды и перенаправляет его на стандартный ввод stdin следующей
3

4. команды. Все команды в pipe выполняться одновременно.
Рассмотрим следующий пример:
$ ls /etc > etcfiles.txt
$ tail -4 etcfiles.txt
X11
xdg
xml
xpdf
Здесь мы перенаправляем вывод команды ls (содержимое каталога /etc) в файл etcfiles.txt и выводим на экран последние
4 строки этого файла. Для выполнения задачи нам потребовалось ввести 2 команды. То же самое можно выполнить
одной командой, используя pipe:
$ ls /etc | tail -4
X11
xdg
xml
xpdf
Чтобы создать pipe нужно между командами вставить |. Как видите, все достаточно просто.
В одной командной строке можно использовать несколько pipes. В этом случае все команды также будут выполнены
одновременно:
$ ls /etc | tail -4 | tac
xpdf
xml
xdg
X11
4

5. Практика: Перенаправление команд и pipes
Задания:
1. Используя ls вывестиь содержимое каталога /etc в файл etc.txt.
2. Включить опцию noclobber.
3. Убедитесь, что опция nocclobber включена, для этого попробуйте повторить задание 1.
4. Если вывести все опции shell, каким образом будет отображаться опция noclobber?
5. Отключите опцию noclobber.
6. Откройте второй shell. В первом shell создайте пустой файл tailing.txt. Затем выполните команду tail -f
tailing.txt. Перейдите во второй shell и добавьте произвольную строку текста в этот файл. Вернитесь в первый
shell и убедитесь, что в нем эта строка также отображается.
7. Создайте файл, содержащий имена и фамилии пяти человек. Для этого используйте команду cat и
перенаправление стандартного вывода, чтобы создать пустой файл, а также here document (EOF) чтобы
закончить ввод имен.
Ответы:
1. ls /etc > etc.txt
2. set -o noclobber
3. ls /etc > etc.txt (должно быть сообщение об ошибке)
4. echo $- (опция noclobber выводится как C)
5. set +o noclobber
6. В первом shell:
$ > tailing.txt
$ tail -f tailing.txt
hello
world
Во втором shell:
$ echo hello >> tailing.txt
$ echo world >> tailing.txt
7. $ cat > names.txt << EOF
> Igor Petrov
> Andrey Ivanov
> Elena Andreeva
> Olga Stepanova
> Ilya Nikitin
> EOF
$ cat names.txt
Igor Petrov
Andrey Ivanov
Elena Andreeva
Olga Stepanova
Ilya Nikitin
5