Capítulo 12. Programação

Índice

12.1. O script de shell
12.1.1. Compatibilidade da shell do POSIX
12.1.2. Parâmetros da shell
12.1.3. Condicionais da shell
12.1.4. Ciclos (loops) da shell
12.1.5. Shell environment variables
12.1.6. A sequência de processamento da linha de comandos da shell
12.1.7. Programas utilitários para script de shell
12.2. Scripting in interpreted languages
12.2.1. Debugging interpreted language codes
12.2.2. GUI program with the shell script
12.2.3. Custom actions for GUI filer
12.2.4. A loucura dos scripts curtos de Perl
12.3. Coding in compiled languages
12.3.1. C
12.3.2. Programa C simples (gcc)
12.3.3. Flex — um Lex melhor
12.3.4. Bison — um Yacc melhor
12.4. Ferramentas de análise de código estático
12.5. Depuração
12.5.1. Execução gdb básica
12.5.2. Depurar o pacote Debian
12.5.3. Obter um backtrace
12.5.4. Comandos gdb avançados
12.5.5. Verificar a dependência em bibliotecas
12.5.6. Dynamic call tracing tools
12.5.7. Depurar Erros do X
12.5.8. Ferramentas de detecção de fugas de memória
12.5.9. Desassemblar binário
12.6. Build tools
12.6.1. Make
12.6.2. Autotools
12.6.2.1. Compilar e instalar um programa
12.6.2.2. Desinstalar um programa
12.6.3. Meson
12.7. Web
12.8. A tradução do código-fonte
12.9. Criar um pacote Debian

Disponibilizo algumas dicas para as pessoas aprenderem programação no sistema Debian o suficiente para rastrear o código fonte do pacote. Aqui estão pacotes notáveis e pacotes de documentação correspondentes para programação.

Estão disponíveis referências online ao escrever "man nome" após instalar os pacotes manpages e manpages-dev. As referências online ás ferramentas GNU está disponíveis ao escrever "info nome_do_programa" após instalar os pacotes de documentação pertinentes. Poderá ter de incluir os arquivos contrib e non-free adicionalmente ao arquivo main pois algumas documentações GFDL não são consideradas compatíveis com DFSG.

Please consider to use version control system tools. See Secção 10.5, “Git”.

[Atenção] Atenção

Não use "test" como o nome de um ficheiro de teste executável. "test" é um comando embutido na shell.

[Cuidado] Cuidado

Deve instalar os programas compilados directamente a partir da fonte em "/usr/local" ou "/opt" para evitar colisões com os programas do sistema.

[Dica] Dica

Os Exemplos de código da criação de "Song 99 Bottles of Beer" devem dar-lhe uma boa ideia de praticamente todas as linguagens de programação.

O script de shell é um ficheiro de texto com o bit de execução definido e contém os comandos no seguinte formato.

#!/bin/sh
 ... command lines

A primeira linha especifica o interpretador shell que lê e executa o conteúdo deste ficheiro.

Reading shell scripts is the best way to understand how a Unix-like system works. Here, I give some pointers and reminders for shell programming. See "Shell Mistakes" (https://www.greenend.org.uk/rjk/2001/04/shell.html) to learn from mistakes.

Ao contrário do modo interativo de shell (veja Secção 1.5, “O comando simples da shell” e Secção 1.6, “Processamento de texto estilo Unix”), os scripts de shell usam frequentemente parâmetros, condicionais e ciclos.

Cada comando retorna um estado de saída que pode ser usado para expressões condicionais.

  • Sucesso: 0 ("True")

  • Erro: não 0 ("False")

[Nota] Nota

"0" no contexto condicional da shell significa "Verdadeiro", enquanto "0" no contexto condicional de C significa "Falso".

[Nota] Nota

"[" é o equivalente do comando test, o qual avalia os seus argumentos até ao "]" como uma expressão condicional.

Os idiomas condicionais básicos a lembrar são os seguintes.

  • "comando && se_sucesso_corre_também_este_comando || true"

  • "comando || se_não_sucesso_corre_também_este_comando || true"

  • Um fragmento de script de multi-linhas como o seguinte

if [ conditional_expression ]; then
 if_success_run_this_command
else
 if_not_success_run_this_command
fi

Aqui o "|| true" final foi necessário para assegurar que estes script de shell não termina acidentalmente nesta linha quando a shell é invocada com a flag "-e".



Os operadores de comparação Aritmética de inteiros na expressão regular são "-eq", "-ne", "-lt", "-le", "-gt" e "-ge".

A shell processa um script rudemente como a seguinte sequência.

  • A shell lê uma linha.

  • A shell agrupa uma parte de uma linha como um testemunho se estiver dentro de "…" ou '…'.

  • A shell divide a outra parte de uma linha em testemunhos como o seguinte.

    • Espaços em branco: espaço tab nova-linha

    • Meta-caracteres: < > | ; & ( )

  • A shell verifica a palavra reservada para cada testemunho para ajustar o comportamento dele se não dentro de "…" ou '…'.

    • palavra reservada: if then elif else fi for in while unless do done case esac

  • A shell expande o alias se não estiver dentro de "…" ou '…'.

  • A shell expande o til se não dentro de "…" ou '…'.

    • "~" → diretório home do utilizador atual

    • "~utilizador" → diretório home do utilizador

  • A shell expande o parâmetro ao seu valor se não dentro de '…'.

    • parâmetro: "$PARAMETER" ou "${PARAMETER}"

  • A shell expande a substituição do comando se não dentro de '…'.

    • "$( comando )" → o resultado do "comando"

    • "` comando `" → o resultado do "comando"

  • A shell expande o glob nome_de-caminho aos nomes de ficheiros correspondentes se não dentro de "…" ou '…'.

    • * → quaisquer caracteres

    • ? → um caractere

    • […] → qualquer um dos caracteres em ""

  • A shell procura o comando a partir do seguinte e executa-o.

    • definição de função

    • comando builtin

    • ficheiro executável em "$PATH"

  • A shell vai à próxima linha e repete este processo outra vez a partir do topo desta sequência.

Citações singulares (') dentro de aspas não têm efeito.

Executar "set -x" na shell ou invocar a shell com a opção "-x" faz a shell escrever todos os comandos executados. Isto é muito útil para depuração.


When you wish to automate a task on Debian, you should script it with an interpreted language first. The guide line for the choice of the interpreted language is:

  • Use dash, if the task is a simple one which combines CLI programs with a shell program.

  • Use python3, if the task isn't a simple one and you are writing it from scratch.

  • Use perl, tcl, ruby, ... if there is an existing code using one of these languages on Debian which needs to be touched up to do the task.

If the resulting code is too slow, you can rewrite only the critical portion for the execution speed in a compiled language and call it from the interpreted language.

The shell script can be improved to create an attractive GUI program. The trick is to use one of so-called dialog programs instead of dull interaction using echo and read commands.


Here is an example of GUI program to demonstrate how easy it is just with a shell script.

This script uses zenity to select a file (default /etc/motd) and display it.

GUI launcher for this script can be created following Secção 9.4.10, “Arrancar um programa a partir da GUI”.

#!/bin/sh -e
# Copyright (C) 2021 Osamu Aoki <[email protected]>, Public Domain
# vim:set sw=2 sts=2 et:
DATA_FILE=$(zenity --file-selection --filename="/etc/motd" --title="Select a file to check") || \
  ( echo "E: File selection error" >&2 ; exit 1 )
# Check size of archive
if ( file -ib "$DATA_FILE" | grep -qe '^text/' ) ; then
  zenity --info --title="Check file: $DATA_FILE" --width 640  --height 400 \
    --text="$(head -n 20 "$DATA_FILE")"
else
  zenity --info --title="Check file: $DATA_FILE" --width 640  --height 400 \
    --text="The data is MIME=$(file -ib "$DATA_FILE")"
fi

This kind of approach to GUI program with the shell script is useful only for simple choice cases. If you are to write any program with complexities, please consider writing it on more capable platform.


Here, Secção 12.3.3, “Flex — um Lex melhor” and Secção 12.3.4, “Bison — um Yacc melhor” are included to indicate how compiler-like program can be written in C language by compiling higher level description into C language.

Pode configurar um ambiente apropriado para compilar programas escritos na linguagem de programação C com o seguinte.

# apt-get install glibc-doc manpages-dev libc6-dev gcc build-essential

O pacote libc6-dev, isto é, a biblioteca C GNU, disponibiliza uma biblioteca standard C a qual é uma colecção de ficheiros cabeçalho e rotinas de biblioteca usadas pela linguagem de programação C.

Veja referências para C nos seguintes.

  • "info libc" (Referência de funções da biblioteca C)

  • gcc(1) e "info gcc"

  • cada-nome_de_função_da_biblioteca_C(3)

  • Kernighan & Ritchie, "A Linguagem de Programação C", 2ª edição (Prentice Hall)

O Flex é um gerador rápido de análise léxica compatível com o Lex.

O tutorial do flex(1) encontra-se em "info flex".

Many simple examples can be found under "/usr/share/doc/flex/examples/". [7]

Vários pacotes disponibilizam um gerador LR parser ou LALR parser compatível em frente com o Yacc em Debian.


O tutorial para o bison(1) encontra-se em "info bison".

Tem de disponibilizar as suas próprias chamadas "main()" e "yyerror()". "main()" chama "yyparse()" que chama "yylex()", geralmente criada com Flex.

Here is an example to create a simple terminal calculator program.

Let's create example.y:

/* calculator source for bison */
%{
#include <stdio.h>
extern int yylex(void);
extern int yyerror(char *);
%}

/* declare tokens */
%token NUMBER
%token OP_ADD OP_SUB OP_MUL OP_RGT OP_LFT OP_EQU

%%
calc:
 | calc exp OP_EQU    { printf("Y: RESULT = %d\n", $2); }
 ;

exp: factor
 | exp OP_ADD factor  { $$ = $1 + $3; }
 | exp OP_SUB factor  { $$ = $1 - $3; }
 ;

factor: term
 | factor OP_MUL term { $$ = $1 * $3; }
 ;

term: NUMBER
 | OP_LFT exp OP_RGT  { $$ = $2; }
  ;
%%

int main(int argc, char **argv)
{
  yyparse();
}

int yyerror(char *s)
{
  fprintf(stderr, "error: '%s'\n", s);
}

Let's create, example.l:

/* calculator source for flex */
%{
#include "example.tab.h"
%}

%%
[0-9]+ { printf("L: NUMBER = %s\n", yytext); yylval = atoi(yytext); return NUMBER; }
"+"    { printf("L: OP_ADD\n"); return OP_ADD; }
"-"    { printf("L: OP_SUB\n"); return OP_SUB; }
"*"    { printf("L: OP_MUL\n"); return OP_MUL; }
"("    { printf("L: OP_LFT\n"); return OP_LFT; }
")"    { printf("L: OP_RGT\n"); return OP_RGT; }
"="    { printf("L: OP_EQU\n"); return OP_EQU; }
"exit" { printf("L: exit\n");   return YYEOF; } /* YYEOF = 0 */
.      { /* ignore all other */ }
%%

Then execute as follows from the shell prompt to try this:

$ bison -d example.y
$ flex example.l
$ gcc -lfl example.tab.c lex.yy.c -o example
$ ./example
1 + 2 * ( 3 + 1 ) =
L: NUMBER = 1
L: OP_ADD
L: NUMBER = 2
L: OP_MUL
L: OP_LFT
L: NUMBER = 3
L: OP_ADD
L: NUMBER = 1
L: OP_RGT
L: OP_EQU
Y: RESULT = 9

exit
L: exit

Lint like tools can help automatic static code analysis.

Indent like tools can help human code reviews by reformatting source codes consistently.

Ctags like tools can help human code reviews by generating an index (or tag) file of names found in source codes.

[Dica] Dica

Configuring your favorite editor (emacs or vim) to use asynchronous lint engine plugins helps your code writing. These plugins are getting very powerful by taking advantage of Language Server Protocol. Since they are moving fast, using their upstream code instead of Debian package may be a good option.

Tabela 12.12. Lista de ferramentas para análise de código estático

pacote popcon tamanho descrição
vim-ale I:0 2591 Asynchronous Lint Engine for Vim 8 and NeoVim
vim-syntastic I:3 1379 Syntax checking hacks for vim
elpa-flycheck V:0, I:1 808 modern on-the-fly syntax checking for Emacs
elpa-relint V:0, I:0 147 Emacs Lisp regexp mistake finder
cppcheck-gui V:0, I:1 7224 tool for static C/C++ code analysis (GUI)
shellcheck V:2, I:13 18987 lint tool for shell scripts
pyflakes3 V:2, I:15 20 passive checker of Python 3 programs
pylint V:4, I:20 2018 Verificador estático de código Python
perl V:707, I:989 673 interpretador com verificador de código estático interno: B::Lint(3perl)
rubocop V:0, I:0 3247 Ruby static code analyzer
clang-tidy V:2, I:11 21 clang-based C++ linter tool
splint V:0, I:2 2320 ferramenta para verificação estática de programas C por bugs
flawfinder V:0, I:0 205 ferramenta para examinar código fonte C/C++ e procurar por fraquezas na segurança
black V:3, I:13 660 uncompromising Python code formatter
perltidy V:0, I:4 2493 Perl script indenter and reformatter
indent V:0, I:7 431 C language source code formatting program
astyle V:0, I:2 785 Source code indenter for C, C++, Objective-C, C#, and Java
bcpp V:0, I:0 111 C(++) beautifier
xmlindent V:0, I:1 53 XML stream reformatter
global V:0, I:2 1908 Source code search and browse tools
exuberant-ctags V:2, I:20 341 build tag file indexes of source code definitions
universal-ctags V:1, I:11 3386 build tag file indexes of source code definitions

Debug is important part of programming activities. Knowing how to debug programs makes you a good Debian user who can produce meaningful bug reports.


O depurador principal em Debian é o gdb(1) que lhe permite inspeccionar um programa enquanto ele é executado.

Vamos instalar o gdb e programas relacionados com o seguinte.

# apt-get install gdb gdb-doc build-essential devscripts

Good tutorial of gdb can be found:

  • info gdb

  • “Debugging with GDB” in /usr/share/doc/gdb-doc/html/gdb/index.html

  • tutorial on the web

Here is a simple example of using gdb(1) on a "program" compiled with the "-g" option to produce debugging information.

$ gdb program
(gdb) b 1                # set break point at line 1
(gdb) run args           # run program with args
(gdb) next               # next line
...
(gdb) step               # step forward
...
(gdb) p parm             # print parm
...
(gdb) p parm=12          # set value to 12
...
(gdb) quit
[Dica] Dica

Muitos comandos do gdb(1) podem ser abreviados. A expansão da Tab funciona como na shell.

Since all installed binaries should be stripped on the Debian system by default, most debugging symbols are removed in the normal package. In order to debug Debian packages with gdb(1), *-dbgsym packages need to be installed (e.g. coreutils-dbgsym in the case of coreutils). The source packages generate *-dbgsym packages automatically along with normal binary packages and those debug packages are placed separately in debian-debug archive. Please refer to articles on Debian Wiki for more information.

If a package to be debugged does not provide its *-dbgsym package, you need to install it after rebuilding it by the following.

$ mkdir /path/new ; cd /path/new
$ sudo apt-get update
$ sudo apt-get dist-upgrade
$ sudo apt-get install fakeroot devscripts build-essential
$ apt-get source package_name
$ cd package_name*
$ sudo apt-get build-dep ./

Corrigir bugs se necessário.

Mude a versão de pacote para uma que não colida com as versões oficiais de Debian, por exemplo, uma adicionada com "+debug1" quando se recompila uma versão de pacote existente, ou uma adicionada com "~pre1" quando se compila uma versão de pacote ainda não lançada com o seguinte.

$ dch -i

Compilar e instalar pacotes com símbolos de depuração com o seguinte.

$ export DEB_BUILD_OPTIONS="nostrip noopt"
$ debuild
$ cd ..
$ sudo debi package_name*.changes

Necessita verificar os scripts de construção do pacote e assegurar o uso de "CFLAGS=-g -Wall" para compilar binários.

Quando encontrar um crash num programa, é uma boa ideia enviar um relatório de bug com informação de backtrace copiada-e-colada.

The backtrace can be obtained by gdb(1) using one of the following approaches:

For infinite loop or frozen keyboard situation, you can force to crash the program by pressing Ctrl-\ or Ctrl-C or executing “kill -ABRT PID”. (See Secção 9.4.12, “Matar um processo”)

[Dica] Dica

Muitas vezes, vê um backtrace onde uma ou mais linhas do topo estão em "malloc()" ou "g_malloc()". Quando isto acontece, há grandes hipóteses do seu backtrace não ser muito útil. O modo mais fácil de encontrar alguma informação útil é definir a variável de ambiente "$MALLOC_CHECK_" para um valor de 2 (malloc(3)). Pode fazer isto enquanto corre o gdb ao fazer o seguinte.

 $ MALLOC_CHECK_=2 gdb hello

O Make é um utilitário para manutenção de grupos de programas Após a execução do make(1), o make lê o ficheiro de regras, "Makefile" e atualiza um alvo se depender de ficheiros pré-requisitados que foram modificados desde que o alvo foi modificado por último, ou se o alvo não existir. A execução destas atualizações pode ocorrer concorrentemente.

A regra de sintaxe do ficheiro é a seguinte.

target: [ prerequisites ... ]
 [TAB]  command1
 [TAB]  -command2 # ignore errors
 [TAB]  @command3 # suppress echoing

Aqui "[TAB]" é um código TAB. Cada linha é interpretada pela shell após fazer a substituição da variável. Utilize "\" no final de uma linha para continuar o script. Use "$$" para inserir "$" para valores de ambiente para um script de shell.

Podem ser escritas regras implícitas para o destino e pré-requisitos, por exemplo, com o seguinte.

%.o: %.c header.h

Aqui, o alvo contém o caractere "%" (exatamente um deles). O "%" pode corresponder a qualquer subcadeia não vazia nos nomes de ficheiros do próprio alvo. Os pré-requisitos usam igualmente "%" para mostrar como os seus nomes estão relacionados ao próprio nome do alvo.



Corra "make -p -f/dev/null" para ver as regras internas automáticas.

Autotools is a suite of programming tools designed to assist in making source code packages portable to many Unix-like systems.

  • Autoconf is a tool to produce a shell script "configure" from "configure.ac".

    • "configure" is used later to produce "Makefile" from "Makefile.in" template.

  • Automake is a tool to produce "Makefile.in" from "Makefile.am".

  • Libtool is a shell script to address the software portability problem when compiling shared libraries from source code.

The software build system has been evolving:

  • Autotools on the top of Make has been the de facto standard for the portable build infrastructure since 1990s. This is extremely slow.

  • CMake initially released in 2000 improved speed significantly but was originally built on the top of inherently slow Make. (Now Ninja can be its backend.)

  • Ninja initially released in 2012 is meant to replace Make for the further improved build speed and is designed to have its input files generated by a higher-level build system.

  • Meson initially released in 2013 is the new popular and fast higher-level build system which uses Ninja as its backend.

See documents found at "The Meson Build system" and "The Ninja build system".

Páginas web dinâmicas interactivas podem ser feitas conforme a seguir.

  • As questões são apresentadas ao explorador do utilizador a usar formulários HTML.

  • Preencher e clicar nas entradas do formulário envia uma das seguintes cadeias de URL com parâmetros codificados do explorador para o servidor web.

    • "https://www.foo.dom/cgi-bin/program.pl?VAR1=VAL1&VAR2=VAL2&VAR3=VAL3"

    • "https://www.foo.dom/cgi-bin/program.py?VAR1=VAL1&VAR2=VAL2&VAR3=VAL3"

    • "https://www.foo.dom/program.php?VAR1=VAL1&VAR2=VAL2&VAR3=VAL3"

  • O "%nn" no URL é substituído por um caractere com valor hexadecimal nn.

  • A variável de ambiente está definida como: "QUERY_STRING="VAR1=VAL1 VAR2=VAL2 VAR3=VAL3"".

  • O programa CGI (qualquer um de "program.*") no servidor web executa-se a si próprio com a variável de ambiente "$QUERY_STRING".

  • O stdout do programa CGI é enviado ao explorador web e é apresentado como uma página web dinâmica e interactiva.

Por razões de segurança é melhor não embarcar em novos hacks para analisar parâmetros CGI. Existem módulos definidos para eles em Perl e Python. O PHP vem com estas funcionalidades. Quando é necessário o armazenamento de dados no cliente, usam-se cookies HTTP. Quando é necessário o processamento de dados no lado do cliente, usa-se frequentemente Javascript.

Para mais, veja Common Gateway Interface, The Apache Software Foundation e JavaScript.

Procurar "CGI tutorial" no Google ao escrever directamente o URL codificado https://www.google.com/search?hl=en&ie=UTF-8&q=CGI+tutorial no endereço do explorador é uma boa maneira de ver o script CGI em acção no servidor da Google.

Existem programas para converter código-fonte.


Se desejar criar um pacote Debian, leia o seguinte.

Existem pacotes como os debmake, dh-make, dh-make-perl, etc., que auxiliam no processo em empacotamento.



[7] Some tweaks may be required to get them work under the current system.