• Home|
• Kontakty

Jirka Setnička

„Politici by měli číst science-fiction, ne detektivky a westerny.“ _{Arthur C. Clarke}

Dvanácté cvičení – AWK – základy

AWK je mocnější příbuzný sedu, o kterém jsme měli osmé a deváté cvičení.

Jak spustit AWK:

awk 'prikazy' [vstupni_soubor1...]
awk -f soubor_s_prikazy [vstupni_soubor1...]

Tvar pravidla:

VZOR {příkazy}

Vzory jsou podobné, jako v sedu, ale umí toho víc:

• { print } – vypíše všechny řádky (vzor je prázdný)
• /regex/ { print } – vypíše řádky odpovídající regexu
• NR==12 { print } – vypíše jen, pokud proměnná rovna 12 (v tomto případě číslo záznamu/řádku je 12)
• BEGIN {...} – příkazy spouštějící se před načtením prvního záznamu
• END {...} – příkazy spouštějící se po posledním záznamu

Speciální proměnné:

Vstup a výstup:

• RS (record separator) – oddělovač záznamů (defaultně newline, tedy záznamy jsou řádky)
• FS (field separator) – oddělovač polí v záznamu (defaultně mezery)
• ORS (output record separator) – oddělovač záznamů ve výstupu
• OFS (output field separator) – oddělovač polí ve výstupu

Záznamy a pole v záznamu:

• $0 – celý záznam (řádek)
• $1, $2, ... – jednotlivá pole
• NR (number of record) – číslo aktuálního záznamu (číslováno od jedničky)
• NF (number of fields) – počet polí v aktuálním záznamu

Pole

Chovají se jako asociativní pole, není potřeba nijak deklarovat ani alokovat, stačí přiřadit do nějakého políčka:

pole[42] = 42
pole[2,7] = $0  # Fungují i vícerozměrná pole
print pole[50]  # Jenom odřádkuje, nijak si nestěžuje

Příkazy

Příkazy jsou od sebe odděleny novu řádkou nebo středníkem.

• print
• printf
• Práce s čísly (sin, cos, sqrt, rand, …) – hledejte v manuálu "Numeric Functions"
• Práce se stringy (length, index, tolower, toupper, …) hledejte v manuálu "String Functions"
• Podmínky – podobně jako v C – if ($1 > 0) print "ANO"; else print "NE"
• Cykly:
  • while (x > 0) { ... }
  • for (i=0; i<5; i++) print i
  • for (promenna in pole) print promenna – vrací v náhodném pořadí

Příklady:

1. Napište příkaz pro awk, který sečte všechny čísla na vstupu
2. Vypište pomocí awk každou desátou řádku vstupu
3. Napište awk skript/příkaz, který otočí pořadí slov na každé řádce
4. Napište awk skript/příkaz, který každou druhou řádku vstupu převede na velká písmena
5. Stáhněte si soubor aircrafts2.csv (data o nehodách letadel), třeba pomocí wget http://kam.mff.cuni.cz/~setnicka/static/aircrafts2.csv
   • Spočítejte pomocí awk průměrný počet pasažérů na palubě (sloupec "Aboard")
   • Vypište havárie, kde zemřeli všichni na palubě (naformátujte výstup buď pomocí OFS nebo printf)
   • Spočítejte pomocí awk průměrné procento přeživších lidí na palubě a rozptyl tohoto čísla (rozptyl počítejte jako ${1\over n}\sum(x_i - E(x))^2$, abyste si vyzkoušeli pole)
6. Vymyslete awk skript/příkaz, který bude mazat nadbytečné prázdné řádky – tedy každou posloupnost za sebou jdoucích prázdných řádků změní na jediný prázdný řádek.

Řešení 5c

#!/usr/bin/awk -f
BEGIN {FS=";"}  # Načítáme csv oddělené středníky
NR>1 {
	# Některé řádky obsahují počet pasažérů 0 nebo NA, ty nechceme
	if ($7 != "NA" && $7 > 0) {
		# Odložíme si čísla do pole, abychom se k nim později dostali z ENDu
		pole[NR] = $6/$7
		sum += $6/$7
	}
}
END{
	prumer = sum/NR

	# Spočítáme rozptyl pomocí již spočítaného průměru
	for (i = 1; i <= NR; i++) rozptyl += (pole[i] - prumer) ** 2
	rozptyl /= NR

	printf("Prumer je %f, rozptyl je %f\n", prumer, rozptyl)
}