Script deploy của mình in ra "up to date" rồi thoát, trong khi image mới vẫn nằm đó chưa ai dùng. Phép kiểm quyết định việc này chỉ có một dòng: docker compose up --dry-run | grep -q 'Recreate'. Làm sao một lệnh grep đã tìm thấy kết quả lại khiến if đi vào nhánh "không tìm thấy"? Câu trả lời nằm ở ba hành vi của Bash, cái nào riêng lẻ cũng hợp lý: grep -q ngừng đọc sớm, chương trình đang ghi vào pipe vì thế nhận SIGPIPE, và set -o pipefail coi đó là cả pipeline thất bại.
Bài này đi qua lỗi đó đúng như nó xảy ra trong các script deploy trên VPS tự vận hành của mình. Bài có một script nhỏ tái hiện lỗi, lý do nó chỉ hỏng lúc có lúc không, cách sửa mình dùng, và cái giá của cách sửa đó.
Triệu chứng: deploy báo "up to date"
Script hỏi Compose xem nó sẽ làm gì, và bỏ qua bước triển khai nếu không có gì thay đổi. Đây là phép kiểm lúc chưa sửa (rút gọn từ script deploy):
set -euo pipefail
# ...
if ! docker compose up -d --dry-run "$SERVICE" 2>&1 | grep -qE 'Container .* (Recreate|Create) *$'; then
echo "==> $app is up to date"
exit 0
fi
Chế độ dry run in ra các bước Compose sẽ làm. Với up, trong đó có một dòng Container ... Recreate cho mỗi container có cấu hình hoặc image thay đổi. Tag image mới phải sinh ra đúng dòng đó, grep phải khớp, ! phải làm điều kiện thành sai, và deploy phải chạy tiếp.
Thực tế nó in ra "up to date", dù image mới là một thay đổi thật mà Compose phải tạo lại container. Kết quả khớp đã xảy ra, vậy mà script vẫn đi vào nhánh dành cho "không khớp".
grep -q ngừng đọc ngay ở kết quả đầu tiên
Mảnh đầu tiên nằm trong tài liệu GNU grep: -q nghĩa là "thoát ngay với mã 0 nếu tìm thấy bất kỳ kết quả nào". Đó chính là mục đích của -q: không cần in gì, nên không có lý do đọc phần còn lại của input.
Khi grep thoát, đầu đọc của pipe bị đóng. Nếu chương trình bên trái pipe ghi thêm bất cứ thứ gì sau thời điểm đó, kernel gửi cho nó tín hiệu SIGPIPE. Trang man pipe(7) nói thẳng: khi mọi đầu đọc đã đóng, một lần ghi sẽ khiến tiến trình đang ghi nhận SIGPIPE. Hành động mặc định của SIGPIPE là kết thúc tiến trình, và Bash báo tiến trình bị tín hiệu N giết bằng mã thoát 128+N. SIGPIPE là 13, nên chương trình ghi thoát với mã 141.
Không có pipefail thì chuyện này không sao. Mã trạng thái của pipeline là mã của lệnh cuối cùng, mà lệnh cuối là grep, và grep thành công.
pipefail biến một lệnh grep thành công thành pipeline thất bại
Mảnh thứ hai là tuỳ chọn mà gần như script Bash cẩn thận nào cũng bật. Theo tài liệu Bash về pipeline: khi bật pipefail, mã trạng thái của pipeline là mã của lệnh cuối cùng (tính từ phải sang) thoát với mã khác 0, hoặc 0 nếu mọi lệnh đều thành công.
Vậy với pipefail, mã của pipeline là 141: cái chết vì SIGPIPE của chương trình ghi, chứ không phải thành công của grep. Dưới đây là cả chuỗi trong một script giả lập output của Compose: một dòng khớp, nghỉ một chút, rồi thêm một dòng nữa, giống cách một chương trình thật vừa làm vừa in tiến độ.
set -o pipefail
plan() { echo ' Container app-web-1 Recreate'; sleep 0.1; echo ' Container app-web-1 Recreated'; }
if ! plan 2>&1 | grep -qE 'Container .* (Recreate|Create) *$'; then
echo "==> up to date"
else
echo "==> deploying"
fi
==> up to date
grep khớp dòng đầu và thoát với mã 0. plan cố ghi dòng thứ hai, nhận SIGPIPE và thoát với mã 141. pipefail lấy 141 làm mã của pipeline, ! đảo nó thành đúng, và script báo không có gì thay đổi.
Vì sao set -e không dừng script lại
Mình tưởng ít nhất set -e sẽ làm script chết khi pipeline thất bại, như vậy còn có một lỗi ồn ào thay vì một lần bỏ qua lặng lẽ. Nó không chết, và tài liệu Bash về set giải thích vì sao: shell không thoát nếu lệnh thất bại nằm trong phần điều kiện của câu if, hoặc nếu mã trạng thái của lệnh bị đảo bằng !. Phép kiểm này dính cả hai.
Đây là phần khiến lỗi này đắt. Đặt ngoài if, cùng pipeline đó sẽ giết script với mã 141, và CI hiện một lần chạy màu đỏ. Đặt trong if !, thất bại chỉ còn là một giá trị, và giá trị đó lại trỏ đúng vào nhánh trông vô hại. Một lần deploy tự bỏ qua mình trông y hệt một lần deploy không có gì để làm.
Chỉ hỏng khi chương trình ghi tiếp sau kết quả khớp
Lỗi này là một race condition (tranh chấp thời điểm), nên một phép kiểm như vậy có thể chạy đúng một thời gian dài rồi mới hỏng. SIGPIPE chỉ được gửi nếu chương trình ghi sau khi grep đã thoát. Nếu nó ghi hết output trong một lần trước khi grep tới chỗ khớp, không ai ghi vào pipe đã đóng, và pipeline thành công. Bản tái hiện đặt các trường hợp cạnh nhau:
set -o pipefail
printf 'Container app-web-1 Recreate\n' | grep -qE 'Recreate *$'; echo "status=$?"
{ echo 'Container app-web-1 Recreate'; sleep 0.2; echo 'Container app-web-1 Recreated'; } | grep -qE 'Recreate *$'
echo "status=$? PIPESTATUS=${PIPESTATUS[*]}"
for i in $(seq 20); do seq 1 200000 | grep -q '^1$'; printf '%s ' $?; done; echo
status=0
status=141 PIPESTATUS=141 0
141 141 141 141 141 141 141 141 141 141 141 141 141 141 141 141 141 141 141 141
- Một lần ghi nhỏ: dữ liệu đã nằm trong pipe trước khi
grepđọc, chương trình ghi không còn gì để ghi sau khigrepthoát, nên không cóSIGPIPE: mã 0. - Ghi thêm sau chỗ khớp:
PIPESTATUScho thấy chương trình ghi ở 141 còngrepở 0, vàpipefailchọn 141. - Output lớn:
seqghi khoảng 1,3 MB, nhiều hơn hẳn sức chứa của pipe trên Linux (16 trang, tức 65.536 byte với trang 4 KiB, theo pipe(7)).grepkhớp ở dòng đầu và thoát khiseqcòn gần hết output chưa ghi. Hỏng 20 trên 20 lần.
Một chương trình như docker compose in tiến độ trong lúc chạy, nên mỗi lần chạy có hỏng hay không là tuỳ thời điểm. Đó là kiểu phép kiểm tệ nhất: đúng khi thử nhanh, sai thỉnh thoảng trong CI.
head -n1 cũng có cùng hình dạng. seq 1 200000 | head -n1 thoát với mã 141 dưới pipefail vì đúng lý do đó, nên first=$(lệnh | head -n1) cộng với set -e có thể giết script ngay ở một phép gán trông vô hại.
Cách sửa: lấy hết output trước, rồi mới so khớp
Cách sửa mình áp cho những script đã dính lỗi này, hoặc rõ ràng có thể dính, là tách hai bước ra. Chạy lệnh tới hết và giữ output trong một biến, rồi so khớp trên biến đó:
# (Output captured first: `| grep -q` under pipefail fails on SIGPIPE.)
plan=$(docker compose up -d --dry-run "$SERVICE" 2>&1 || true)
if ! grep -qE 'Container .* (Recreate|Create) *$' <<<"$plan"; then
echo "==> $app is up to date"
exit 0
fi
Giờ grep đọc từ một here-string, và không còn ai đang ghi vào pipe khi nó thoát sớm. || true là cố ý: thứ quyết định nhánh là output của dry run, không phải mã thoát của nó. Nếu cần cả hai, hãy giữ mã thoát trong một biến thay vì vứt đi.
Với phép kiểm chỉ hỏi "lệnh này có in ra gì không", không cần tới grep (tên container đã đổi):
# before: docker ps -q --filter name='^app$' | grep -q .
if [ -n "$(docker ps -q --filter name='^app$')" ]; then
Còn với phép kiểm về một dòng đã biết trước, so khớp mẫu của Bash trên chuỗi đã lấy về làm được việc tương tự, ví dụ kiểm tra file dump kết thúc bằng dòng báo hoàn tất:
[[ $(zcat "$1" | tail -1) == *'Dump completed'* ]]
Pipe zcat | tail ở đây an toàn vì tail đọc hết input rồi mới ghi ra.
Các lối thoát khác, và vì sao mình không dùng
Còn vài cách sửa khác. Cách nào cũng chạy được, nhưng mỗi cách có cái giá mình không muốn trả:
| Cách | Tác dụng | Vì sao không dùng |
|---|---|---|
grep -E ... >/dev/null (bỏ -q) |
grep đọc hết input, không có SIGPIPE |
Chạy được, nhưng người tiếp theo "dọn" dòng này sẽ thêm -q lại |
set +o pipefail quanh phép kiểm |
Mã của pipeline lại là mã của grep |
Dễ quên bật lại; che luôn lỗi thật của chương trình ghi |
|| true sau pipeline |
Không bao giờ thất bại | Che luôn kết quả khớp: if không còn phân biệt được hai trường hợp |
Kiểm PIPESTATUS có 141 không |
Chính xác | Khó đọc, và phép kiểm nào cũng phải lặp lại vài dòng giống nhau |
| Lấy output trước, so khớp sau | grep đọc một chuỗi, không đọc pipe |
Giữ toàn bộ output trong bộ nhớ (xem bên dưới) |
Cách lấy output trước thắng vì nó đọc lên đúng như ý nghĩa của nó: lấy kế hoạch, rồi xem kế hoạch. Comment phía trên các phép kiểm trong script deploy nói vì sao nó được viết như vậy, để không ai "rút gọn" nó về lại dạng pipe.
Những gì cách sửa này không giải quyết
- Kích thước output. Biến giữ toàn bộ output trong bộ nhớ. Với kế hoạch của dry run hay danh sách ID container thì ổn, nhưng sai với lệnh xả ra hàng gigabyte hoặc không bao giờ kết thúc (
yes,tail -f). Với những lệnh đó, dừng sớm chính là mục đích, và bạn cần xử lý mã 141 một cách tường minh. - Lỗi của chính chương trình ghi.
|| truegiữ cho một lần dry run lỗi không làm script dừng, nên một file Compose hỏng giờ hiện ra thành "không tạo lại gì" cộng với những gì nó in ra stderr. Với phép kiểm để bỏ qua deploy, mình chấp nhận đánh đổi đó. Với phép kiểm mà lỗi bắt buộc phải chặn deploy thì không. - Code mới. Cách sửa là một quy ước, không phải luật do công cụ nào ép. Lúc viết bài này, mình tìm lại trong các script và thấy thêm năm chỗ
| grep -qdướipipefailbị sót, trong các bước kiểm của khôi phục backup và cài đặt máy chủ, chỗ nào chương trình ghi cũng in ra nhiều dòng. Mình sửa chúng theo cùng cách. Không có gì ngăn chỗ tiếp theo được viết ra. Tìm mẫu này (grep -rn '| *grep -q') sau khi bậtpipefailtốn rất ít, và đáng làm.
Tóm tắt
grep -qthoát ở kết quả khớp đầu tiên. Chương trình còn ghi tiếp sẽ nhậnSIGPIPEvà thoát với mã 141.- Với
set -o pipefail, mã 141 đó thành mã của cả pipeline dùgrepđã thành công. - Trong
ifhoặc sau!,set -ekhông dừng script, nên thất bại lặng lẽ chọn một nhánh. Trong script deploy của mình, nó chọn "up to date". - Đây là race condition: output nhỏ ghi một lần thì qua, output ghi sau chỗ khớp thì hỏng. Output lớn thì lần nào cũng hỏng.
head -n1hành xử giống hệt dướipipefail.- Cách mình dùng: lấy output vào một biến, rồi so khớp bằng
grep <<<"$var",[[ ... == *mẫu* ]]hoặc[ -n "$(...)" ], kèm comment nói vì sao.
Nếu bạn từng dính pipefail theo một kiểu khác, hoặc biết linter nào bắt được mẫu này, mình rất muốn được trao đổi. Email của mình ở trang chủ.
