Troubleshooting on Lead DevOps

journalctl: фильтрация и форматирование логов systemd

Sun, 06 Sep 2026 00:00:00 +0000

Логи пропали. Сервер перезагрузили — и привычный less /var/log/syslog молчит. В современных дистрибутивах с systemd логи собирает journald, а читает их journalctl. Если не знать его фильтры, работа с системой превращается в гадание.

Почему логи исчезают после перезагрузки

По умолчанию journal хранит данные в /run/log/journal/ — это tmpfs, сбрасывается при ребуте. Чтобы логи переживали перезагрузку, создайте директорию:

sudo mkdir -p /var/log/journal
sudo systemd-tmpfiles --create --prefix /var/log/journal

После этого перезапустите systemd-journald:

lsof: какие процессы слушают порт и держат файл

Fri, 04 Sep 2026 00:00:00 +0000

Сервис не стартует — порт 8080 занят. Разбираешься, кто именно его держит, и попутно выясняется, что тот же процесс держит конфиг, который ты хотел отредактировать. lsof отвечает на оба вопроса: какие процессы открыли файлы и сокеты.

Слушающие порты

Классическая задача — найти, кто слушает конкретный порт.

lsof -i -n -P

Флаг	Действие
`-i`	Показать интернет-сокеты
`-n`	Без DNS-резолва (IP вместо hostname)
`-P`	Без преобразования портов (80 вместо http)

Без -n -P lsof тратит время на DNS и резолвит порты в имена сервисов из /etc/services. На продакшене это лишние секунды.

ss: socket statistics вместо устаревшего netstat

Thu, 03 Sep 2026 00:00:00 +0000

Если netstat зависает на сервере с десятками тысяч соединений — пора переходить на ss. Утилита из пакета iproute2 работает напрямую с ядром через netlink, а не парсит /proc/net/*. Результат — мгновенный вывод и меньше накладных расходов.

Зачем переходить с netstat

netstat из net-tools использует устаревшую схему: читает файлы из /proc/net/tcp, /proc/net/unix и преобразует числовые ID в символические имена. На сервере с активными соединениями это занимает секунды и нагружает CPU.

strace: трассировка системных вызовов для диагностики зависаний и утечек

Thu, 03 Sep 2026 00:00:00 +0000

При зависании сервиса стандартные инструменты — top, htop, ps — показывают состояние, но не причину. Если процесс в state D (uninterruptible sleep), значит он ждёт syscall. strace подключается к живому процессу и выводит каждый системный вызов в реальном времени. Это превращает загадочное зависание в конкретный syscall, его аргументы и код возврата.

Примечание

strace работает через ptrace — механизм ядра для отладки. На продакшене трассировка замедляет процесс в 2–10 раз. Используйте точечно, на отдельном PID.

SSH escape-последовательности: оживление зависшего терминала

Wed, 02 Sep 2026 00:00:00 +0000

SSH-сессия зависла, Ctrl+C не помогает, Ctrl+D вываливает мусор — знакомая картина. Прежде чем закрывать терминал и терять сессию, попробуй встроенные escape-последовательности. Они работают на уровне SSH-клиента до того, как данные попадут на удалённый хост.

Как вызвать escape-последовательность

Escape-символ по умолчанию — тильда (~). Комбинация срабатывает только в начале строки. Нажал Enter, затем ~, затем нужный символ. Например, ~. рвёт соединение.

Примечание

Если тильда не срабатывает — проверь, что нажал Enter перед ней. В середине вывода терминала последовательность игнорируется.