Ubuntu 常用日志工具

日志有什么作用？

日志是系统、应用程序或设备运行过程中产生的记录信息的重要工具。其主要作用包括：

1. 故障诊断：通过分析日志，可以追踪和识别系统故障、应用程序错误或性能问题的源头，帮助技术人员进行故障排除和修复。
2. 安全审计：日志记录了系统的访问情况、用户行为和安全事件，用于检测和调查潜在的安全威胁，如入侵企图、未经授权的访问等。
3. 性能优化：通过分析日志中的系统资源使用、响应时间等数据，可以发现性能瓶颈，为进一步优化系统和提升服务效率提供依据。
4. 法律合规：在某些行业和法规要求下，保存和审查日志是必要的，以满足审计需求和证明合规性。
5. 业务分析：日志数据可以提供有价值的业务洞察，如用户行为模式、功能使用频率等，有助于产品改进和决策制定。

日志在确保系统稳定性、保障数据安全、提升性能和满足法规要求等方面发挥着至关重要的作用。基本上所有的计算机系统都会产生系统日志，今天我们主要看看Ubuntu系统中常用的日志工具有哪些？

Ubuntu中常用的日志工具

Ubuntu中常用的日志工具有以下几种：

1. Systemd Journal (Journalctl)
   Systemd是当前许多Linux发行版（包括Ubuntu）的默认初始化系统，它包含了一个强大的日志管理工具journalctl。它可以收集和管理系统的各种日志，包括系统启动、服务、内核消息等。
   直接执行 journalctl可以输出所有日志信息。journalctl通常在系统内默认已经预安装了，无需额外安装。
   
2. Logwatch
   Logwatch是一个日志分析工具，它可以定期分析系统日志并生成报告，报告中包含了重要事件、安全信息、系统负载等统计信息。
   Logwatch在系统中默认没有安装，需要执行sudo apt-get install logwatch 进行安装。
3. rsyslog 或 syslog-ng
   这两个都是日志转发和处理工具，它们可以收集、过滤、重定向和存储系统日志。rsyslog是Ubuntu中的默认syslog守护进程。
   rsyslog与syslog-ng不能并存使用，要使用其中一个，则需要卸载另外一个。这个日志工具主要用于收集、存储系统日志。可以搭建日志服务器后，收集其他系统的日志在本机存储。
4. Logrotate
   Logrotate是一个日志文件管理工具，用于自动压缩、归档和删除旧的日志文件，以防止日志文件占用过多磁盘空间。
   在Ubuntu或者其他Linux系统中，这个工具大多都是默认安装，无需额外安装。
   以Ubuntu为例：

sudo vi /etc/logrotate.conf

改指令用于查看logrotate的配置文件。

udo vi /etc/logrotate.d/bootlog 

该指令用于查看启动日志文件的配置

/var/log/boot.log
{
    missingok
    daily
    copytruncate
    rotate 7
    notifempty
}

以下是对配置参数的解释：

• missingok：此指令告诉logrotate如果日志文件丢失，不要生成报错错误。
• daily：日志文件将每天轮转一次（即压缩和归档）。
• copytruncate：此指令在创建副本后截断原始日志文件。当应用程序不能或不应该被信号重启日志记录时，使用此指令。
• rotate 7：日志文件将在被删除之前最多轮转7次。这意味着您将保留最多7天的归档日志。
• notifempty：如果日志文件为空，则不进行轮转。换句话说，只有当日志文件包含内容时才会进行轮转。

5. Grafana Loki
   虽然不是默认工具，但Loki是一个越来越受欢迎的日志聚合和查询系统，特别适合与Prometheus和Grafana配合使用进行监控和分析。当前已经开源，可以在github上获取。
   https://github.com/grafana/loki/
   
6. Elastic Stack (ELK)
   Elasticsearch、Logstash和Kibana组成的ELK堆栈是一个强大的日志分析解决方案。Elasticsearch用于存储和搜索日志数据，Logstash用于收集、解析和转发日志，而Kibana则提供了一个可视化的界面来查询和分析日志。
   • Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，Elasticsearch 会集中存储您的数据，让您飞快完成搜索，微调相关性，进行强大的分析，并轻松缩放规模。
   • 使用 Kibana 针对大规模数据快速运行数据分析，以实现可观测性、安全和搜索。对来自任何来源的任何数据进行全面透彻的分析，从威胁情报到搜索分析，从日志到应用程序监测。
   • 无论数据是位于单一云或跨多个云，抑或是在本地，Elastic 均可让您灵活地使用各类数据采集方法。使用针对云原生基础架构和应用程序、安全活动和上下文、内容存储库等领域的一站式集成功能，连接、扩展并探索您的数据，一切尽在一种直观的 UI 之中。
     
7. Graylog
   Graylog是一个开源的日志管理系统，它可以收集、索引、存储和分析大量的日志数据，并提供了丰富的搜索和可视化功能。
   
   使用Graylog可以帮助：
   运营效率： Graylog可以帮助缩减部署SIEM的团队20%的规模
   成本节约： Graylog提供降低90%的成本，比没有SIEM节约20%
   风险缓解： Graylog降低了网络安全、合规审计和罚款以及IT停机风险
8. Splunk
   虽然Splunk主要是一个商业产品，但它也有一个免费版本可供个人使用。Splunk是一个强大的日志管理和分析平台，能够处理大量实时和历史日志数据。
   
   Splunk由以下几个主要部分组成：

• Splunk Enterprise：这是Splunk的核心产品，它提供了数据收集、索引、搜索、分析和可视化等功能。你可以在自己的硬件或云实例上安装和运行Splunk Enterprise。
• Splunk Cloud：这是Splunk Enterprise的云版本，它由Splunk托管和管理，无需你自己安装和维护。你可以通过Web界面或API访问和使用Splunk Cloud。
• Splunk Apps 和 Add-ons：这些是由Splunk或第三方开发者提供的扩展模块，它们可以增强Splunk的功能或适应特定的用例。例如，有些App可以提供预定义的仪表盘、报表和警报，有些Add-on可以提供额外的数据源或命令。
• Splunk Forwarder：这是一个轻量级的代理程序，它可以在远程机器上收集并转发数据到Splunk Enterprise或Cloud。

这些工具各有特点和适用场景，可以根据具体需求选择合适的日志工具或组合使用。