logstash-output-s3 是一款开源插件，能够从多个来源采集数据、转换数据，再将数据发送到对象存储中。通过安装 logstash-output-s3 插件，并在对象存储开启日志功能，支持将 Logstash 的日志事件批量上传到支持 S3 对象存储协议桶存储。

本小节主要介绍部分 Logstash 插件 logstash-output-s3 的 安装、配置和验证方法。

前提条件

  • 已获取管理控制台登录账号和密码，且已获取集群操作权限。

  • 已创建 OpenSearch 集群，且集群状态为活跃。

  • 已创建可用对象存储桶和 API 密钥，并分别获取到 endpoint、bucket、access_key、secret_key 信息。

步骤 1: 安装插件

  1. 登录 Logstash 节点服务器，进入 shell。默认端口 9600、用户名 ubuntu、密码 p12cHANgepwD。

    输入命令 sudo su 切换到 root 用户，执行安装操作。

  2. 执行如下指令，安装插件：

    $ cd /data/logstash/plugins
$ /usr/share/logstash/bin/logstash-plugin install logstash-output-s3
说明

如有多个 Logstash 节点，请在所有 Logstash 节点上安装插件，确保所有 Logstash 节点成功安装插件。否则状态会显示不正常。

步骤 2: 修改配置参数

  1. 登录 AppCenter 管理控制台，选择目标 OpenSearch 服务，进入集群详情页面。

  2. 在配置参数页签，选择 Logstash 节点参数类型。

    配置 gemfile_append_content、output_conf_content 和 input_conf_content 参数，分别为如下参数值：

    gemfile_append_content

    gem "logstash-output-s3", :path => "/data/logstash/plugins/logstash-output-s3"

    output_conf_content

    s3 {
    access_key_id => "<YourAccessKey>"
    secret_access_key => "<YourSecretKey>"
    endpoint => "http://s3.jn1.is.shanhe.com"
    bucket => "<bucket_name>"
}

    input_conf_content

    file {
    path => "/data/logstash/logs/logstash-plain.log"
}

  3. 重启 Logstash 节点，启动插件服务。

    在基本属性区域展开操作栏，点击重启并选择 Logstash 节点，重启 Logstash 节点。

步骤 3: 安装验证

  1. 向 Logstash 发送一条数据。

    curl -d "test" <Logstash_IP>:9700

  2. 登录 QingStor 管理控制台，选择目标桶，进入桶详情页面。

    在相应文件夹中，查看是否生成 text/plain 日志文件。