logstash中关于Jdbc输入配置选项详解

Setting	Input type	Required
clean_run	boolean	No
columns_charset	hash	No
connection_retry_attempts	number	No
connection_retry_attempts_wait_time	number	No
jdbc_connection_string	string	Yes
jdbc_default_timezone	string	No
jdbc_driver_class	string	Yes
jdbc_driver_library	string	No
jdbc_fetch_size	number	No
jdbc_page_size	number	No
jdbc_paging_enabled	boolean	No
jdbc_password	password	No
jdbc_password_filepath	a valid filesystem path	No
jdbc_pool_timeout	number	No
jdbc_user	string	Yes
jdbc_validate_connection	boolean	No
jdbc_validation_timeout	number	No
last_run_metadata_path	string	No
lowercase_column_names	boolean	No
parameters	hash	No
record_last_run	boolean	No
schedule	string	No
sequel_opts	hash	No
sql_log_level	string, one of ["fatal", "error", "warn", "info", "debug"]	No
statement	string	No
statement_filepath	a valid filesystem path	No
tracking_column	string	No
tracking_column_type	string, one of ["numeric", "timestamp"]	No
use_column_value	boolean	No

clean_run

• 值类型为布尔值
• 默认值为 false

是否应保留先前的运行状态

columns_charset

• 值类型为哈希
• 默认值为 {}

特定列的字符编码。此选项将覆盖:charset指定列的选项。

例：

输入{ 
  jdbc { ... 
    columns_charset => { “ column0” => “ ISO-8859-1” } ... } }
         
    
  

这只会转换具有ISO-8859-1作为原始编码的column0。

connection_retry_attempts

• 值类型是数字
• 默认值为 1

尝试连接数据库的最大次数

connection_retry_attempts_wait_time

• 值类型是数字
• 默认值为 0.5

两次尝试之间休眠的秒数

jdbc_connection_string

• 这是必需的设置。
• 值类型为字符串
• 此设置没有默认值。

JDBC连接字符串

jdbc_default_timezone

• 值类型为字符串
• 此设置没有默认值。

时区转换。SQL不允许在时间戳字段中输入时区数据。此插件将以ISO8601格式的相对UTC时间自动将您的SQL时间戳字段转换为Logstash时间戳。

使用此设置将手动分配指定的时区偏移，而不是使用本地计算机的时区设置。例如，您必须使用标准时区，例如America / Denver。

jdbc_driver_class

• 这是必需的设置。
• 值类型为字符串
• 此设置没有默认值。

例如，如果使用的是Oracle JDBC，则按照https://github.com/logstash-plugins/logstash-input-jdbc/issues/43加载的JDBC驱动程序类，例如“ org.apache.derby.jdbc.ClientDriver” NB。驱动程序（ojdbc6.jar）正确jdbc_driver_class是"Java::oracle.jdbc.driver.OracleDriver"

jdbc_driver_library

• 值类型为字符串
• 此设置没有默认值。

尝试将JDBC逻辑抽象为mixin，以便在其他插件（输入/输出）中潜在地重用。当某人包含此模块时，将调用此方法。将这些方法添加到给定的基础中。第三方驱动程序库的JDBC驱动程序库路径。如果需要多个库，可以通过逗号分隔它们。

如果未提供，则插件将在Logstash Java类路径中查找驱动程序类。

jdbc_fetch_size

• 值类型是数字
• 此设置没有默认值。

JDBC提取大小。如果未提供，将使用各自的驱动程序默认值

jdbc_page_size

• 值类型是数字
• 默认值为 100000

JDBC页面大小

jdbc_paging_enabled

• 值类型为布尔值
• 默认值为 false

JDBC启用分页

这将导致sql语句分解为多个查询。每个查询将使用限制和偏移量来集体检索完整的结果集。限制大小通过设置jdbc_page_size。

请注意，不能保证查询之间的顺序。

jdbc_password

• 值类型为密码
• 此设置没有默认值。

JDBC密码

jdbc_password_filepath

• 值类型是路径
• 此设置没有默认值。

JDBC密码文件名

jdbc_pool_timeout

• 值类型是数字
• 默认值为 5

连接池配置。引发PoolTimeoutError之前等待获取连接的秒数（默认为5）

jdbc_user

• 这是必需的设置。
• 值类型为字符串
• 此设置没有默认值。

JDBC用户

jdbc_validate_connection

• 值类型为布尔值
• 默认值为 false

连接池配置。使用前验证连接。

jdbc_validation_timeout

• 值类型是数字
• 默认值为 3600

连接池配置。验证连接的频率（以秒为单位）

last_run_metadata_path

• 值类型为字符串
• 默认值为 "$HOME/.logstash_jdbc_last_run"

上次运行时间的文件路径

lowercase_column_names

• 值类型为布尔值
• 默认值为 true

是否强制使用标识符字段的小写

parameters

• 值类型为哈希
• 默认值为 {}

查询参数的散列，例如 { "target_id" => "321" }

record_last_run

• 值类型为布尔值
• 默认值为 true

是否保存状态 last_run_metadata_path

schedule

• 值类型为字符串
• 此设置没有默认值。

定期运行语句的时间表，例如Cron格式：“ * * * * *”（每分钟，每分钟执行一次查询）

默认情况下没有时间表。如果没有给出时间表，则该语句仅运行一次。

sequel_opts

• 值类型为哈希
• 默认值为 {}

常规/特定于供应商的续集配置选项。

可选连接池配置的示例max_connections-连接池的最大连接数

可以在此文档页面中找到特定于供应商的选项的示例：https : //github.com/jeremyevans/sequel/blob/master/doc/opening_databases.rdoc

sql_log_level

• 值可以是任何的：fatal，error，warn，info，debug
• 默认值为 "info"

记录SQL查询的日志级别，可接受的值是常见的致命，错误，警告，信息和调试值。默认值为info。

statement

• 值类型为字符串
• 此设置没有默认值。

如果未定义，则即使未使用编解码器，Logstash也会进行投诉。执行语句

要使用参数，请使用命名参数语法。例如：

“选择*从MYTABLE WHERE id =：target_id”

在这里，“：target_id”是一个命名参数。您可以使用该parameters设置配置命名参数。

statement_filepath

• 值类型是路径
• 此设置没有默认值。

包含要执行的语句的文件的路径

tracking_column

• 值类型为字符串
• 此设置没有默认值。

值将被跟踪的列use_column_value设置为true

tracking_column_type

• 值可以是任何的：numeric，timestamp
• 默认值为 "numeric"

跟踪列的类型。目前仅“数字”和“时间戳”

use_column_value

• 值类型为布尔值
• 默认值为 false

设置为时true，将定义的 tracking_column值用作:sql_last_value。设置为时false，:sql_last_value反映上一次执行查询的时间。

常用选项

Setting	Input type	Required
add_field	hash	No
codec	codec	No
enable_metric	boolean	No
id	string	No
tags	array	No
type	string	No

add_field

• 值类型为哈希
• 默认值为 {}

向事件添加字段

codec

• 值类型为编解码器
• 默认值为 "plain"

用于输入数据的编解码器。输入编解码器是一种在数据输入之前解码数据的便捷方法，而无需在Logstash管道中使用单独的过滤器。

enable_metric

• 值类型为布尔值
• 默认值为 true

默认情况下，为此特定插件实例禁用或启用度量标准日志记录，我们会记录所有可以度量的数据，但是您可以禁用特定插件的度量标准收集。

id

• 值类型为字符串
• 此设置没有默认值。

ID向插件配置添加唯一。如果未指定ID，Logstash将生成一个。强烈建议在您的配置中设置此ID。当您有两个或多个相同类型的插件时，例如在您有2个jdbc输入时，这特别有用。在这种情况下，添加命名ID将有助于在使用监视API时监视Logstash。

输入{ 
  jdbc { 
    id => “ my_plugin_id” } } 
  

tags

• 值类型为数组
• 此设置没有默认值。

将任意数量的任意标签添加到您的事件中。

这可以帮助以后进行处理。

type

• 值类型为字符串
• 此设置没有默认值。

type向此输入处理的所有事件添加一个字段。

类型主要用于过滤器激活。

该类型存储为事件本身的一部分，因此您也可以使用该类型在Kibana中进行搜索。