сохранить всю базу данных вasticsearch с помощью logstash

Question

сохранить всю базу данных вasticsearch с помощью logstash

0

Я новичок в ELK, что я сейчас делаю:

Использование файла configuration.conf для установки jdbc в logstash (input> filter> output)
Для каждого запроса MySQL имеющего отдельный input{} в файле конфигурации logstash
Или используя pipilines.yml для файла конфигурации separat для запуска в отдельном потоке (т.е. Каждый запрос MySQL имеет (хранится) другой файл конфигурации)
запуская команду logstash -f config.conf (Windows) или просто logstash для конвейера

Как я могу получить все таблицы базы данных с помощью logstash и проиндексировать их в ElatsticSeach за один раз, где индекс для каждой таблицы имеет то же имя, что и имя таблицы в базе данных MySQL (Windows). Могу ли я запустить запрос как показать таблицы, получить список и использовать цикл for и определить.conf для каждой таблицы и сохранить их как.conf файлы? но как мне изменить файл.yml? как файлы.conf и.yml, а не.py?

Изображение конфигурационного файла Logstash

Aashish Gahlawat 05 июль 2018, в 10:11

Источник

1

Logstash не может запустить «показ таблиц», вам нужно сделать это самостоятельно и соответственно изменить конфигурацию. Вы можете сгенерировать свою конфигурацию автоматически, используя сценарий оболочки, который подключается к вашей БД, выполняет show tables и выводит входные данные jdbc для каждой таблицы.
Val 05 июль 2018, в 07:36
1

Я не думаю, что это возможно с logstash. Вам, вероятно, придется написать свою собственную логику, используя, например, Java API для Elasticsearch, и перебирать все таблицы в БД.
Michael Dz 05 июль 2018, в 08:17

Теги:

mysql

python

elasticsearch

logstash

1 ответ

Ещё вопросы

Logstash не может запустить «показ таблиц», вам нужно сделать это самостоятельно и соответственно изменить конфигурацию. Вы можете сгенерировать свою конфигурацию автоматически, используя сценарий оболочки, который подключается к вашей БД, выполняет show tables и выводит входные данные jdbc для каждой таблицы.
Я не думаю, что это возможно с logstash. Вам, вероятно, придется написать свою собственную логику, используя, например, Java API для Elasticsearch, и перебирать все таблицы в БД.

Aashish Gahlawat · Answer 1 · 2018-07-05T13-52-00.000Z

Официальная документация гласит: "Каждый запрос должен иметь отдельный jdbc": настройка нескольких операторов SQL

Вот сценарий:

getTableNames.py

import MySQLdb
# custom made class, Generate
from package_name.generate_conf_yml_logstash import Generate
connection = MySQLdb.connect(host="localhost:3306",
                              user="root/sa", password="password", db="database_name")
cursor = connection.cursor()
cursor.execute("show tables")
tables = cursor.fetchall()
application_name_tables = []
for table in tables:
    application_name_tables.append(table[0])
cursor.close()
connection.close()
Generate.save_files(application_name_tables)

generate_conf_yml_logstash.py

import sys
import os.path


class Generate:
    @staticmethod
    def save_files(tables):

        # save config files
        save_path = "D:\folder_name"
        for table in tables:
            init_f = save_path + "\initial_logstash.conf"
            conf_f_name = table + ".conf"
            save_file = os.path.join(save_path, conf_f_name)
            with open(init_f, "r") as original:  # read only
                data = original.read()
                data = data.replace("table_name", table)
            with open(save_file, "w+") as conf:  # overwrite if exist
                conf.write(data)

        # save yml file
        yml_f_name = "init_logstash_pipelines.yml"
        save_file = os.path.join(save_path, yml_f_name)
        with open(save_file, "r") as original:
            data = original.read()
        with open(save_file, "a+") as yml:  # append
            for table in tables:
                data = data.replace("table", table)
                yml.write(data)
        sys.exit()

Файлы Sample Config и YML:

init_logstash_pipelines.yml

- pipeline.id: table
    path.config: "../config/table.conf"
    pipeline.workers: 1

initial_logstash.conf

input {
  jdbc {
    jdbc_driver_library => "../logstash-6.3.0/logstash-core/lib/jars/mysql-connector-java-5.1.46-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://Mysql:3306/database_name"
    jdbc_user => "root"
    jdbc_password => "password"
    statement => "SELECT * from table_name"
    # schedule => "* * * * *"
  }
}
output {
    stdout { codec => json_lines }
    elasticsearch {
    hosts => ["localhost:9200"]
    index => "table_name"
    # as every table has diff. primary key, change this please
    document_id => "%{pk}"
    }
}

Не стесняйтесь изменять исходные файлы conf, yml и код в соответствии с. к вашим потребностям