Докер Кафка с питоном

Ваша проблема связана с сетью. В настройке Kafka вы устанавливаете

KAFKA_ADVERTISED_HOST_NAME: localhost

но это означает, что любой клиент (включая ваше приложение python) подключится к брокеру, а затем брокеру будет предложено использовать localhost для любых подключений. Так как локальный хост с вашей клиентской машины (например, ваш контейнер python) не находится там, где находится брокер, запросы будут терпеть неудачу.

Вы можете подробнее узнать о слушателях Kafka здесь: https://rmoff.net/2018/08/02/kafka-listeners-explained/

Поэтому, чтобы исправить вашу проблему, вы можете сделать одну из двух вещей:

1. Просто измените свой состав, чтобы использовать внутреннее имя хоста для Kafka (KAFKA_ADVERTISED_HOST_NAME: kafka). Это означает, что любые клиенты в сети докеров смогут получить к нему доступ в порядке, но внешние клиенты не смогут (например, с вашего хост-компьютера):

   version: '3'
   services:
   zookeeper:
       image: wurstmeister/zookeeper
       ports:
       - "2181:2181"
   kafka:
       image: wurstmeister/kafka
       ports:
       - "9092:9092"
       environment:
       KAFKA_ADVERTISED_HOST_NAME: kafka
       KAFKA_CREATE_TOPICS: "test:1:1"
       KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
       volumes:
       - /var/run/docker.sock:/var/run/docker.sock
   parse-engine:
       build: .
       depends_on:
       - "kafka"
       command: python parse-engine.py
       ports:
       - "5000:5000"
   

   Затем ваши клиенты получат доступ к брокеру в kafka: 9092, поэтому ваше приложение python изменится на

   consumer = KafkaConsumer('test', bootstrap_servers='kafka:9092')
   

2. Добавить нового слушателя в Кафку. Это позволяет получить доступ как внутри, так и снаружи к сети докеров. Порт 29092 предназначен для доступа к внешней сети докеров (например, от вашего хоста) и 9092 для внутреннего доступа.

   Вам все равно нужно будет изменить вашу программу python для доступа к Kafka по правильному адресу. В этом случае, поскольку он является внутренним для сети Docker, вы должны использовать:

   consumer = KafkaConsumer('test', bootstrap_servers='kafka:9092')
   

   Так как я не знаком с изображениями wurstmeister, этот докер-составитель основан на изображениях Confluent, которые я знаю:

   (редактор исказил мой ямль, вы можете найти его здесь)

   ---
   version: '2'
   services:
   zookeeper:
       image: confluentinc/cp-zookeeper:latest
       environment:
       ZOOKEEPER_CLIENT_PORT: 2181
       ZOOKEEPER_TICK_TIME: 2000
   
   kafka:
       # "'-._,-'"'-._,-'"'-._,-'"'-._,-'"'-._,-'"'-._,-'"'-._,-'"'-._,-'"'-._,-
       # An important note about accessing Kafka from clients on other machines: 
       # -----------------------------------------------------------------------
       #
       # The config used here exposes port 29092 for _external_ connections to the broker
       # i.e. those from _outside_ the docker network. This could be from the host machine
       # running docker, or maybe further afield if you've got a more complicated setup. 
       # If the latter is true, you will need to change the value 'localhost' in 
       # KAFKA_ADVERTISED_LISTENERS to one that is resolvable to the docker host from those 
       # remote clients
       #
       # For connections _internal_ to the docker network, such as from other services
       # and components, use kafka:9092.
       #
       # See https://rmoff.net/2018/08/02/kafka-listeners-explained/ for details
       # "'-._,-'"'-._,-'"'-._,-'"'-._,-'"'-._,-'"'-._,-'"'-._,-'"'-._,-'"'-._,-
       #
       image: confluentinc/cp-kafka:latest
       depends_on:
           - zookeeper
       ports:
           - 29092:29092
       environment:
           KAFKA_BROKER_ID: 1
           KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
           KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092,PLAINTEXT_HOST://localhost:29092
           KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
           KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
           KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
   

Отказ от ответственности: я работаю на Confluent

Эта строка

KAFKA_ADVERTISED_HOST_NAME: localhost

Говорит, что брокер рекламирует себя как доступный только на localhost, а это значит, что все клиенты Kafka вернутся только сами, а не фактический список реальных адресов брокера.

Он должен сказать KAFKA_ADVERTISED_HOST_NAME: kafka, где kafka - это имя службы Docker Compose.

Затем эта линия

consumer = KafkaConsumer('test', bootstrap_servers='localhost:9092')

Вы указываете контейнер Python на себя, а не на контейнер kafka.

Он должен сказать, что kafka:9092 вместо kafka:9092

Этот блог может быть полезен для вас

https://medium.com/@mail.technoddy/what-is-advertised-listeners-in-kafka-72e6fae7d68e

Мне кажется, у меня похожая проблема с подключением к кафке.

Здесь ситуация. У меня есть весенний загрузочный config-сервис на Host1, выглядит так

package de.Spriegel.appconfigservice;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.config.server.EnableConfigServer;

@SpringBootApplication
@EnableConfigServer
public class AppConfigServiceApplication {

    public static void main(String[] args) {
        SpringApplication.run(AppConfigServiceApplication.class, args);
    }

}

и config (application.yml) для этого config-сервиса выглядит так

server:
  port: ${SPRING_BOOT_PORT:48000}
spring:
  profiles: localhost
  cloud:
    bus:
      enabled: true
      stream:
        kafka:
          binder:
            brokers: 167.86.69.219:29094
    config:
      server:
        git:
          uri: removed
          search-paths: configuration/
          username: removed
          password: removed
          skip-ssl-validation: true
  application:
    name: app-config-service
management:
  endpoints:
    web:
      exposure:
        include: bus-refresh

Файл docker-compose.yml с kafka и zookeeper выглядит так (на хосте 2)

---
version: '2'
services:
  zookeeper:
    image: "confluentinc/cp-zookeeper:5.2.1"
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000

  kafka0:
    image: "confluentinc/cp-enterprise-kafka:5.2.1"
    ports:
      - '9092:9092'
      - '29092:29092'
      - '29094:29094'
    depends_on:
      - zookeeper
    environment:
      KAFKA_BROKER_ID: 0
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENERS: LISTENER_INTERNAL://kafka0:29092,LISTENER_HOST://kafka0:9092,LISTENER_EXTERNAL://kafka0:29094
      KAFKA_ADVERTISED_LISTENERS: LISTENER_INTERNAL://kafka0:29092,LISTENER_HOST://localhost:9092,LISTENER_EXTERNAL://167.86.69.219:29094
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: LISTENER_INTERNAL,LISTENER_HOST,LISTENER_EXTERNAL
      KAFKA_INTER_BROKER_LISTENER_NAME: LISTENER_INTERNAL
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: "false"
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 100

Если я запускаю свой config-сервер, я получаю следующее предупреждение

2019-06-17 23:22:03.661  WARN 35852 --- [| adminclient-1] org.apache.kafka.clients.NetworkClient   : [AdminClient clientId=adminclient-1] Connection to node -1 could not be established. Broker may not be available.

Может кто-нибудь объяснить мне, что я сделал не так?