Невозможно запустить Airflow 1.10 в Mac OS

Question

Невозможно запустить Airflow 1.10 в Mac OS

1

Последняя версия Airflow 1.10 требует некоторой настройки для регистратора.

Я внимательно следил за инструкциями и создавал папку с config airflow/config_templates/airflow_local_settings.py и добавлял ее в PYTHONPATH.

К сожалению при запуске воздушного потока я получаю эту ошибку:

ValueError: Unable to configure handler 'processor':
  Cannot resolve 'airflow.utils.log.file_processor_handler.FileProcessorHandler': 
    dlopen(/Users/arikliber/miniconda3/envs/py36-6/lib/python3.6/site-packages/psutil/_psutil_osx.cpython-36m-darwin.so, 2):
      Symbol not found: ___CFConstantStringClassReference
  Referenced from: /Users/arikliber/miniconda3/envs/py36-6/lib/python3.6/site-packages/psutil/_psutil_osx.cpython-36m-darwin.so
  Expected in: flat namespace
    in /Users/arikliber/miniconda3/envs/py36-6/lib/python3.6/site-packages/psutil/_psutil_osx.cpython-36m-darwin.so

Все было установлено в новой среде miniconda.

Кто-нибудь получил Airflow 1.10 на Mac OS (у меня 10.13.6) и ум, разделяющий рабочий процесс?

Leo 21 окт. 2018, в 17:24

Источник

1

Это скорее проблема с psutil , а не с airflow . Когда вы запускаете python -c "import psutil" , что вы получаете? Если установлено несколько версий Python, выберите тот же , что не может airflow , например , python3.6 -c и т.д.
hoefling 21 окт. 2018, в 22:09
0

О, это на самом деле дает мне ошибку: Traceback (most recent call last): File "<string>", line 1, in <module> File "....psutil/__init__.py", line 134, in <module> from . import _psosx as _psplatform File "..../psutil/_psosx.py", line 14, in <module> from . import _psutil_osx as cext ImportError: dlopen(/.....psutil/_psutil_osx.cpython-36m-darwin.so, 2): Symbol not found: ___CFConstantStringClassReference Referenced from: ....psutil/_psutil_osx.cpython-36m-darwin.so Expected in: flat namespace in...psutil/_psutil_osx.cpython-36m-darwin.so
Leo 22 окт. 2018, в 06:12
0

Обновление: видимо Airflow как-то psutil версию psutil во время установки. Чтобы это исправить, я просто запустил pip install psutil --upgrade ПОСЛЕ установки airflow. Спасибо, @hoefling, что поставил меня на правильный путь!
Leo 22 окт. 2018, в 06:31

Показать ещё 1 комментарий

Теги:

python

macos

airflow

1 ответ

Ещё вопросы

Это скорее проблема с psutil , а не с airflow . Когда вы запускаете python -c "import psutil" , что вы получаете? Если установлено несколько версий Python, выберите тот же , что не может airflow , например , python3.6 -c и т.д.
О, это на самом деле дает мне ошибку: Traceback (most recent call last): File "<string>", line 1, in <module> File "....psutil/__init__.py", line 134, in <module> from . import _psosx as _psplatform File "..../psutil/_psosx.py", line 14, in <module> from . import _psutil_osx as cext ImportError: dlopen(/.....psutil/_psutil_osx.cpython-36m-darwin.so, 2): Symbol not found: ___CFConstantStringClassReference Referenced from: ....psutil/_psutil_osx.cpython-36m-darwin.so Expected in: flat namespace in...psutil/_psutil_osx.cpython-36m-darwin.so
Обновление: видимо Airflow как-то psutil версию psutil во время установки. Чтобы это исправить, я просто запустил pip install psutil --upgrade ПОСЛЕ установки airflow. Спасибо, @hoefling, что поставил меня на правильный путь!

dlamblin · Answer 1 · 2018-10-22T01-22-00.000Z

Я использовал установку для пива python 3.6, venv из -m venv и установленный поток воздуха v 1.10, проверив источник на ветке v1-10-stable и установив с помощью pip -e <path/to/apache-airflow-src-dir>/ После установки я использовал pip check чтобы найти, что щелчок 7.0 был установлен флягой, но этому флеш-appbuilder это не понравилось, поэтому мне пришлось его установить и установить, щелкнув 6.7. Вы можете попробовать и изменить setup.py чтобы поставить флакон-appbuilder перед колбой в упорядоченных требованиях.