Я должен использовать python с Zeppelin. Я очень новый, и я нахожу только материалы о pyspark в Цеппелин. Я хочу импортировать dataframe с помощью python, а затем получить доступ к нему через sql:
%python
import pandas as pd #To work with dataset
import numpy as np #Math library
#Importing the data
df_credit = pd.read_csv("../data.csv",index_col=0)
если я попробую:
%python
from sqlalchemy import create_engine
engine = create_engine('sqlite://')
df_credit.to_sql('mydatasql',con=engine)
и затем получить к нему доступ, то есть:
%sql select Age, count(1) from mydatasql where Age < 30 group by Age order by Age
Я получаю сообщение об ошибке: "Таблица или представление не найдены"
Я думаю, проблема в том, что% sql не может читать переменные, созданные с помощью% python, но я не уверен в этом.
Попробуйте интерпретатор %python.sql
. Вам нужно установить пакет pandasql
. Проверьте эту ссылку для получения дополнительной информации.