Пытаюсь почистить стол с помощью панд из результатов Selenium

Question

Пытаюсь почистить стол с помощью панд из результатов Selenium

1

Я пытаюсь очистить таблицу с сайта Javascript, используя Pandas. Для этого я использовал Selenium, чтобы достичь первой желаемой страницы. Я могу распечатать таблицу в текстовом формате (как показано в комментариях сценария), но я хочу иметь возможность иметь таблицу в Pandas. Я прикрепляю свой сценарий ниже, и я надеюсь, что кто-то поможет мне понять это.

import time
from selenium import webdriver
import pandas as pd

chrome_path = r"Path to chrome driver"
driver = webdriver.Chrome(chrome_path)
url = 'http://www.bursamalaysia.com/market/securities/equities/prices/#/?
filter=BS02'

page = driver.get(url)
time.sleep(2)


driver.find_element_by_xpath('//*[@id="bursa_boards"]/option[2]').click()


driver.find_element_by_xpath('//*[@id="bursa_sectors"]/option[11]').click()
time.sleep(2)

driver.find_element_by_xpath('//*[@id="bm_equity_price_search"]').click()
time.sleep(5)

target = driver.find_elements_by_id('bm_equities_prices_table')
##for data in target:
##    print (data.text)

for data in target:
    dfs = pd.read_html(target,match = '+')
for df in dfs:
    print (df)

Запустив приведенный выше сценарий, я получаю следующую ошибку:

Traceback (most recent call last):
  File "E:\Coding\Python\BS_Bursa Properties\Selenium_Pandas_Bursa Properties.py", line 29, in <module>
    dfs = pd.read_html(target,match = '+')
  File "C:\Users\lnv\AppData\Local\Programs\Python\Python36-32\lib\site-packages\pandas\io\html.py", line 906, in read_html
    keep_default_na=keep_default_na)
  File "C:\Users\lnv\AppData\Local\Programs\Python\Python36-32\lib\site-packages\pandas\io\html.py", line 728, in _parse
    compiled_match = re.compile(match)  # you can pass a compiled regex here
  File "C:\Users\lnv\AppData\Local\Programs\Python\Python36-32\lib\re.py", line 233, in compile
    return _compile(pattern, flags)
  File "C:\Users\lnv\AppData\Local\Programs\Python\Python36-32\lib\re.py", line 301, in _compile
    p = sre_compile.compile(pattern, flags)
  File "C:\Users\lnv\AppData\Local\Programs\Python\Python36-32\lib\sre_compile.py", line 562, in compile
    p = sre_parse.parse(p, flags)
  File "C:\Users\lnv\AppData\Local\Programs\Python\Python36-32\lib\sre_parse.py", line 855, in parse
    p = _parse_sub(source, pattern, flags & SRE_FLAG_VERBOSE, 0)
  File "C:\Users\lnv\AppData\Local\Programs\Python\Python36-32\lib\sre_parse.py", line 416, in _parse_sub
    not nested and not items))
  File "C:\Users\lnv\AppData\Local\Programs\Python\Python36-32\lib\sre_parse.py", line 616, in _parse
    source.tell() - here + len(this))
sre_constants.error: nothing to repeat at position 0

Я также попытался использовать pd.read_html на URL-адресе, но он ответил на ошибку "No Table Found". URL-адрес: http://www.bursamalaysia.com/market/securities/equities/prices/#/?filter=BS08&board=MAIN-MKT&sector=PROPERTIES&page=1.

Eric Choi 30 июль 2017, в 00:20

Источник

Теги:

javascript

python

selenium

2 ответа

Ещё вопросы

Diamond Fang · Answer 1 · 2018-04-24T06-13-00.000Z

Ответ: df = pd.read_html(target[0].get_attribute('outerHTML'))

Результат:

Причина для целевого [0]: driver.find_elements_by_id('bm_equities_prices_table') returns a list of selenium webelement, in your case, there only 1 element, hence [0]

Причина get_attribute ('outerHTML'): we want to get the 'html' of the element. There are 2 types of such get_attribute methods: 'innerHTML' vs 'outerHTML'. We chose the 'outerHTML' becasue we need to include the current element, where the table headers are, я suppose, instead of only the inner contents of the element. we want to get the 'html' of the element. There are 2 types of such get_attribute methods: 'innerHTML' vs 'outerHTML'. We chose the 'outerHTML' becasue we need to include the current element, where the table headers are, я suppose, instead of only the inner contents of the element.

Причина для df [0]: '' 'pd.read_html() возвращает список кадров данных, первый из которых - результат, который мы хотим, следовательно [0].

ksai · Answer 2 · 2017-08-01T02-45-00.000Z

Вы можете получить таблицу, используя следующий код

import time
from selenium import webdriver
import pandas as pd

chrome_path = r"Path to chrome driver"
driver = webdriver.Chrome(chrome_path)
url = 'http://www.bursamalaysia.com/market/securities/equities/prices/#/?filter=BS02'

page = driver.get(url)
time.sleep(2)

df = pd.read_html(driver.page_source)[0]
print(df.head())

Это результат

No  Code    Name    Rem Last Done   LACP    Chg % Chg   Vol ('00)   Buy Vol ('00)   Buy Sell    Sell Vol ('00)  High    Low
0   1   5284CB  LCTITAN-CB  s   0.025   0.020   0.005   +25.00  406550  19878   0.020   0.025   106630  0.025   0.015
1   2   1201    SUMATEC [S] s   0.050   0.050   -   -   389354  43815   0.050   0.055   187301  0.055   0.050
2   3   5284    LCTITAN [S] s   4.470   4.700   -0.230  -4.89   367335  430 4.470   4.480   34  4.780   4.140
3   4   0176    KRONO [S]   -   0.875   0.805   0.070   +8.70   300473  3770    0.870   0.875   797 0.900   0.775
4   5   5284CE  LCTITAN-CE  s   0.130   0.135   -0.005  -3.70   292379  7214    0.125   0.130   50  0.155   0.100

Чтобы получить данные со всех страниц, вы можете сканировать оставшиеся страницы и использовать df.append

Большое спасибо за указание на решение. Ваше предложение прекрасно работает! Не могли бы вы объяснить, для чего [0] используется read_html? Я попытался найти его в документации по read_html, но не смог найти объяснения.
Потому что две таблицы возвращаются, и вы хотите, чтобы первая таблица. Вы можете увидеть две разные таблицы по df[0] и df[1]
Есть ли способ узнать, сколько таблиц возвращается?
@EricChoi Я рекомендую вам прочитать о pd.read_html() , он возвращает список фреймов данных.