Я пытаюсь работать с небольшими данными, потому что я хочу провести анализ данных. Для данных, полученных из foxsports, ссылка url также включена в коды. Этапы описаны в части комментария. Если возможно, вы можете просто вставить и запустить.
Для данных я хочу перейти на веб-страницы сезонов 2013-2018 годов и очистить все данные в таблице на веб-страницах. Итак, мои коды здесь:
import requests
from lxml import html
import csv
# Set up the urls for Bayern Muenchen Team Stats starting from 2013-14
Season
# up to 2017-18 Season
# The data stores in the foxsports websites
urls = ["https://www.foxsports.com/soccer/bayern-munich-team-stats?competition=4&season=2013&category=STANDARD",
"https://www.foxsports.com/soccer/bayern-munich-team-stats? competition=4&season=2014&category=STANDARD",
"https://www.foxsports.com/soccer/bayern-munich-team-stats? competition=4&season=2015&category=STANDARD",
"https://www.foxsports.com/soccer/bayern-munich-team-stats? competition=4&season=2016&category=STANDARD",
"https://www.foxsports.com/soccer/bayern-munich-team-stats? competition=4&season=2017&category=STANDARD"
]
seasons = ["2013/2014","2014/2015", "2015/2016", "2016/2017", "2017/2018"]
data = ["Season", "Team", "Name", "Games_Played", "Games_Started", "Minutes_Played", "Goals", "Assists", "Shots_On_Goal", "Shots", "Yellow_Cards", "Red_Cards"]
csvFile = "bayern_munich_team_stats_2013_18.csv"
# Having set up the dataframe and urls for various season standard stats, we
# are going to examine the xpath of the same player Lewandowski same data feature
# for various pages (namely the different season pages)
# See if we can find some pattern
# 2017-18 Season Name xpath:
# //*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[1]/td[1]/div/a/span[1]
# 2016-17 Season Name xpath:
# //*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[1]/td[1]/div/a/span[1]
# 2015-16 Season Name xpath:
# //*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[1]/td[1]/div/a/span[1]
# tr xpath 17-18:
# //*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[1]
# tr xpath 16=17:
# //*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[1]
# tr xpath 15-16:
# //*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[1]
# For a single season team stats, the tbody and tr relationship is like:
# //*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody
# //*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[1]
# //*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[2]
# lewandowski
# //*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[1]/td[1]/div/a/span[1]
# Wagner
# //*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[2]/td[1]/div/a/span[1]
# ********
# for each row with player names, the name proceeds with tr[num], num += 1 gives
# new name in a new row.
# ********
i = 0
for url in urls:
print(url)
response = requests.get(url)
result = html.fromstring(response.content)
j = 1
for tr in result.xpath('//*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr'):
# Except for season and team, we open foxsports webpage for the given team, here
# Bayern Munich, and the given season, here starting from 13-14, and use F12 to
# view page elements, look for tbody of the figure table, then copy the corresponding
# xpath to here. Adjust the xpath as described above.
season = seasons[i] # seasons[i] changes with i, but stays the same for each season
data.append(season)
team = ["FC BAYERN MUNICH"] # this doesn't change since we are extracting solely Bayern
data.append(team)
name = tr.xpath('//*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[%d]/td[1]/div/a/span[1]' %j )
data.append(name)
gamep = tr.xpath('//*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[%d]/td[2]' %j )
data.append(gamep)
games = tr.xpath('//*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[%d]/td[3]' %j )
data.append(games)
mp = tr.xpath('//*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[%d]/td[4]' %j )
data.append(mp)
goals = tr.xpath('//*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[%d]/td[5]' %j )
data.append(goals)
assists = tr.xpath('//*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[%d]/td[6]' %j )
data.append(assists)
shots_on_goal = tr.xpath('//*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[%d]/td[7]' %j )
data.append(shots_on_goal)
shots = tr.xpath('//*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[%d]/td[8]' %j )
data.append(shots)
yellow = tr.xpath('//*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[%d]/td[9]' %j )
data.append(yellow)
red= tr.xpath('//*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[%d]/td[10]' %j )
data.append(red)
# update j for next row of player
j += 1
# update i
i += 1
with open(csvFile, "w") as file:
writer = csv.writer(file)
writer.writerow(data)
print("Done")
Я попытался использовать data.extend([сезон, имя, команда,...]), но результат все тот же, поэтому я просто добавил все здесь. Содержимое файла csv не то, что я ожидал, и, как вы можете видеть здесь, на картинке:
Я не совсем уверен, где поступил не так, он показывает результат "Element span at XXXXXX #####", и я все еще буду рыбой для программирования. Я был бы очень признателен, если бы кто-нибудь мог помочь мне в этом вопросе, поэтому я могу продолжать заниматься этим маленьким проектом, который предназначен только для образовательных целей. Большое спасибо за ваше время и помощь!
это то, что вы можете сделать
Я сделал это раньше, чем это
import csv
with open(output_file, 'w', newline='') as csvfile:
field_names = ['f6s_profile', 'linkedin_profile', 'Name', 'job_type', 'Status']
writer = csv.DictWriter(csvfile, fieldnames=field_names)
writer.writerow(
{'profile': 'profile', 'profile1': 'profile1',
'Name': 'Name', 'job_type': 'Job Type', 'Status': 'Status'})
for raw in data2:
.data = []
.# get you data using selenium
.# data.append()
.
writer.writerow(
{'profile': data[0], 'profile1': data[1],
'Name': name_person, 'job_type': data[2], 'Status': status})
где first writer.writerow
будет вашим заголовком, а field_names
просто используются в качестве ключа для заполнения ваших данных в столбце
для получения значения [<Element td at 0x151ca980638>]
вы можете использовать data.append(name.text)
вы также можете сделать это .text
после xpath
name = tr.xpath('//*[@id="wisfoxbox"]/section[2]/div[1]/table/tbody/tr[%d]/td[1]/div/a/span[1]' %j ).text
data.append(name)
writerow
writer.writerow(data)
запишет все данные в одну строкуwriter.writerow(data)
внутри цикла for