Как выполнить XPath однострочно из оболочки?

Один пакет, который, скорее всего, будет установлен в системе, уже есть python-lxml. Если это так, это возможно без установки дополнительного пакета:

python -c "from lxml.etree import parse; from sys import stdin; print '\n'.join(parse(stdin).xpath('//element/@attribute'))"

Вы также можете попробовать Xidel. Он не находится в пакете в репозитории, но вы можете просто загрузить его с веб-страницы (у него нет зависимостей).

Он имеет простой синтаксис для этой задачи:

xidel filename.xml -e '//element/@attribute' 

И это один из редких из этих инструментов, поддерживающий XPath 2.

Saxon сделает это не только для XPath 2.0, но и для XQuery 1.0 и (в коммерческой версии) 3.0. Он не поставляется как пакет Linux, а как файл jar. Синтаксис (который можно легко обернуть простым script) - это

java net.sf.saxon.Query -s:source.xml -qs://element/attribute

В моем запросе для запроса maven pom.xml файлов я столкнулся с этим вопросом. Однако у меня были следующие ограничения:

• должен выполняться кросс-платформенный.
• должен существовать во всех основных дистрибутивах Linux без дополнительной установки модуля.
• должен обрабатывать сложные xml файлы, такие как файлы maven pom.xml
• простой синтаксис

Я пробовал многие из вышеперечисленных без успеха:

• python lxml.etree не входит в стандартный дистрибутив python
• xml.etree, но не обрабатывает сложные файлы maven pom.xml, не выкопал достаточно глубоко
• python xml.etree не обрабатывает файлы maven pom.xml по неизвестной причине
• xmllint тоже не работает, ядро ​​сбрасывает часто на ubuntu 12.04 "xmllint: using libxml version 20708"

Единственное решение, с которым я столкнулся, является стабильным, коротким и работает на многих платформах, а зрелым является rexml lib, встроенный в ruby:

ruby -r rexml/document -e 'include REXML; 
     p XPath.first(Document.new($stdin), "/project/version/text()")' < pom.xml

Что вдохновило меня на то, чтобы найти это, были следующие статьи:

• Учебник по Ruby/XML, XSLT и XPath
• IBM: Ruby on Rails и XML

Вас также может заинтересовать xsh. Он имеет интерактивный режим, в котором вы можете делать все, что угодно, с документом:

open 1.xml ;
ls //element/@id ;
for //p[@class="first"] echo text() ;

ответы на вызовы - это здорово, но я думаю, что работает только в том случае, если ваш источник является хорошо сформированным XML, а не нормальным HTML.

Итак, чтобы сделать то же самое для обычного веб-контента - HTML-документы, которые arent обязательно правильно сформировали XML:

echo "<p>foo<div>bar</div><p>baz" | python -c "from sys import stdin; \
from lxml import html; \
print '\n'.join(html.tostring(node) for node in html.parse(stdin).xpath('//p'))"

И вместо этого используйте html5lib (чтобы убедиться, что вы получаете такое же поведение синтаксического анализа, как веб-браузеры, потому что, подобно обозревателям браузера, html5lib соответствует требованиям синтаксического анализа в спецификации HTML).

echo "<p>foo<div>bar</div><p>baz" | python -c "from sys import stdin; \
import html5lib; from lxml import html; \
doc = html5lib.parse(stdin, treebuilder='lxml', namespaceHTMLElements=False); \
print '\n'.join(html.tostring(node) for node in doc.xpath('//p'))

Следует отметить, что сам nokogiri поставляется с инструментом командной строки, который должен быть установлен с помощью gem install nokogiri.

Возможно, вы найдете этот пост в блоге.

В дополнение к XML:: XSH и XML:: XSH2 есть некоторые grep -подобные утилиты сосать как App::xml_grep2 и XML::Twig (который включает xml_grep, а не xml_grep2). Они могут быть весьма полезны при работе с большими или многочисленными XML файлами для быстрых oneliners или Makefile целей. XML::Twig особенно приятно работать с perl сценарием, когда вы хотите немного больше обработки, чем предлагаете $SHELL и xmllint xstlproc.

Схема нумерации в именах приложений указывает, что версии "2" представляют собой более новую/более позднюю версию, по существу, того же инструмента, который может потребовать более поздние версии других модулей (или самого perl).

Подобно ответам Mike и clacke, вот однострочный python (используя python >= 2.5), чтобы получить версию сборки из файла pom.xml, которая обходит тот факт, что файлы pom.xml обычно не имеют dtd или пространство имен по умолчанию, поэтому не отображаются корректно для libxml:

python -c "import xml.etree.ElementTree as ET; \
  print(ET.parse(open('pom.xml')).getroot().find('\
  {http://maven.apache.org/POM/4.0.0}version').text)"

Протестировано на Mac и Linux и не требует установки дополнительных пакетов.

Я пробовал несколько утилит XPath командной строки, и когда я понял, что трачу слишком много времени на поиски и выясняя, как они работают, поэтому я написал простейший возможный синтаксический анализатор XPath в Python, который сделал то, что мне нужно.

В приведенном ниже script показано строковое значение, если выражение XPath оценивается как строка или отображает весь подзону XML, если результатом является node:

#!/usr/bin/env python
import sys
from lxml import etree

tree = etree.parse(sys.argv[1])
xpath = sys.argv[2]

for e in tree.xpath(xpath):

    if isinstance(e, str):
        print(e)
    else:
        print((e.text and e.text.strip()) or etree.tostring(e))

Он использует lxml - быстрый XML-синтаксический анализатор, написанный на C, который не входит в стандартную библиотеку python. Установите его с помощью pip install lxml. В Linux/OSX может потребоваться префикс с sudo.

Использование:

python xmlcat.py file.xml "//mynode"

lxml также может принимать URL-адрес в качестве входа:

python xmlcat.py http://example.com/file.xml "//mynode" 

Извлеките атрибут url в приложении node (т.е.):

python xmlcat.py xmlcat.py file.xml "//enclosure/@url"

Xpath в Google Chrome

Как несвязанная сторона примечания: если случайно вы хотите запустить выражение XPath против разметки веб-страницы, вы можете сделать это прямо из Chrome devtools: щелкните правой кнопкой мыши страницу в Chrome > выберите "Осмотр", а затем в консоли DevTools вставьте выражение XPath как $x("//spam/eggs").

Получить всех авторов на этой странице:

$x("//*[@class='user-details']/a/text()")