Hy, у меня есть (очень) большой XML файл (100 ГБ) со списком foo, я хочу преобразовать его в поток, похожий на тот, который вводит в java 8 объекта:
Любая идея примера lib или кода?
в начале:
<foos>
<foo>...</foo>
<foo>...</foo>
</foos>
в конце:
Stream<Foo> foosStream = ????("foo.xml")
streamFoos.forEach(foo->foo.doFooStuffs());
Редактировать: @Pierre Спасибо, вот реализация вашего решения:
try {
XMLEventReader reader = XMLInputFactory.newInstance().
createXMLEventReader(stream);
final Unmarshaller unmarshaller = JAXBContext.newInstance(XXXXX.class).createUnmarshaller();
Iterator<XXXXX> it = new XmlIterator<>(reader, unmarshaller, "xxxxxx");
return StreamSupport.stream(Spliterators.spliteratorUnknownSize(it, Spliterator.ORDERED), false);
} catch (XMLStreamException e1) {
logger.error("XMLStreamException", e1);
} catch (JAXBException e) {
logger.error("JAXBException", e);
}
а также
public class XmlIterator<T> implements Iterator<T> {
private final Logger logger = LoggerFactory.getLogger(this.getClass());
XMLEventReader reader;
XMLEvent event;
Unmarshaller unmarshaller;
String name;
public XmlIterator(XMLEventReader reader, Unmarshaller unmarshaller, String name) {
this.reader = reader;
this.unmarshaller = unmarshaller;
this.name = name;
try {
reader.next();
this.event = reader.peek();
} catch (XMLStreamException e) {
logger.error("", e);
event = null;
}
}
@Override
public boolean hasNext() {
try {
while (event != null && !(event.isStartElement() && name.equals(event.asStartElement().getName().getLocalPart()))) {
Object a = reader.next();
event = reader.peek();
}
return event != null;
} catch (XMLStreamException e) {
logger.error("", e);
event = null;
}
return event != null;
}
@Override
public T next() {
try {
T next = ((JAXBElement<T>) unmarshaller.unmarshal(reader)).getValue();
event = reader.peek();
return next;
} catch (JAXBException e) {
logger.error("error during unmarshalling ", e);
return null;
} catch (XMLStreamException e) {
logger.error("error during stream ", e);
return null;
}
}
}
Каждый раз, когда вы видите тег 'foo' (используя https://docs.oracle.com/javase/7/docs/api/javax/xml/stream/XMLEventReader.html#peek()), используйте Stax-ридер для разбора и постройте свой объект Foo
Foo readFoo(XMLEventReader xmlIn) throws XMLStreamException {
(...)
return foo;
}
реализует java.util.Iterator, который будет использовать предыдущую функцию для возврата 'next()' Foo
Foo
...