Почему порядок, в котором связаны библиотеки, иногда вызывает ошибки в GCC?

383

Почему порядок, в котором связаны библиотеки, иногда вызывает ошибки в GCC?

  • 0
    Смотрите также сейчас stackoverflow.com/questions/7826448/… - TLDR gcc недавно изменился на более строгое (относительно) поведение.
Теги:
linker
gcc

10 ответов

490

(см. историю этого ответа, чтобы получить более сложный текст, но теперь я считаю, что читателю легче видеть реальные командные строки).


Общие файлы, разделяемые всеми приведенными ниже командами

$ cat a.cpp
extern int a;
int main() {
  return a;
}

$ cat b.cpp
extern int b;
int a = b;

$ cat d.cpp
int b;

Связывание со статическими библиотеками

$ g++ -c b.cpp -o b.o
$ ar cr libb.a b.o
$ g++ -c d.cpp -o d.o
$ ar cr libd.a d.o

$ g++ -L. -ld -lb a.cpp # wrong order
$ g++ -L. -lb -ld a.cpp # wrong order
$ g++ a.cpp -L. -ld -lb # wrong order
$ g++ a.cpp -L. -lb -ld # right order

Линкеров ищет слева направо и отмечает неразрешенные символы. Если библиотека разрешает символ, он принимает объектные файлы этой библиотеки для разрешения символа (b.o из libb.a в этом случае).

Зависимости статических библиотек друг от друга работают одинаково - библиотека, которая нуждается в символах, должна быть первой, а затем библиотекой, которая разрешает символ.

Если статическая библиотека зависит от другой библиотеки, но другая библиотека снова зависит от прежней библиотеки, есть цикл. Вы можете разрешить это, включив циклически зависимые библиотеки -( и -), например -( -la -lb -) (вам может понадобиться избежать появления парсеров, таких как -\( и -\)). Затем компоновщик выполняет поиск вложенных библиотек несколько раз, чтобы гарантировать, что зависания на велосипеде разрешены. Кроме того, вы можете указывать библиотеки несколько раз, поэтому каждый из них находится друг перед другом: -la -lb -la.

Связывание с динамическими библиотеками

$ export LD_LIBRARY_PATH=. # not needed if libs go to /usr/lib etc
$ g++ -fpic -shared d.cpp -o libd.so
$ g++ -fpic -shared b.cpp -L. -ld -o libb.so # specifies its dependency!

$ g++ -L. -lb a.cpp # wrong order (works on some distributions)
$ g++ -Wl,--as-needed -L. -lb a.cpp # wrong order
$ g++ -Wl,--as-needed a.cpp -L. -lb # right order

То же самое здесь - библиотеки должны следовать объектным файлам программы. Разница здесь в статических библиотеках заключается в том, что вам не нужно заботиться о зависимостях библиотек друг от друга, потому что динамические библиотеки сами сортируют свои зависимости.

Некоторые недавние дистрибутивы, по-видимому, по умолчанию используют флаг --as-needed linker, который обеспечивает, чтобы файлы программных объектов приходили перед динамическими библиотеками. Если этот флаг передан, компоновщик не будет ссылаться на библиотеки, которые фактически не нужны исполняемому файлу (и он обнаруживает это слева направо). Мой недавний дистрибутив archlinux не использует этот флаг по умолчанию, поэтому он не дал ошибку, чтобы не следовать правильному порядку.

Неправильно игнорировать зависимость b.so от d.so при создании первого. При связывании a вам потребуется указать библиотеку, но a действительно не нуждается в самом целом b, поэтому не следует заботиться о собственных зависимостях b.

Вот пример последствий, если вы пропустите определение зависимостей для libb.so

$ export LD_LIBRARY_PATH=. # not needed if libs go to /usr/lib etc
$ g++ -fpic -shared d.cpp -o libd.so
$ g++ -fpic -shared b.cpp -o libb.so # wrong (but links)

$ g++ -L. -lb a.cpp # wrong, as above
$ g++ -Wl,--as-needed -L. -lb a.cpp # wrong, as above
$ g++ a.cpp -L. -lb # wrong, missing libd.so
$ g++ a.cpp -L. -ld -lb # wrong order (works on some distributions)
$ g++ -Wl,--as-needed a.cpp -L. -ld -lb # wrong order (like static libs)
$ g++ -Wl,--as-needed a.cpp -L. -lb -ld # "right"

Если вы посмотрите на зависимости, которые имеет бинарный файл, вы заметите, что сам бинар также зависит от libd, а не только от libb. Бинарный файл нужно будет повторно связать, если libb позже зависит от другой библиотеки, если вы это сделаете. И если кто-то загружает libb с помощью dlopen во время выполнения (подумайте о загрузке плагинов динамически), вызов также не удастся. Таким образом, "right" действительно должен быть wrong.

  • 1
    Я только что нашел это полезным, но я вошел во фракцию самоуничижения. У меня только что была неоднократная ошибка ссылки, казалось бы, без причины, только для того, чтобы случайно обнаружить, что изменение порядка статических библиотек исправляет ее. Читая, что «Нет никаких требований к порядку компоновки объектных файлов или динамических библиотек». просто кажется неправым. К счастью, я продолжил читать и понял, что это точно - в этой строке не упоминаются статические библиотеки, а вы обращаетесь к ним позже - но в первой строке очень легко ввести в заблуждение.
  • 10
    Повторяйте до тех пор, пока все символы не будут разрешены, а вы бы подумали, что они могут управлять топологической сортировкой. LLVM имеет 78 статических библиотек самостоятельно, с зависимостями «кто знает, что». Правда, он также имеет скрипт для определения параметров компиляции / линковки, но вы не можете использовать это при любых обстоятельствах.
Показать ещё 32 комментария
95

Компонент GNU ld является так называемым интеллектуальным компоновщиком. Он будет отслеживать функции, используемые предыдущими статическими библиотеками, постоянно отбрасывая те функции, которые не используются из его таблиц поиска. В результате, если вы связали статическую библиотеку слишком рано, то функции в этой библиотеке больше не будут доступны для статических библиотек позже в линии ссылок.

Типичный компоновщик UNIX работает слева направо, поэтому поместите все ваши зависимые библиотеки слева и те, которые удовлетворяют этим зависимостям справа от линии ссылки. Вы можете обнаружить, что некоторые библиотеки зависят от других, в то время как другие библиотеки зависят от них. Здесь все усложняется. Когда дело доходит до круговых ссылок, исправьте свой код!

  • 2
    Это что-то только с GNU LD / GCC? Или это что-то общее с линкерами?
  • 2
    Видимо, больше компиляторов Unix имеют схожие проблемы. Эй, MSVC не совсем свободен от этих проблем, но они не так уж и плохи.
Показать ещё 4 комментария
49

Здесь приведен пример, чтобы понять, как все работает с GCC при использовании статических библиотек. Поэтому допустим, что мы имеем следующий сценарий:

  • myprog.o - содержащий main() функцию, зависящую от libmysqlclient
  • libmysqlclient - статический, для примера (вы предпочтете разделяемую библиотеку, конечно, поскольку libmysqlclient огромен); в /usr/local/lib; и зависит от материала от libz
  • libz (динамический)

Как мы связываем это? (Примечание: примеры компиляции на Cygwin с использованием gcc 4.3.4)

gcc -L/usr/local/lib -lmysqlclient myprog.o
# undefined reference to `_mysql_init'
# myprog depends on libmysqlclient
# so myprog has to come earlier on the command line

gcc myprog.o -L/usr/local/lib -lmysqlclient
# undefined reference to `_uncompress'
# we have to link with libz, too

gcc myprog.o -lz -L/usr/local/lib -lmysqlclient
# undefined reference to `_uncompress'
# libz is needed by libmysqlclient
# so it has to appear *after* it on the command line

gcc myprog.o -L/usr/local/lib -lmysqlclient -lz
# this works
19

Если вы добавите -Wl,--start-group к флагам компоновщика, не волнует, в каком порядке они находятся или имеются круговые зависимости.

В Qt это означает добавление:

QMAKE_LFLAGS += -Wl,--start-group

Сохраняет нагрузку времени, и он, похоже, не замедляет многосвязывание (что в любом случае занимает гораздо меньше времени, чем компиляция).

7

Другой альтернативой было бы указать список библиотек дважды:

gcc prog.o libA.a libB.a libA.a libB.a -o prog.x

Выполняя это, вам не нужно беспокоиться о правильной последовательности, так как эта ссылка будет разрешена во втором блоке.

5

Вы можете использовать опцию -Xlinker.

g++ -o foobar  -Xlinker -start-group  -Xlinker libA.a -Xlinker libB.a -Xlinker libC.a  -Xlinker -end-group 

ALMOST равно

g++ -o foobar  -Xlinker -start-group  -Xlinker libC.a -Xlinker libB.a -Xlinker libA.a  -Xlinker -end-group 

Осторожно!

  • Порядок внутри группы важен! Вот пример: библиотека отладки имеет процедуру отладки, но не отладка библиотека имеет слабую версию. Вы должны поместить библиотеку отладки FIRST в группе или вы решите на не-отладочную версию.
  • Вам необходимо предшествовать каждой библиотеке в списке групп с помощью -Xlinker
4

Быстрый совет, который меня опрокинул: если вы ссылаетесь на компоновщик как "gcc" или "g++", то использование "--start-group" и "--end-group" не будет передавать эти параметры до линкера - и не будет отмечена ошибка. Это приведет к сбою связи с символами undefined, если у вас неправильный порядок библиотек.

Вам нужно записать их как "-Wl, - start-group" и т.д., чтобы сообщить GCC передать аргумент в компоновщик.

4

Я видел это много, некоторые из наших модулей связывают более 100 библиотек нашего кода плюс система и сторонние библиотеки.

В зависимости от разных компоновщиков HP/Intel/GCC/SUN/SGI/IBM/etc вы можете получить нерешенные функции/переменные и т.д., на некоторых платформах вам нужно дважды перечислить библиотеки.

По большей части мы используем структурированную иерархию библиотек, ядро, платформу, разные уровни абстракции, но для некоторых систем вам все равно придется играть с порядком в команде link.

Как только вы нажмете на документ решения, чтобы следующий разработчик не смог его снова запустить.

Мой старый лектор говорил: "высокая сплоченность и низкое сцепление", это все еще верно и сегодня.

2

Порядок ссылок определенно имеет значение, по крайней мере на некоторых платформах. Я видел сбои для приложений, связанных с библиотеками в неправильном порядке (где неправильные средства A связаны до B, но B зависит от A).

0

Я бы предположил, что это связано с тем, что некоторые из этих библиотек зависят от других библиотек, и если они еще не были связаны, вы получите ошибки компоновщика.

Ещё вопросы

Сообщество Overcoder
Наверх
Меню