Команда Unix для поиска строк, общих в двух файлах

Чтобы легко применить команду comm к несортированным файлам, используйте Bash замену процессов:

$ bash --version
GNU bash, version 3.2.51(1)-release
Copyright (C) 2007 Free Software Foundation, Inc.
$ cat > abc
123
567
132
$ cat > def
132
777
321

Итак, файлы abc и def имеют одну общую линию, одну с "132". Использование comm в несортированных файлах:

$ comm abc def
123
    132
567
132
    777
    321
$ comm -12 abc def # No output! The common line is not found
$

В последней строке не было выхода, общая строка не была обнаружена.

Теперь используйте отсортированные файлы comm, сортируя файлы с заменой процесса:

$ comm <( sort abc ) <( sort def )
123
            132
    321
567
    777
$ comm -12 <( sort abc ) <( sort def )
132

Теперь мы получили строку 132!

Может быть, вы имеете в виду comm?

Сравнение отсортированных файлов FILE1 и FILE2 по строкам.

Без параметров выведите трех столбцов. Колонка 1 содержит строки, уникальные для FILE1, столбец два содержат строки, уникальные для FILE2 и три столбца содержат строки, общие для обоих файлов.

Секрет в поиске этой информации - это информационные страницы. Для программ GNU они гораздо более подробные, чем их man-страницы. Попробуйте info coreutils, и он перечислит вам все полезные полезные утилиты.

Чтобы дополнить однострочный Perl, здесь его эквивалент awk:

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

Это будет читать все строки из file1 в массив arr[], а затем проверить каждую строку в file2, если она уже существует в массиве (т.е. file1). Найденные строки будут напечатаны в том порядке, в котором они отображаются в file2. Обратите внимание, что сравнение in arr использует всю строку из file2 в качестве индекса для массива, поэтому оно будет сообщать только точные совпадения на всех строках.

Пока

grep -v -f 1.txt 2.txt > 3.txt

дает вам разницу в двух файлах (что находится в 2.txt, а не в 1.txt), вы можете легко выполнить

grep -f 1.txt 2.txt > 3.txt

собрать все общие строки, которые должны обеспечить легкое решение вашей проблемы. Если вы отсортировали файлы, вы должны взять comm, тем не менее. Привет!

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

Если эти два файла еще не отсортированы, вы можете использовать:

comm -12 <(sort a.txt) <(sort b.txt)

и он будет работать, избегая сообщения об ошибке comm: file 2 is not in sorted order при выполнении comm -12 a.txt b.txt.

В ограниченной версии Linux (как QNAP (nas), над которым я работал):
- comm не существует
- grep -f file1 file2 может вызвать некоторые проблемы, как сказал @ChristopherSchultz, и использование grep -F -f file1 file2 было очень медленным (более 5 минут - не закончилось - более 2-3 секунд с использованием метода ниже для файлов более 20 МБ)

Итак, вот что я сделал:

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

Если "files.same.sorted" должен быть в том же порядке, что и исходный, чем добавить эту строку для того же порядка, что и файл1:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

или, для того же порядка, чем файл2:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

Просто для справки, если кто-то все еще смотрит, как это сделать для нескольких файлов, см. связанный ответ Поиск совпадающих строк по многим файлам.

Объединив эти два ответа (ans1 и ans2), я думаю, вы можете получить результат, который вы не требуя сортировки файлов:

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

Просто сохраните его, дайте ему права выполнения (chmod +x compareFiles.sh) и запустите его. Он примет все файлы, присутствующие в текущем рабочем каталоге, и сделает сравнение all-vs-all, оставив в файле match_lines результат.

Что нужно улучшить:

• Пропустить каталоги
• Избегайте сравнения всех файлов два раза (file1 vs file2 и file2 vs file1).
• Возможно, добавьте номер строки рядом с соответствующей строкой

rm file3.txt

cat file1.out | while read line1
do
        cat file2.out | while read line2
        do
                if [[ $line1 == $line2 ]]; then
                        echo $line1 >>file3.out
                fi
        done
done

Это должно сделать это.