非常に大きいファイルを比較する場合は、diff の代わりに bdiff コマンドを使います。bdiff の使い方と出力内容は、diff と同じです。
$ bdiff leftfile rightfile
3500 行以上のファイルでは、diff ではなく bdiff を使ってください。