“Великий из бродячих псов” Вращается вокруг группы детективов со сверхъестественными способностями, с особым вниманием к молодому человеку по имени Ацуши Накаджима.
Сюжет аниме начинается с того, что Ацуши растёт в, казалось бы, нормальном детском доме. Однако, когда мистический тигр, о котором знает только Ацуши, начинает изводить детский дом, его выгоняют из-за подозрения, что он несет ответственность за странные события в приюте. Без еды и некуда идти Ацуши находится на грани смерти, когда очередной странный инцидент переворачивает его жизнь с ног на голову.

На берегу реки, Ацуши спасает человека по имени Осаму Дазай от утопления, и это меняет его жизнь. Спасая Осаму, Ацуши узнает, что Осаму – это сверхъестественный детектив, который расследовал дело о мистическом тигре – тот самый, которого Ацуши выгнали из его приюта. Стремясь помочь, Ацуши присоединяется к расследованию тигра Осаму, и с помощью партнёра Осаму, Доппо Куникида, трио удается раскрыть тайну.
Тем не менее, это приводит в движение ещё одну серию событий, в результате которых Ацуши присоединяется к сверхъестественному детективному агентству Осаму, которое называется Агентством вооруженных детективов. Сюжет следует за приключениями и несчастьями Ацуши и Ко. поскольку они пытаются решить необычные случаи, которые слишком странны для полиции. Позже, шоу также следует напряжённости между американской сверхъестественной организацией под названием «Гильдия», Вооруженным детективным агентством, и их вечными конкурентами, Порт-мафией, когда три организации борются за превосходство.