audio-technica AT-HRD5 デジタルトランスポート  

システム構成を念の為。

現在は、
Androidナビ→（アナログ）→マツコネAUX→マツコネ→（アナログ）→DSP→（アナログ）→BOSEアンプ→（アナログ）→スピーカー
DSP専用カプラーでDSPとマツコネとBOSEに割り込ませておられると思料いたします。

ここに、AT-HRD5を使うのが、今回のお題。
AUXの2又を使い場合は、

Androidナビ→（アナログ）　　→ AUX2又①→③へ
スマホ→（デジタル）→AT-HRD5→（アナログ）→AUX2又②→③へ

③AUX①、②→マツコネ→（アナログ）→DSP→（アナログ）→BOSEアンプ→（アナログ）→スピーカー

となります。
Androidナビだけの接続回路は、現在の接続回路と変わりませんので、今Androidナビは、今と同じ音質です。

〉あとDSPにRCAの入力がありますが、これはat-hr5に繋げる事はできますでしょうか？

AT-HRD5とDSPのRCA接続はできると思います。
DSPには、①マツコネからの入力（現在割り込ませてるカプラー）、② AT-HRD5からの入力と2系統を接続した形になります。
これをDSP側のセッティングで切り替えて使うことになると思われます。マツコネ（Androidナビ）聞く時と、スマホ（AT-HRD5）を聞く時と、DSPの入力をいちいち切り替えるのかなと。
DSPの設定で①②を合算することもできますが、多分、①②の音が半分になっちゃうのかなと。
おすすめしません。

AT-HRD5の出力をDSPのRCA入力に直結すると、マツコネを経由しないので、こっちの方がいい音するはずです。
しかし、Androidナビの音楽は、何も変わりません上に、いちいち切り替える手間を考えると、マツコネ2又の方が実用的です。
マツコネからBOSEへの出力は、割とフラットに鳴ると思います。私のマツコネはフラットです。

Androidナビで聞かれることが多いとなると、Androidナビをなんとかしないといけないですね。
もしかして、Androidナビがデジタル出力できるといいのですが、どうなんでしょう？
Androidナビの出力がアナログである以上、今とは変わらないと思います。

強引に、アナログ出力をデジタルに変える、ADコンバーターを使って Androidナビの音声をデジタルとする。
Androidナビ→（アナログ）→DAコンバーター→（デジタル）→AT-HRD5→DSP
という手はあります。
DAコンバーターとAT-HRD5の相性のようなものがあって、うまく接続出来なかったりといろいろあると思いますが、カーオーディオは沼ですから、いろいろ試すと、それはそれで楽しいですね。
お金かかっちゃいますが。