あらかじめ衝突判定を無視したいGameObjectにLayerを設定しておきます。

// LayerIDを取得
int layer1 = LayerMask.NameToLayer("hoge");
int layer2 = LayerMask.NameToLayer("hogehoge");
 
// 衝突判定を無視するLayerの設定
Physics.IgnoreLayerCollision( layer1, layer2 );

これでhogeとhogehogeとの当たり判定が無視されます。

オーバーロード関数が用意されているので、第三引数にfalseを設定すれば良いです。

Physics.IgnoreLayerCollision( layer1, layer2, false );