以下のスクリプトをAddComponentしてください。

using System;
using UnityEngine;
using UnityEngine.UI;
using UnityEngine.EventSystems;
 
public class IgnoreRaycast : MonoBehaviour, ICanvasRaycastFilter
{
	public bool IsRaycastLocationValid (Vector2 sp, Camera eventCamera)
	{
		return false;
	}
}

IsRaycastLocationValid でfalseを返せばUIの当たり判定を無視できます。 つまり、