2つの製品規格値に差がある、という判断方法

これはSQC(統計的品質管理)の典型的な検定問題です。
　https://www.monodukuri.com/gihou/article/612

両製品の分散は同じ正規分布としていますが、それらのデータ数は有限ですから、ここでは母分散未知のt検定とします。

帰無仮説は：製品Aと製品Bの特性には差がない
対立仮説は：製品Aの特性は製品Bのそれよりも高い

統計量を求めて帰無仮説が棄却されるかどうかを判定しますが、たとえ棄却された場合でも、対立仮説が必ず成り立つわけではありません。
両製品の特性が統計量である限り、サンプルを取り直せば完全な同一にはなりませんから、ｐ値が0(サンプル数無限大)でない限り、製品Bの特性がAよりも高くなる確率が必ず残ります。

「検査の要否判断」が目的であれば、製品Bとの比較というよりは、むしろ検査のコストと、不良品流出で生じるコストの比較が合理的であり、まぐさんがもうひとつ質問している問題と同じく損失関数で判断することになります。

たとえ不良品が流出しても、それによって生じる社会損失が検査コストより少なかったら許してもらおう(その分価格が安いですよ)という論理です。
どうしても顧客が不良ゼロを求めるのであれば、全数検査するのは構わないですが、その分の費用は価格に反映することになります。それでもご存知のように、流出不良は減るもののゼロになりません。

別の回答と重複しますが、飛行機、原発、医療機器など人命にかかわる製品や、ロケットなど問題発生の損失が超高額の構成部品は、最適不良率が極めて低くなります。

事業活動はすべて経済的に判断されるべきものです。
ただし利用時に社会損失が発生しないとしても、不良があまりに多いとユーザーの信頼が下がって他の関連製品まで売れなくなったり、発注元から契約打ち切りになるリスクもあり、これらも忘れずに計算に組み込む必要がありますが、これらの金額換算はなかなか簡単ではありません。

まぐさん、こんにちは。難しい問題ですね。
平均値の差の検定で、ｐ値はデータ数に依存します。勿論二つの分布がどのくらい離れているかでも異なります。
二つの分布が完全に重ならないというのは、正規分布を仮定する場合あり得ないですよね。それなら６シグマ以上離れているかを調べたらどうでしょう。平均値が６シグマ離れれば、重なりは０．３％くらいになると思います。医療の世界では一般に判別の閾値を２Ｄ（標準偏差の２倍）として検定条件を設定します。これは危険率５％とほぼ同じです。
参考文献はこちら：https://www.jstage.jst.go.jp/article/jjb/29/Special_Issue_1/29_Special_Issue_1_S99/_pdf
回答になっているかどうかわかりません。

最終的な目的が「製品Aの検査を省略できるか判断したい」であることから、おそらく製品Bは現在検査していないのだろうと推察しました。
製品Bが検査しているのであれば、それより特性が良いからといって検査を省略するわけにいかないからです。
だとすれば製品Aが統計的に製品Bより優れていることを示せば十分であり、平均値の検定問題になります。

ただし100万データの検定で差があるとなっても、生産現場は材料、環境、作業などが変化しますから、将来的にその結果が継続される保証はありません。
無検査で不良品が通過した場合の損害額と対応を頭に描いておくようにし、致命的な事態が予想される場合は検査した方が良い場合もあるでしょう。
これは現在検査していないかもしれない製品Bでも同様です。

また深澤さんが書いている通り、危険率0％の統計量はありません。0.1％にするためにも相当数のデータが必要ですから、実際には検査しながら危険率が十分下がるためのデータを集めることになりそうです。