リーンシックスシグマでは、測定システム分析（MSA: Measurement System Analysis）の一環として、オペレータ（人）を含めた測定システムの再現性や反復性を調べることがあります（Gage R&R)。この測定システム分析は、連続数値を扱う方法と、離散数を扱う方法の、二つに分類されますが、主に前者の連続数を扱う測定システム分析が用いられ、抵抗値や電圧、サイズの測定などに使われています。
離散数を扱う測定システム分析は、属性一致分析（Attribute Agreement Analysis）とも呼ばれ、主に合格／不合格の判定がオペレータ（人）によってどれほど差があるのかを調べる場合に用いられます。この属性一致分析は、思いのほか応用範囲が広いので、試しに使ってみることにしました。
【動機】
日頃、グループで意思決定をすることが多いことと思います。例えば僕の周りでもミーティングでプロジェクトのスケジュールを決めたり、コストを見積もったりしています。またソフトウェアの開発現場では、スクラム・バックログのサイズを、グループ内の話し合いで決めたりしています。リーンシックスシグマでは、FMEA（故障モードとその影響の解析）において、危険優先指数（RPN: Risk Priority Number）をミーティングで決定することがあります。それらに共通するのは、すべて離散値であり、またグループでの意思決定であり、その意思決定がビジネスに大きな影響を及ぼしている、ということです。
問題なのは、グループ員それぞれの意思決定が、どれほど再現性や反復性があり、首尾一貫しているのか、ということです。これは属性一致分析（Attribute Agreement Analysis）を行うことで見えてくるはずです。もし意思決定に一貫性がないとすれば、どこかに問題があり、それがビジネスに悪影響が出る前に対応しなくてはなりません。
【準備】
FMEA の危険優先指数（RPN: Risk Priority Number）を決める項目の一つである、影響の厳しさ（Severity）を使って、属性一致分析（Attribute Agreement Analysis）を行うことにしました。そこでまず、ミーティングで FMEA のそれぞれの項目について議論し、理解を深めました。また影響の厳しさ（Severity）の尺度についても確認しました。そして Mititab を使い、 FMEA 全項目の順序をランダム化した表を、グループ員それぞれのために作成しました。
【実施】
グループ員それぞれに 前述の FMEA 全項目を表にしたものを配り、全ての項目について、影響の厳しさ（Severity）を評価してもらいました。1日一回、合計3回行いました。
【分析】
3回の個人評価の後にグループ・ミーティングを行い、グループで影響の厳しさ（Severity）を評価しました。このグループでの評価値は、後の Minitab での分析で、スタンダード値として使いました。
【問題】
グループ員それぞれの評価値と、スタンダード値（グループでの評価値）を Minitab に写し、属性一致分析（Attribute Agreement Analysis）を行いました。そこで見えたものは、明らかに意思決定が、個人内でも、またスタンダード値と比較しても、一貫性に欠けているということでした。一貫性はせいぜい 60% 程しかなく、また Kappa 係数が 0.6 を切るものもありました。
一貫性が欠如した背景として、(1)各評価項目の理解が足りなかったこと、(2)評価方法の理解が足りなかったこと、(3)それぞれの項目の理解がグループ員で一貫していなかったこと、等が挙げられました。(1)と(3)については、FMEA を実施する際のミーティング不足と議論不足から来ており、また(2)については FM...
