pthread_sigmask() は、正常終了時に 0 を返します。それ以外の戻り値は、エラーが発生したことを示します。以下の条件が検出されると pthread_sigmask() は失敗し、次の値が戻されます。
EINVAL
how の値が定義されておらず、old が NULL です。