피타고라스는 당시 사원의 보도 블록을 보고 이 정리의 힌트를 얻었다고 한다.
그림을 보자. 하늘색 직각삼각형의 주위를 유심히 보면, 빗변 위에 그려진 정사각형에는 보도 블록 4개가 들어가고
다른 변 위에 그려진 정사각형에는 각각 2개씩 들어간다.
2+2=4 는 너무도 자명하다. 이것은 직각이등변 삼각형의 경우이지만 피타고라스는 이것을 더욱 일반화하여 일반적인 직각삼각형의 경우에까지 적용했으리라는 추측이다.
데오게네스 라에주스와 플루타크는 "이 정리를 발견한 피타고라스는 너무 기뻐서 그 공을 신에게 돌리며 황소 100마리를 잡아 감사의 제물로 바쳤다"라고 전하고 있다. 그러나 이 이야기에 대해서는 여러 가지 반대설도 있으며, 피타고라스는 "영혼은 불멸하고 윤회 이전하는 것"이라고 믿었으므로 피를 흘리는 것을 좋아하지 않았기 때문에 신에게 바친 것도 살아있는 소가 아니고, 밀가루로 만든 소 한 마리였다고 주장하고 있다.