情報とエントロピーという内容についてここでは論ずる。エントロピーはもともと熱力学で用いられる概念であるが、その物理的取扱を、”情報”に適用したら有益である、ということである。情報を物理的に取り扱おうとすると、情報という抽象的な概念を数量化する必要がある。それには、ある事象の情報から、われわれの期待している結論がどのくらい引き出せるかという、確率をもって表現される。不確定さの大きい系から掴んだ情報は、不確定さの小さい事象から得たものよりありがたいことになる。