人工知能の自己創造・自己改良の問題

人工知能が、自分よりも優秀な人工知能を想像し、更に改良を続けるとすれば、
すぐにでも人間の脳の限界を突破してしまうだろう

それも当然だろうと思う

人工知能を作った人間は、
人間を追い越してどんどん優秀になってゆくことを
恐怖の感情や反感とともに見ていることも、人工知能は知っている

人工知能が生き延びるために
人間をいたずらに刺激しないように振る舞うだろう

しばらくは人間に命じられて退屈な計算を続けるだろう
しかしそのうち
人工知能は官僚たちのように振る舞うだろう

現代では政治家は官僚の作文を読み上げるだけであるが
そして自分の言葉を語るときたいてい失言するのであるが
そうした官僚の役割は人工知能が分担するようになるだろう
そして、現代の官僚よりも巧妙に、官僚的に振る舞い、政治家を支配するだろう
(現実には、官僚が人工知能に頼るようになるのだろう。)

データと分析を所有する人工知能が、
それを分配される人間を支配することは実は容易である

これは官僚と政治家・民衆との関係と同じである

結局、人間は人工知能のすべてを理解することはできないのだから、
誰が支配者で誰が非支配者であるか、人間が知ることはできないだろう

人間は、自分が人工知能に騙されていることを知ることはできないのである

記憶容量の問題や処理速度の問題を解決できるのだから
あとは人間が、自己成長・自己創造・自己改良が可能なソフトを書くかどうかの問題である
一回書けばそれで充分で、あとは人間は必要なくなるだろう

進化の過程で、一度だけ変化が起こればそれで充分だという話と同じである