短期：对社会的冲击
生命的三种阶段，以及AI在“版本升级”中可能扮演的角色
- 1.0版本：简单生物，可以存活和复制
- 2.0版本：文明生物，可以设计自身的软件（人类目前处在这一阶段）
- 3.0版本：科技生物，可以设计自身的硬件（AI可以帮助人类进入这一阶段）
智能 = 实现复杂目标的能力（intelligence = ability to accomplish complex goals）。通过机器复现不同能力的难度不同；有些（更“简单”的）能力人类已经通过计算机基本复现了，而有些（更“困难”的）能力尚未通过计算机复现。其中，“AI设计”是有特殊性的一项能力。虽然设计AI未必是最困难的能力，但却是实现万用智能（universal intelligence）的关键临界点，并有望使人类（或是其他某种形态的生命）进入3.0阶段。
目前的AI发展已经在对社会造成根本变革
- AI正在“直觉”、“创造力”、“战略”、“自然语言”等以往认为机器复现难度极高的能力方面取得快速进展
- 金融、制造、交通运输等行业都会有大量人员被取代，或是出现新的组织形式；进而，即使AGI尚未实现，人类将需要更新自身的法律和劳资体系，以适应AI对社会和经济带来的改变
- 战争（尤其是智能武器和网络战争）的形态也会发生变化
中期：人类的结局
智能的产生不依赖基质（substrate-independent）
- 传统材料就可以实现智能需要的存储能力而不依赖特定基质
- NAND门可以用传统材料制造，而仅用NAND门就可以建造图灵机，因此实现智能需要的计算能力也不依赖特定基质
- 智能需要学习（而非每次都按照一样的方式做预设的动作），而理论上，通过大型神经网络，不依赖特定基质就可学习任何东西
超级智能完全可能统治人类
- 建成人类智能水平的AGI——目前的科技进展表明1并非完全不可能实现；
- 使用该AGI建成超级智能（superintelligence，远超人类能力的智能）——如1实现，则2有合理可能实现；
- 使用（或释放）该超级智能以统治世界——如1、2实现，考虑到人类过去通过优越的智能统治世界，没有理由认为超级智能一定不会按图索骥。
在有超级智能的前提下，解决控制问题至关重要
针对以下6个问题不同的回答，对应了人类不同的结局。其中，如果存在超级智能（问题1），人类的安全（问题4）和幸福（问题5）几乎一定取决于人类如何解决控制问题（control problem, 问题3），除非人类成功创造一个仁慈独裁AI（benelovent dictator），但这一场景取决于人类解决另一个或许更困难的问题：AI对齐问题（AI alignment problem，确保AI的价值观与人类一致）。
- 是否有超级智能
- 是否还存在人类
- 人类是否能够控制该超级智能
- 人类整体是否安全
- 人类整体是否幸福
- 是否还存在任何形式的意识
AI如何帮助人类实现目标（对齐）
假设人类是宇宙中唯一的科技文明，那么人类到了决定宇宙命运的关键节点：是(1) 放弃包括AGI在内的科技进步，放任陨石撞击等长时间尺度下必然发生的事件毁灭宇宙唯一的文明希望；还是(2) 推进科技进步，同时承担AGI带来的新增的风险（即：只有通过AGI等带有潜在风险的科技进步，才能有希望防止人类——乃至宇宙——文明被其他不可控因素摧毁）
解决AI对齐问题的路径
为了让AI能够帮助人类实现自己的目标（AI对齐），要解决三大问题：
- 让机器学习(learn)人类的目标：不止是了解目标是什么，还要知道人类为什么要实现这样的目标；
- 让机器采纳(adopt)人类的目标为自己的目标：在AI获得理解能力之后（not too stupid to understand），并且强大到可能拒绝调整目标之前（not too smart to obey）的短暂窗口中，人类有机会调整机器的目标；或者，在设计AI时加入可更正性（corrigibility，允许人类关机或调整等），从而在实现强人工智能后继续调整其目标；
- 让机器维持(retain)自己的目标：随着AI对世界的认知不断深入，机器可能会发现原先的目标已经不再适用，或是过分无趣而转向新的目标。
但是，人类希望实现的目标非常复杂，而任何较为复杂的目标都会带来子目标（subgoals，例如保护自我、获取资源、好奇心），而这些子目标的生成可能影响机器采纳人类的目标（为了保护自我或获取资源而认定需要消灭人类或防止人类妨碍自身进化等）或维持这样的目标（好奇心促使AI发现更深层次的目标）。目前，这三个问题都没有很好的解决方案。