- 問題提起：目的関数を与え，それを最大・最小化する知能研究の標準モデルでは「私たちが欲しいものではない」
- 提案：人間の目的を最大化する機械こそ有益．三つの原則を提案
- 機械の唯一の目的は，人間の選好の実現を最大化すること
- 目的は設計者によって与えられるものではない．設計者は，「最大化すること」を保証すべし
- 初期状態の機械は，人間の選好について不確実
- 謙虚さを与える．
- 人間の選好に関する究極の情報源は，人間の振舞い
- 真の選好を知ることはできないが，人間の選択と選好に関連はあるはず
- 機械の唯一の目的は，人間の選好の実現を最大化すること
- 感想
- まんまCIRL．しかし，それにとどまらず，機械学習の前提をひっくり返すべきだ，と主張
- 「知能を再現する」学術的立場というより，工学的に有益なものを作る立場
- その立場から，「人間の選好」と「選好についての不確実性」を扱うべきだという主張（目的関数自体が不確実）
- 公平性などの，功利主義へも言及．
- 複数にした場合，人ごとの選好比較，その重みづけが問題だし，分かったところで，どう扱うのが妥当か？
- 技術的問題というより，社会・文化的問題ではある
- MAIRLの重要性
- 利他主義なのか？利己主義なのか？
- 他人からの影響，他人への影響，を有用な形で扱えるか？
- 技術的課題：何となく分かっていたことに具体的言及と，その説得がまとまってる．凄い
- 不確実性：選好自体，問題が難しいすぎることによる打ち切り，環境
- 選択＝選好とは限らない
- 時間によって更新（不確実性が減って選好が変わる），変更（何らかの作用で突然変わる）
- 相互に作用するため，Robbyの動作がHの選好に影響．では，どう影響を与えるのが正しいか？
- 技術的課題
- ダブルミーニングであることを認識すること
- ダブルの不確実性を減らすための行動を生成できること
- 「使用者」へ権限を「渡す」には何を提示して，選択させればよいのか？
- まんまCIRL．しかし，それにとどまらず，機械学習の前提をひっくり返すべきだ，と主張
