publish "From What I've Tasted of Desire"
authorM. Taylor Saotome-Westlake <[email protected]>
Wed, 25 Jan 2017 07:27:06 +0000 (23:27 -0800)
committerM. Taylor Saotome-Westlake <[email protected]>
Wed, 25 Jan 2017 07:27:06 +0000 (23:27 -0800)
content/2017/from-what-ive-tasted-of-desire.md [moved from content/drafts/from-what-ive-tasted-of-desire.md with 82% similarity]

@@ -1,7 +1,11 @@
 Title: From What I've Tasted of Desire
-Date: 2020-01-01 
+Date: 2017-01-24 22:48
 Category: commentary
-Status: draft
+
+> Oh, we have to get this right  
+> Yes, we have to make them see  
+>
+> —["Ballad of the Crystal Empire"](https://www.youtube.com/watch?v=kESi3hksPg0), _My Little Pony: Friendship Is Magic_
 
 _(Epistemic status: far more plausible than it has any right to be.)_
 
@@ -15,9 +19,9 @@ So as AIs get more and more general, more like agents capable of autonomously so
 
 But humans are [a mess of conflicting desires](http://lesswrong.com/lw/l3/thou_art_godshatter/) inherited from our evolutionary and sociocultural history; we don't _have_ a utility function written down anywhere that we can just put in the AI. So if the systems that ultimately run the world end up with a utility function that's _not_ in the incredibly specific class of those we would have wanted if we knew how to translate everything humans want or would-want into a utility function, then the machines disassemble us for spare atoms and tile the universe with _something else_. There's no _reason_ for them to protect human life or forms of life that we would find valuable unless we specifically _code that in_.
 
-This looks like a hard problem. This looks like a _really_ hard problem with _unimaginably_ high stakes: once the handoff of control of our civilization from humans to machines happens, we don't get a second chance to do it over. The ultimate fate of the human species rests on the epistemic competence of the AI research community: the strength and discipline to _cut through to the correct answer_ and bet the world on it, rather than clinging to one's pet hypothesis to the end, leaving science to advance funeral by funeral.
+This looks like a hard problem. This looks like a _really_ hard problem with _unimaginably_ high stakes: once the handoff of control of our civilization from humans to machines happens, we don't get a second chance to do it over. The ultimate fate of the human species rests on the competence of the AI research community: the inferential power and discipline to _cut through to the correct answer_ and _bet the world on it_, rather than clinging to one's favorite pet hypothesis and leaving science to advance funeral by funeral.
 
-Stereotypically at least, computer programming is _the_ quintessential profession of autogynephilic trans women, although it's unclear how much of this is inherent to the work (a correlation between autogynephilia and general nerdiness) and how much is just a selection effect (well-to-do programmers with non-customer-facing jobs in Silicon Valley can afford to take the "publicly decide that this is my True Gender Identity" trajectory, whereas businessmen, lawyers, and poor people are trapped in the "secret, shameful crossdressing/dreaming" trajectory). 
+Stereotypically at least, computer programming is _the_ quintessential profession of autogynephilic trans women, although it's unclear how much of this is inherent to the work (a correlation between erotic target location erroneousness and general nerdiness) and how much is just a selection effect (well-to-do programmers with non-customer-facing jobs in Silicon Valley can afford to take the "publicly decide that this is my True Gender Identity" trajectory, whereas businessmen, lawyers, and poor people are trapped in the "secret, shameful crossdressing/dreaming" trajectory). 
 
 Thus, the bad [epistemic hygiene](http://lesswrong.com/lw/u/the_ethic_of_handwashing_and_community_epistemic/) habits of the trans community that are required to maintain the socially-acceptable alibi that transitioning is about expressing some innate "gender identity", are necessarily spread to the computer science community, as an [intransigent minority](https://medium.com/incerto/the-most-intolerant-wins-the-dictatorship-of-the-small-minority-3f1f83ce4e15) of trans activist-types successfully enforce social norms mandating that everyone must _pretend not to notice_ that trans women are eccentric men. With social reality placing such tight constraints on perception of actual reality, our chances of developing the advanced epistemology needed to rise to the occasion of solving the alignment problem seem slim at best.