memoir: pt. 5 bullet expansion—xrisk, SJ, Dolphin War
authorM. Taylor Saotome-Westlake <[email protected]>
Mon, 21 Nov 2022 00:02:21 +0000 (16:02 -0800)
committerM. Taylor Saotome-Westlake <[email protected]>
Mon, 21 Nov 2022 00:02:21 +0000 (16:02 -0800)
The diffusion model methodology: notes → bullet points → more detailed
bullet points → prose. This should make it easier to write
prose. Right?

content/drafts/agreeing-with-stalin-in-ways-that-exhibit-generally-rationalist-principles.md
notes/memoir-sections.md

index 31a4832..6235ec4 100644 (file)
@@ -469,7 +469,7 @@ But Eliezer Yudkowsky does not identify as just some guy with a blog. Eliezer Yu
 
 In making such boasts, I think Yudkowsky is opting in to being held to higher standards than other mortals. If Scott Alexander gets something wrong when I was trusting him to be right, that's disappointing, but I'm not the victim of false advertising, because Scott Alexander doesn't _claim_ to be anything more than some guy with a blog. If I trusted him more than that, that's on me.
 
-If Eliezer Yudkowsky gets something wrong when I was trusting him to be right, _and_ refuses to acknowledge corrections _and_ keeps inventing new galaxy-brained ways to be wrong in the service of his political agenda of being seen to agree with Stalin without technically lying, then I think I _am_ the victim of false advertising. His marketing bluster was optimized to trick people like me, even if it's my fault for being _dumb enough to believe him_.
+If Eliezer Yudkowsky gets something wrong when I was trusting him to be right, _and_ refuses to acknowledge corrections _and_ keeps inventing new galaxy-brained ways to be wrong in the service of his political agenda of being seen to agree with Stalin without technically lying, then I think I _am_ the victim of false advertising. His marketing bluster was optimized to trick people like me, even if my being _dumb enough to believe him_ is one me.
 
 Because, I did, actually, trust him. Back in 'aught-nine when _Less Wrong_ was new, we had a thread of hyperbolic ["Eliezer Yudkowsky Facts"](https://www.lesswrong.com/posts/Ndtb22KYBxpBsagpj/eliezer-yudkowsky-facts) (in the style of [Chuck Norris facts](https://en.wikipedia.org/wiki/Chuck_Norris_facts)). And of course, it was a joke, but the hero-worship that make the joke funny was real. (You wouldn't make those jokes for your community college physics teacher, even if he was a decent teacher.)
 
@@ -484,40 +484,66 @@ I notice that this advice leaves out a possibility: that the "seems to believe"
 -------
 
 [TODO section existential stakes, cooperation
- * so far, I've been writing this from the perspective of caring about _rationality_ and wanting there to be a rationality movement, the common interest of many causes
- * Singularity stuff scares me
- * e.g., as recently as 2020 I was daydreaming about working for an embryo selection company as part of the "altruistic" (about optimizing the future, rather than about my own experiences) component of my actions 
- * if you have short timelines, and want to maintain influence over what big state-backed corporations are doing, self-censoring about contradicting the state religion makes sense
- * you could tell a story in which I'm the villain for undermining Team Singularity with my petty temporal concerns
-]
 
-/2020/Aug/memento-mori/#if-we-even-have-enough-time
+ * At least, that's what I would say, if there weren't—potentially mitigating factors—or at least, reasons why being a fraud might be a good idea (since I don't want the definition of "fraud" to change depending on whether the world is at stake)
+
+ * So far, I've been writing from the perspective of caring about human rationality, [the common interest of many causes](https://www.lesswrong.com/posts/4PPE6D635iBcGPGRy/rationality-common-interest-of-many-causes). Wanting the world to make sense, and expecting the "rationalists" specifically to _especially_ make sense.
+
+ * But Yudkowsky wrote the Sequences as a recursive step (/2019/Jul/the-source-of-our-power/) for explaining the need for Friendly AI ("Value Is Fragile"); everything done with an ulterior motive has to be done with a pure heart, but the Singularity has always been his no. 1 priority
+
+ * Fighting for good epistemology is a long battle, and makes more sense if you have _time_ for it to pay off.
+
+ * Back in the 'aughts, it looked like we had time. We had abstract high-level arguments to worry about AI, and it seemed like it was going to happen this century, but it felt like the _second_ half of the 21st century.
+
+ * Now it looks like we have—less time? (The 21st century is one-fifth over!) Yudkowsky flipped out about AlphaGo and AlphaZero, and at the time, a lot of people probably weren't worried (board games are a shallow domain), but now that it's happening for "language" (GPT) and "vision" (DALL-E), a lot of people including me are feeling much more spooked
+
+ * [Include the joke about DALL-E being the most significant news event of that week in January 2021]
+
+ * [As recently as 2020](/2020/Aug/memento-mori/#if-we-even-have-enough-time) I was daydreaming about working for an embryo selection company as part of the "altruistic" (about optimizing the future, rather than about my own experiences) component of my actions—I don't feel like there's time for that anymore
+
+ * If you have short timelines, and want to maintain influence over what big state-backed corporations are doing, self-censoring about contradicting the state religion makes sense. There's no time to win a culture war; we need to grab hold of the Singularity now!!
+
+ * So isn't there a story here where I'm the villain for not falling in line and accepting orders? Aren't I causing damage, losing dignity points for our Earth, by criticizing Yudkowsky so harshly, when actually the rest of the world should listen to him more about the coming robot apocalypse?
 
-> [_Perhaps_, replied the cold logic](https://www.yudkowsky.net/other/fiction/the-sword-of-good). _If the world were at stake._
+]
+
+> [_Perhaps_, replied the cold logic. _If the world were at stake._
 >
-> _Perhaps_, echoed the other part of himself, _but that is not what was actually happening._
+> _Perhaps_, echoed the other part of himself, _but that is not what was actually happening._](https://www.yudkowsky.net/other/fiction/the-sword-of-good)
 
 [TODO: social justice and defying threats
- * There's _no story_ in which misleading people about this is on Yudkowsky's critical path!! I can cooperate with censorship that doesn't actively interfere with my battle, but Yudkowsky was interfering
- * I don't pick fights with Paul Christiano, because Paul Christiano doesn't take a shit on my Something to Protect
+ * There's _no story_ in which misleading people about transgender is on Yudkowsky's critical path for shaping the intelligence explosion. _I'd_ prefer him to have free speech, but if he can't afford to be honest about things he already got right in 2009, he could just—not bring up the topic!
+
+ * I can totally cooperate with censorship that doesn't actively intefere with my battle! I agree that there are plenty of times in life where you need to say "No comment." But if that's the play you want to make, you have to actually _not comment_. "20% of the ones with penises" is no "No comment"! "You're not standing in defense of truth" is not "No comment"! "The simplest and best proposal" is not "No comment"!
+
+ * I don't pick fights with Paul Christiano, because Paul Christiano doesn't take a shit on my Something to Protect, because Paul Christiano isn't trying to be a religious leader. If he has opinions about transgenderism, we don't know about them.
+
+ * The cowardice is particularly puzzling in light of his timeless decision theory, which says to defy extortion.
+
+ * Of course, there's a lot of naive misinterpretations of TDT that don't understand counterfactual dependence. There's a perspective that says, "We don't negotiate with terrorists, but we do appease bears", because the bear's response isn't calculated based on our response. /2019/Dec/political-science-epigrams/
+
+ * You could imagine him mocking me for trying to reason this out, instead of just using honor. "That's right, I'm appealing to your honor, goddamn it!"
+
  * back in 'aught-nine, SingInst had made a point of prosecuting Tyler Emerson, citing decision theory
- * there's a lot of naive misinterpretations of timeless decision theory out there that don't understand the counterfactual dependence thing, but the parsing of social justice as an agentic "threat" to be avoided rather than a rock to be dodged does seem to line up with the fact that people punish heretics more than infidels
+
+ * But the parsing of social justice as an agentic "threat" to be avoided rather than a rock to be dodged does seem to line up with the fact that people punish heretics more than infidels.
+
  * But it matters where you draw the zero point: is being excluded from the coalition a "punishment" to threaten you out of bad behavior, or is being included a "reward" for good behavior?
- * at least Sabbatai Zevi had an excuse: his choices were to convert to Islam or be impaled https://en.wikipedia.org/wiki/Sabbatai_Zevi#Conversion_to_Islam
-]
 
+ * Curtis Yarvin has compared Yudkowsky to Sabbatai Zevi (/2020/Aug/yarvin-on-less-wrong/), and I've got to say the comparison is dead-on. Sabbatai Zevi was facing much harsher coercion: his choices were to convert to Islam or be impaled https://en.wikipedia.org/wiki/Sabbatai_Zevi#Conversion_to_Islam
 
-I like to imagine that they have a saying out of dath ilan: once is happenstance; twice is coincidence; _three times is hostile optimization_.
+]
 
-I could forgive him for taking a shit on d4 of my chessboard (["at least 20% of the ones with penises are actually women"](https://www.facebook.com/yudkowsky/posts/10154078468809228)). I could even forgive him for subsequently taking a shit on e4 of my chessboard (["you're not standing in defense of truth if you insist on a word [...]"](https://twitter.com/ESYudkowsky/status/1067198993485058048)) as long as he wiped most of the shit off afterwards (["you are being the bad guy if you try to shut down that conversation by saying that 'I can define the word "woman" any way I want'"](https://www.facebook.com/yudkowsky/posts/10158853851009228)), even though, really, I would have expected someone so smart to take a hint after the incident on d4.
+I like to imagine that they have a saying out of dath ilan: once is happenstance; twice is coincidence; _three times is hostile optimization_.
 
-But if he's _then_ going to take a shit on c3 of my chessboard (["the simplest and best protocol is, '"He" refers to the set of people who have asked us to use "he"'"](https://www.facebook.com/yudkowsky/posts/10159421750419228)),
+I could forgive him for taking a shit on d4 of my chessboard (["at least 20% of the ones with penises are actually women"](https://www.facebook.com/yudkowsky/posts/10154078468809228)).
 
+I could even forgive him for subsequently taking a shit on e4 of my chessboard (["you're not standing in defense of truth if you insist on a word [...]"](https://twitter.com/ESYudkowsky/status/1067198993485058048)) as long as he wiped most of the shit off afterwards (["you are being the bad guy if you try to shut down that conversation by saying that 'I can define the word "woman" any way I want'"](https://www.facebook.com/yudkowsky/posts/10158853851009228)), even though, really, I would have expected someone so smart to take a hint after the incident on d4.
 
-[TODO cap off chess analogy—
+But if he's _then_ going to take a shit on c3 of my chessboard (["important things [...] would be all the things I've read [...] from human beings who are people—describing reasons someone does not like to be tossed into a Male Bucket or Female Bucket, as it would be assigned by their birth certificate", "the simplest and best protocol is, '"He" refers to the set of people who have asked us to use "he"'"](https://www.facebook.com/yudkowsky/posts/10159421750419228)), the "playing on a different chessboard, no harm intended" excuse loses its credibility. The turd on c3 is a pretty big likelihood ratio! (That is, I'm more likely to observe a turd on c3 in worlds where Yudkowsky _is_ playing my chessboard and wants me to lose, than in world where he's playing on a different chessboard and just _happened_ to take a shit there, by coincidence.)
 
-The turd on c3 is a pretty big likelihood ratio!
-] 
+-----
 
 In June 2021, MIRI Executive Director Nate Soares [wrote a Twitter thread aruging that](https://twitter.com/So8res/status/1401670792409014273) "[t]he definitional gynmastics required to believe that dolphins aren't fish are staggering", which [Yudkowsky retweeted](https://archive.is/Ecsca).[^not-endorsements]
 
@@ -533,48 +559,67 @@ After a little more thought, I decided the thread _was_ overtly objectionable, a
 
 [TODO: dolphin war con'td
 
- * Nate conceded all of my points (https://twitter.com/So8res/status/1402888263593959433), said the thread was in jest ("shitposting"), and said he was open to arguments that he was making a mistake (https://twitter.com/So8res/status/1402889976438611968)
- * 
+ * Nate conceded all of my points (https://twitter.com/So8res/status/1402888263593959433), said the thread was in jest ("shitposting"), and said he was open to arguments that he was making a mistake (https://twitter.com/So8res/status/1402889976438611968), but still seemed to think his shitposting was based
+
+ * I got frustrated and lashed out; "open to arguments that he was making a mistake" felt fake to me; rats are good at paying lip service to humility, but I'd lost faith in getting them to change their behavior, like not sending PageRank to "... Not Man for the Categories"
+
+ * Nate wrote a longer reply on Less Wrong the next morning
+
+ * I pointed out that his followup thread lamented that people hadn't read "A Human's Guide to Words", but that Sequence _specifically_ used the example of dolphins. What changed?!?
+
+ * [Summarize Nate's account of his story], phylogeny not having the courage of its convictions
+
+ * Twitter exchange where he said he wasn't sure I would count his self-report as evidnece, I said it totally counts
 
+ * I overheated. This was an objectively dumb play. (If I had cooled down and just written up my reply, I might have gotten real engagement and a resolution, but I blew it.) I apologized a few days later.
 
+ * Nate's reaction to me blowing up said it looked like I was expecting deference. I deny this; I wouldn't expect people to defer to me—what I did expect was a fair hearing, and at this point, I had lost faith that I would get one. (Could you blame me, when Yudkowsky says a fair hearing is less important than agreeing with Stalin?)
 
+ * My theory of what's going on: I totally believe Nate's self report that he wasn't thinking about gender. (As Nate pointed out, you could give the thread an anti-trans interpretation, too.) Nevertheless, it remains the case that Nate's thinking is causally downstream of Scott's arguments in "... Not Man for the Categories." Where did Scott get it from? I think he pulled it out of his ass because it was politically convenient. 
 
+ * This is like radiocontrast dye for dark side epistemology: we can see Scott sneezing his bad epistemology onto everyone else because he's such a popular writer. No one can think fast enough to think their own thoughts, but you would hope for an intellectual community that can do error-correction, rather than copying smart people's views including mistakes.
 
+ * I look up the relevant phylogenetics definitions, and write "Blood Is Thicker Than Water"
 
 ]
 
 
 [TODO: 
+
  * depressed after talking to him at Independence Day party 2021 (I can mention that, because it was outdoors and probably lots of other people saw us, even if I can't talk about content)
+
  * It wouldn't be so bad if he weren't trying to sell himself as a religious leader, and profiting from the conflation of rationalist-someone-who-cares-about-reasoning, and rationalist-member-of-robot-cult
- * But he does, in fact, seem to actively encourage this conflation (contrast to how the Sequences had a litany against gurus)
- * a specific example that made me very angry in September 2021
- * the fact that David Xu interpreted criticism of the robot cult as me going "full post-rat" suggests that Yudkowsky's framing had spilled onto others
 
-sneering at post-rats; David Xu interprets criticism of Eliezer as me going "full post-rat"?!  6 September 2021
+ * But he does, in fact, seem to actively encourage this conflation (contrast to how the Sequences had a [Litany Against Gurus](https://www.lesswrong.com/posts/t6Fe2PsEwb3HhcBEr/the-litany-against-gurus) these days, with the way he sneers as Earthlings and post-rats
+
+ * "I may as well do it on Earth"
+
+ * a specific example that made me very angry in September 2021—
 
 https://twitter.com/ESYudkowsky/status/1434906470248636419
 > Anyways, Scott, this is just the usual division of labor in our caliphate: we're both always right, but you cater to the crowd that wants to hear it from somebody too modest to admit that, and I cater to the crowd that wants somebody out of that closet.
 
 Okay, I get that it was meant as humorous exaggeration. But I think it still has the effect of discouraging people from criticizing Scott or Eliezer because they're the leaders of the caliphate. I spent three and a half years of my life explaining in exhaustive, exhaustive detail, with math, how Scott was wrong about something, no one serious actually disagrees, and Eliezer is still using his social power to boost Scott's right-about-everything (!!) reputation. That seems really unfair, in a way that isn't dulled by "it was just a joke."
 
-Or as Yudkowsky put it
+Or [as Yudkowsky put it](https://www.facebook.com/yudkowsky/posts/10154981483669228)
 
-https://www.facebook.com/yudkowsky/posts/10154981483669228
 > I know that it's a bad sign to worry about which jokes other people find funny. But you can laugh at jokes about Jews arguing with each other, and laugh at jokes about Jews secretly being in charge of the world, and not laugh at jokes about Jews cheating their customers. Jokes do reveal conceptual links and some conceptual links are more problematic than others.
 
 It's totally understandable to not want to get involved in a political scuffle because xrisk reduction is astronomically more important! But I don't see any plausible case that metaphorically sucking Scott's dick in public reduces xrisk. It would be so easy to just not engage in this kind of cartel behavior!
 
 An analogy: racist jokes are also just jokes. Alice says, "What's the difference between a black dad and a boomerang? A boomerang comes back." Bob says, "That's super racist! Tons of African-American fathers are devoted parents!!" Alice says, "Chill out, it was just a joke." In a way, Alice is right. It was just a joke; no sane person could think that Alice was literally claiming that all black men are deadbeat dads. But, the joke only makes sense in the first place in context of a culture where the black-father-abandonment stereotype is operative. If you thought the stereotype was false, or if you were worried about it being a self-fulfilling prophecy, you would find it tempting to be a humorless scold and get angry at the joke-teller.
 
-Similarly, the "Caliphate" humor only makes sense in the first place in the context of a celebrity culture where deferring to Scott and Eliezer is expected behavior. (In a way that deferring to Julia Galef or John S. Wentworth is not expected behavior, even if Galef and Wentworth also have a track record as good thinkers.) I think this culture is bad. _Nullius in verba_.
+Similarly, the "Caliphate" humor _only makes sense in the first place_ in the context of a celebrity culture where deferring to Yudkowsky and Alexander is expected behavior. (In a way that deferring to Julia Galef or John S. Wentworth is not expected behavior, even if Galef and Wentworth also have a track record as good thinkers.) I think this culture is bad. _Nullius in verba_.
+
+ * the fact that David Xu interpreted criticism of the robot cult as me going "full post-rat" suggests that Yudkowsky's framing had spilled onto others. (The framing is optimized to delegitimize dissent. Motte: someone who's critical of central rationalists; bailey: someone who's moved beyond reason.)
+
+sneering at post-rats; David Xu interprets criticism of Eliezer as me going "full post-rat"?!  6 September 2021
 
 > Also: speaking as someone who's read and enjoyed your LW content, I do hope this isn't a sign that you're going full post-rat. It was bad enough when QC did it (though to his credit QC still has pretty decent Twitter takes, unlike most post-rats).
 
 https://twitter.com/davidxu90/status/1435106339550740482 
 ]
 
-
 David Xu writes (with Yudkowsky ["endors[ing] everything [Xu] just said"](https://twitter.com/ESYudkowsky/status/1436025983522381827)):
 
 > I'm curious what might count for you as a crux about this; candidate cruxes I could imagine include: whether some categories facilitate inferences that _do_, on the whole, cause more harm than benefit, and if so, whether it is "rational" to rule that such inferences should be avoided when possible, and if so, whether the best way to disallow a large set of potential inferences is [to] proscribe the use of the categories that facilitate them—and if _not_, whether proscribing the use of a category in _public communication_ constitutes "proscribing" it more generally, in a way that interferes with one's ability to perform "rational" thinking in the privacy of one's own mind.
@@ -698,7 +743,7 @@ Again, that's the administrator of Yudkowsky's _own website_ saying that he's de
 
  * I've believed since Kurzweil that technology will remake the world sometime in the 21th century; it's just "the machines won't replace us, because we'll be them" doesn't seem credible
 
- * I agree that it would be nice if Earth had a plan
+ * I agree that it would be nice if Earth had a plan; it would be nice if people figured out the stuff Yudkowsky did earlier; Asimov wrote about robots and psychohistory, but he still portrayed a future galaxy populated by humans, which seems so silly now
 
 /2017/Jan/from-what-ive-tasted-of-desire/
 ]
index 765dfaa..beb5f30 100644 (file)
@@ -18,6 +18,12 @@ With internet available—
 ✓ Ray and D. Xu's comments on "The Incentives"
 ✓ comments on "Self-Consciousness wants to make"
 ✓ tussle with Ruby on "Causal vs. Social Reality"
+_ No such thing as a tree
+_ Tweet about it being wise to say "no comment"
+_ my Tweet about not buying the vibe shift for AlphaGo, but buying it for GPT
+_ Yudkowsky on AlphaGo
+_ quote about "it's possible that someone is finishing up their project right now"
+_ quote about "humanity's attachment to Truth" in "Your Rationality Is My Business"
 _ The End (of Sequences)
 _ quote other Eliezer Yudkowsky facts
 _ Charles Krauthammer, "Be Afraid", weeklystandard.com/be-afraid/article/9802
@@ -751,11 +757,10 @@ https://www.lesswrong.com/posts/wustx45CPL5rZenuo/no-safe-defense-not-even-scien
 https://www.lesswrong.com/posts/t6Fe2PsEwb3HhcBEr/the-litany-against-gurus
 
 
+
 If you listen to the sorts of things the guy says lately, it looks like he's just completely given up on the idea that public speech could possibly be useful, or that anyone besides he and his flunkies is capable of thought. For example:
 
-> [Though yes, I do worry](https://twitter.com/ESYudkowsky/status/1509944234136129536) that other mortals would be more vulnerable to someone coming up and talking loudly about LDT.  I attach my usual cautions about everything supposed to be just formalizing common sense and not depart from common sense except in the hands of a master, but...
->
-> [...too many people think](https://twitter.com/ESYudkowsky/status/1509944888376188929) it's unvirtuous to shut up and listen to me, and they might fall for it.  I'd wish that I'd never spoken on the topic, and just told them to vote in elections for reasons they'd understand when they're older.  That said, enjoy your $1 in Ultimatum games.
+> [Though yes, I do worry](https://twitter.com/ESYudkowsky/status/1509944234136129536) that other mortals would be more vulnerable to someone coming up and talking loudly about LDT. I attach my usual cautions about everything supposed to be just formalizing common sense and not depart from common sense except in the hands of a master, but [too many people think](https://twitter.com/ESYudkowsky/status/1509944888376188929) it's unvirtuous to shut up and listen to me, and they might fall for it. I'd wish that I'd never spoken on the topic, and just told them to vote in elections for reasons they'd understand when they're older.  That said, enjoy your $1 in Ultimatum games.
 
 Notwithstanding that there are reasons for him to be traumatized over how some people have misinterpreted timeless decision theory—what a _profoundly_ anti-intellectual statement! I claim that this is just not something you would ever say if you cared about having a rationality community that could process arguments and correct errors, rather than a robot cult to suck you off.
 
@@ -1713,4 +1718,8 @@ https://www.facebook.com/yudkowsky/posts/pfbid02ZoAPjap94KgiDg4CNi1GhhhZeQs3TeTc
 
 ----
 
-Someone else's Dumb Story that you can read about on someone else's blog
\ No newline at end of file
+Someone else's Dumb Story that you can read about on someone else's blog
+
+all he does these days is sneer about Earth people, but he _is_ from Earth—carrying on the memetic legacy of Richard Feynmann and Douglas Hofstadter and Greg Egan
+
+"Robust Cooperation in the Prisoner's Dilemma" https://arxiv.org/abs/1401.5577
\ No newline at end of file