memoir: considering another ridiculous digression about privacy
authorM. Taylor Saotome-Westlake <[email protected]>
Mon, 19 Sep 2022 05:58:21 +0000 (22:58 -0700)
committerM. Taylor Saotome-Westlake <[email protected]>
Mon, 19 Sep 2022 05:58:21 +0000 (22:58 -0700)
content/drafts/a-hill-of-validity-in-defense-of-meaning.md
notes/a-hill-of-validity-sections.md

index 52a59d3..7ee3ebe 100644 (file)
@@ -204,7 +204,7 @@ Supppose Alice messages Bob at 5 _p.m._, "Can you come to the party?", and also,
 
 I think commonsense privacy-norm-adherence intuitions actually say _No_ here: the text of Alice's messages makes it too easy to guess that sometime between 5 and 6, Bob probably said that he couldn't come to the party because he has gout. It would seem that Alice's right to talk about her own actions in her own life _does_ need to take into account some commonsense judgement whether that leaks "sensitive" information about Bob.
 
-In part of the Dumb Story that follows, I'm going to describe several times when I others emailed Yudkowsky to try to argue with what he said in public, without telling whether Yudkowsky replied, or what he might have said if he did reply. I maintain that I'm within my rights here, because I think commonsense judgement will agree that me talking about the arguments _I_ made, does not in this case leak any sensitive information about the other side of a conversation that may or may not have happened: the story comes off about the same whether Yudkowsky didn't reply at all, or whether he replied in a way that I found sufficiently unsatisfying as to merit the futher emails with followup arguments that I describe. (Talking about later emails _does_ rule out the possible world where Yudkowsky had said, "Please stop contacting me," because I would have respected that, but the fact that he didn't say that isn't "sensitive".)
+In part of the Dumb Story that follows, I'm going to describe several times when I and others emailed Yudkowsky to try to argue with what he said in public, without saying anything about whether Yudkowsky replied, or what he might have said if he did reply. I maintain that I'm within my rights here, because I think commonsense judgement will agree that me talking about the arguments _I_ made, does not in this case leak any sensitive information about the other side of a conversation that may or may not have happened: the story comes off about the same whether Yudkowsky didn't reply at all, or whether he replied in a way that I found sufficiently unsatisfying as to merit the futher emails with followup arguments that I describe. (Talking about later emails _does_ rule out the possible world where Yudkowsky had said, "Please stop contacting me," because I would have respected that, but the fact that he didn't say that isn't "sensitive".)
 
 It seems particularly important to lay out these principles of adherence to privacy norms in connection to my attempts to contact Yudkowsky, because part of what I'm trying to accomplish in telling this Whole Dumb Story is to deal reputational damage to Yudkowsky, which I claim is deserved. (We want reputations to track reality. If you see Carol exhibiting a pattern of intellectual dishonesty, and she keeps doing it even after you try talking to her about it privately, you might want to write a blog post describing the pattern in detail—not to _hurt_ Carol, particularly, but so that everyone else can make higher-quality decisions about whether they should believe the things that Carol says.) Given that motivation of mine, it seems important that I only try to hang Yudkowsky with the rope of what he said in public, where you can click the links and read the context for yourself. In the Dumb Story that follows, I _also_ describe some of my correspondence with Scott Alexander, but that doesn't seem sensitive in the same way, because I'm not particularly trying to deal reputational damage to Scott. (Not because Scott performed well, but because one wouldn't really have _expected_ Scott to perform well in this situation; a public reputation-update isn't called for in the same way.)
 
@@ -588,17 +588,19 @@ I snapped https://www.lesswrong.com/posts/bSmgPNS6MTJsunTzS/maybe-lying-doesn-t-
 Christmas party
 playing on a different chessboard
 people reading funny GPT-2 quotes
-Tsvi said it would be sad if I had to leave the Bay Area
 
-A MIRI researcher 
+A MIRI researcher sympathetically told me that it would be sad if I had to leave the Bay Area, which I thought was nice. There was nothing about the immediate conversational context to suggest that I might have to leave the Bay, but I guess by this point, my existence had become a context.
 
 motivation deflates after Christmas victory
 5 Jan memoir as nuke
 ]
 
-There's another very important part of the story that would fit around here chronologically, but unfortunately, it's not my story to tell.
 
-[TODO: theorizing about on the margin]
+There's another extremely important part of the story that _would_ fit around here chronologically, but I again find myself constrained by privacy norms: everyone's common sense of decency (this time, even including my own) screams that it's not my story to tell.
+
+Here I again need to make a digression about privacy norms. Adherence to norms is fundamentally fraught for the same reason as AI alignment is. That is, in [rich domains](https://arbital.com/p/rich_domain/), explicit constraints on behavior face a lot of adversarial pressure from optimizers bumping up against the constraint. The intent of privacy norms restricting what things you're allowed to say, is to conceal information. But _information_ in Shannon's sense is about what states of the world can be inferred given the states of communication signals; it's much more expansive that what we would colloquially think of as the "content" of a message.
+
+
 
 [TODO: "Autogenderphilia Is Common"]
 
index 5487f8e..81e7871 100644 (file)
@@ -1151,3 +1151,6 @@ https://www.lesswrong.com/posts/cyzXoCv7nagDWCMNS/you-re-calling-who-a-cult-lead
 I'm totally still doing this
 
 > it's that it's hard to get that innocence back, once you even start thinking about whether you're _independent_ of someone
+
+
+If Scott's willing to link to A. Marinos, maybe he'd link to my memoir, too? https://astralcodexten.substack.com/p/open-thread-242