목차로
9장

권력의 n² 집중과 알고리즘 거버넌스

경제적 불평등은 정치적 불평등으로 이어진다. n² 시대의 권력 집중은 과거와 질적으로 다르다.

경제적 불평등은 정치적 불평등으로 이어진다. n² 시대의 권력 집중은 과거와 질적으로 다르다.

산업 시대의 권력자들, 록펠러나 카네기 같은 이들은 막강한 부를 가졌고 정치적 영향력도 행사했다. 그들의 권력은 주로 경제적이었다. 석유, 철강, 철도를 통제했다. 시장 가격을 좌우하고, 경쟁자를 배제하고, 정치인들에게 로비할 수 있었다. 하지만 그들이 통제하지 못한 것이 있었다. 사람들이 무엇을 생각하고, 무엇을 믿고, 어떻게 행동하는지를 직접 조작할 수는 없었다. 권력의 범위에 한계가 있었다.

플랫폼 권력은 다르다. 행동의 인프라 자체를 통제한다. 당신이 아침에 일어나 스마트폰을 보는 순간부터, 무엇을 보게 될지, 누구의 메시지를 먼저 받을지, 어떤 뉴스가 피드 상단에 뜰지가 알고리즘에 의해 결정된다. 페이스북의 뉴스피드는 30억 명의 정보 환경을 실시간으로 재구성한다. 구글 검색은 "진실"의 사실상 중재자가 되었다. 첫 페이지에 뜨지 않으면 존재하지 않는 것과 같다. 틱톡의 추천 시스템은 젊은 세대의 주의를 장악하고, 무엇이 재미있고 중요한지를 정의한다. 이것은 경제적 권력을 넘어선다. 인지적 권력, 사회적 권력, 심지어 존재론적 권력이다.

Shoshana Zuboff는 이를 "감시 자본주의"로 개념화했다. 핵심은 단순히 광고를 보여주는 것이 아니라, 행동을 예측하고 수정하는 것이다. 당신의 클릭, 스크롤 속도, 머문 시간, 표정 변화까지 데이터로 수집된다. 이 데이터는 당신이 다음에 무엇을 할지 예측하는 모델을 훈련시킨다. 그 예측은 확률로 상품화되어 광고주에게 판매된다. 더 나아가, 그 예측을 확실하게 만들기 위해 당신의 환경을 조작한다. 당신이 어떤 콘텐츠를 보고, 어떤 선택지를 제시받는지를 설계한다. 당신은 자유롭게 선택한다고 느끼지만, 선택의 건축학은 이미 설계되어 있다.

더 문제적인 것은 이 권력의 투명성 부재다. Frank Pasquale이 "블랙박스 사회"에서 지적했듯, 알고리즘 권력은 보이지 않는다. 당신이 어떤 게시물을 보게 되는지, 왜 그것을 보게 되는지 알 수 없다. 플랫폼은 "개인화된 경험"이라고 말하지만, 그 개인화의 로직은 블랙박스다. 심지어 그것을 만든 엔지니어들조차 딥러닝 모델이 왜 특정 결정을 내렸는지 완전히 설명할 수 없다. 전통적 권력은 적어도 가시적이었다. 왕은 왕관을 쓰고, 독재자는 군대를 동원하고, 자본가는 공장을 소유했다. 알고리즘 권력은 코드 뒤에 숨어 있다.

Lawrence Lessig이 20년 전 통찰했듯, "코드가 법이다." 법률이 사회를 규제하듯, 코드가 디지털 공간을 규제한다. 하지만 입법자는 선출되고 법은 공개되는 반면, 코드 작성자는 사기업 직원이고 알고리즘은 영업비밀이다. 알고리즘이 무엇이 보이고 보이지 않는지, 누가 누구와 연결되고 격리되는지를 결정한다. Cathy O'Neil이 분석했듯, 이 알고리즘들은 종종 불평등을 고착화한다. 대출 신용평가 알고리즘은 과거의 차별 데이터로 학습하여 소수자에게 불리한 결정을 내린다. 채용 알고리즘은 역사적으로 남성 중심이었던 직군에서 여성을 배제한다. 보석 결정 알고리즘은 가난한 동네 출신이라는 이유로 재범 위험을 높게 평가한다. 과거의 불의가 수학 공식으로 인코딩되어 미래로 투사된다.

이 권력은 국경마저 초월한다. 민족국가는 영토를 기반으로 주권을 행사했다. 당신이 어느 땅에 있는가가 어느 법의 지배를 받는가를 결정했다. 플랫폼은 다르다. 틱톡은 중국 기업이지만 미국 청소년의 60%가 사용한다. 페이스북은 미국 기업이지만 인도에 가장 많은 사용자를 보유한다. 이들 플랫폼은 어느 한 국가의 통제를 온전히 받지 않는다. 미국 정부는 틱톡을 규제하려 하지만, 수억 명의 미국인이 매일 사용한다. 유럽연합은 GDPR로 데이터 보호를 강화하지만, 플랫폼들은 여전히 거대한 영향력을 행사한다. 이들은 사실상 초국가적 권력이다. Parag Khanna가 주장했듯, 21세기 권력은 영토가 아니라 연결망에 있다. 플랫폼은 네트워크를 소유하고, 네트워크는 권력이다.

역사를 돌이켜보면, 새로운 권력 형태가 등장할 때마다 그것을 견제하는 메커니즘도 진화했다. 절대군주제에 대항해 몽테스키외는 삼권분립을 제안했다. 입법, 행정, 사법이 서로를 견제한다. 독점 자본에 대항해 노동조합이 결성되고, 반독점법이 제정되고, 규제 기관이 만들어졌다. 20세기 초 스탠다드 오일은 분할되었고, AT&T는 해체되었다. 시장 권력을 정치적으로 제한하는 메커니즘이 작동했다.

플랫폼 권력에 대한 효과적인 견제 메커니즘은 아직 등장하지 않았다. 전통적 반독점법은 작동하지 않는다. 페이스북이 무료 서비스를 제공하는데 어떻게 소비자 피해를 입증할 것인가? 구글이 최상의 검색 결과를 제공하는데 어떻게 독점 남용을 주장할 것인가? 20세기 반독점법은 가격, 생산량, 시장 점유율로 독점을 판단했다. 디지털 플랫폼은 무료이고, 무한 공급이고, 시장 정의조차 모호하다. 법적 도구가 무뎌졌다.

더 근본적인 문제는 이 권력이 n² 구조에 내재되어 있다는 점이다. 네트워크 효과가 있는 한, 집중은 불가피하다. 당신이 페이스북을 강제로 분할한다고 상상해보자. 페이스북 A와 페이스북 B로 나눈다. 무슨 일이 벌어질까? 초기에는 양쪽에 사용자가 분산될 것이다. 하지만 곧 사용자들은 친구가 더 많은 쪽으로 이동한다. 친구가 많은 플랫폼이 더 가치 있기 때문이다. 이동이 시작되면 가속화된다. n² 논리가 다시 작동한다. 결국 하나의 플랫폼이 재지배하게 된다. 이것은 페이스북의 문제가 아니라 네트워크 경제의 구조적 속성이다. 특정 기업을 처벌한다고 해결되지 않는다. 구조 자체가 집중을 만들어낸다.

Kate Crawford가 지적했듯, AI는 단순한 기술이 아니라 권력의 체계다. AI는 방대한 데이터, 막대한 컴퓨팅 파워, 희소한 인적 자본을 요구한다. 이 자원들은 소수에게 집중되어 있다. 구글, 마이크로소프트, 아마존만이 거대한 데이터센터와 수천 명의 AI 연구진을 보유한다. 오픈소스 AI 모델이 나와도, 그것을 실제로 활용하려면 엄청난 인프라가 필요하다. 자원의 집중은 능력의 집중을 낳고, 능력의 집중은 권력의 집중을 낳는다. Yuval Harari가 제시했듯, 우리는 새로운 이념의 시대로 진입하고 있다. 과거에는 신이 세계를 설명했고, 근대에는 인간 이성이 세계를 설명했다. 이제 알고리즘이 세계를 설명한다. 데이터주의다. 모든 것은 데이터 흐름이고, 최선의 결정은 최대 정보를 가진 알고리즘이 내린다. 인간은 알고리즘의 조언을 따르는 존재가 된다.

중국은 이 가능성을 가장 체계적으로 구현하고 있다. 사회신용 시스템은 n² 감시의 극단적 형태다. 14억 시민의 모든 행동이 추적된다. 소셜 미디어 게시물, 온라인 구매, 대출 상환, 교통법규 위반, 심지어 친구 관계까지. 이 모든 데이터가 통합 데이터베이스에 기록되고, 개인별 신용점수로 환산된다. 점수가 낮으면 비행기와 고속철 이용이 제한된다. 은행 대출이 거부된다. 자녀가 좋은 학교에 진학하지 못한다. 취업에서 불이익을 받는다. 시스템은 n² 연결을 활용한다. 당신의 친구들의 점수가 당신 점수에 영향을 미친다. 신용점수가 낮은 사람과 자주 연락하면 당신도 하락한다. 이것은 개인을 넘어 네트워크 전체를 통제하는 메커니즘이다. 디지털 권위주의, 또는 "n² 레비아탄"이라 부를 수 있다.

흥미롭게도, 서구 민주주의도 다른 경로로 유사한 지점에 도달하고 있다. 한병철이 분석했듯, 현대 감시는 외부적 강제가 아니라 내면화된 자기통제다. 중국의 사회신용 시스템은 명시적이고 국가 주도적이다. 서구의 감시 자본주의는 암묵적이고 기업 주도적이다. 하지만 결과는 비슷하다. 우리는 스스로를 끊임없이 노출한다. 인스타그램에 사진을 올리고, 페이스북에 생각을 공유하고, 구글에 검색어를 입력한다. 스스로를 감시한다. 좋아요 수를 확인하고, 댓글에 반응하고, 알고리즘이 선호하는 콘텐츠를 만든다. 스스로를 최적화한다. 더 매력적인 사진, 더 바이럴한 게시물, 더 많은 참여를 유도하는 전략. 감시는 외부에서 강제되는 것이 아니라 자발적으로 실천된다.

기업들은 이 자발적 노출을 데이터로 수집한다. 구글은 당신의 검색 기록, 이메일 내용, 위치 정보, 유튜브 시청 기록을 안다. 아마존은 당신이 무엇을 사고, 무엇을 고민했다가 포기했는지 안다. 페이스북은 당신의 친구 관계, 정치적 성향, 일상의 리듬을 안다. 이 데이터는 광고 수익으로 전환된다. 동시에 정부도 접근한다. 9.11 이후 미국은 테러와의 전쟁을 명목으로 대규모 감시 프로그램을 구축했다. NSA는 수억 명의 통신을 모니터링한다. 영국의 GCHQ, 프랑스의 DGSE, 독일의 BND 모두 유사한 능력을 갖췄다. 공공 안전, 국가 안보라는 명분이다. 기업이 수집한 데이터에 정부가 법적 절차를 통해 접근한다. 때로는 비밀리에.

차이는 누가 주도하는가다. 중국에서는 국가가 직접 통제한다. 당이 플랫폼을 관리하고, 데이터를 통합하고, 점수를 부여한다. 미국과 유럽에서는 기업이 데이터를 수집하고 정부가 필요시 접근한다. 형식은 다르지만 결과는 수렴한다. 개인의 프라이버시는 소멸한다. 당신의 모든 행동이 기록되고 분석된다. 당신에 대해 당신보다 더 많이 아는 시스템이 존재한다. 그 시스템은 당신의 다음 행동을 예측하고, 때로는 조작한다. 우리는 투명한 존재가 되었다. 반면 우리를 보는 시스템은 불투명하다. 권력의 비대칭이다.