AI Even Calculates That You Can’t Leave

AI는 당신이 못 떠난다는 사실까지 계산한다

Stanford HAI raises the question of market concentration and consumer protection

By JunHwan Chang한국금융신문Sep 23, 20261 min read

English

Recently, while flying long-haul business class on a major Korean airline, I ran into a dispute over service compensation.

During the flight I suffered what appeared to be insect bites, and what followed was a process of discussing the cabin’s pest control and seat maintenance, the crew’s response, and the airline’s follow-up and compensation. By the airline’s database, I am probably not a bad customer. I have flown the same airline’s long-haul routes for more than ten years, and over the next nine months alone I already have six tickets booked or on standby. On the surface, I am close to a loyal VIP customer.

Yet as the compensation discussions unfolded, the consumer’s position proved not so simple. Even after an unpleasant experience, and even if the response is unsatisfactory, it is not easy for me to switch to another airline right away.

Once you factor in a schedule shuttling between Seoul and New York, direct routes, mileage, cabin class, lounges, familiarity with the service, language and connectivity, the real alternatives are more limited than one might think. The episode left me with a question. Does the airline see me as a good customer, or as a customer who cannot easily leave?

The More Concentrated the Market, the More Concentrated the Data

In the past, market concentration was mainly a question of price and supply. When a particular company grew more powerful, we asked whether ticket prices rose, whether routes were cut, whether service deteriorated. Market concentration in the AI era adds another layer: how well a company knows its consumers, and how it uses that information in compensation, pricing, customer service and service priorities.

Aviation, finance, telecommunications and platform industries all accumulate vast amounts of customer data. They can analyze when consumers buy, which prices they respond to, how often they complain, what level of compensation satisfies them, and even how likely they are to actually move to another company. Combine this with AI and companies can classify consumers with far greater precision. In the good sense, this enables personalized service. In the bad sense, it allows them to calculate even the consumer’s weak position.

This is not to say that any particular airline has actually used AI in this way. The issue is what may happen in the future. Suppose, for example, that a customer has used a particular airline for many years, already has several future flights booked and realistically has few other options, and the company knows all of this. What then?

The company might treat that customer with even greater care. But it would also have an incentive to conclude that “this customer can’t easily leave” and stop at minimal compensation or a perfunctory response. AI can gauge a customer’s loyalty, but it can just as easily gauge a customer’s captivity.

The Market-Concentration Question Raised by Stanford HAI

Market concentration has also been treated as an important agenda item in a number of recent policy discussions at the Stanford Institute for Human-Centered Artificial Intelligence (Stanford HAI). In foundation models and the AI ecosystem in particular, a small number of companies with vast computing resources, data, talent and capital are likely to occupy an advantageous position. That is why Stanford HAI highlights the potential of open foundation models to enhance innovation and transparency and to ease market concentration.

This discussion also holds lessons for traditional industries such as aviation and finance. AI does not operate only within new technology companies; it can further strengthen the power of existing industries that are already highly concentrated.

The same applies when we look at the combination of Korean Air and Asiana Airlines. Competition authorities inevitably look at traditional criteria such as routes, slots, traffic rights, fares and seat capacity. In the AI era, however, the concentration of data must be examined as well. Years of accumulated boarding records, mileage information, customer tiers, complaint-handling histories, compensation patterns and future booking information can all become benchmarks for how consumers are treated.

In the past, the saying “if you don’t like it, choose another company” held true to some degree. In a market with fewer options, however, the phrase rings hollow. And if companies can use AI to predict whether consumers can actually leave, consumer choice may exist only on the surface. This is the point that antitrust and consumer protection must take a fresh look at in the AI era.

The Law Must Look Not Only at Price but at Choice

Going forward, antitrust and consumer protection law must look not only at prices but also at the imbalance of power created by data and algorithms. Do consumers have real alternatives? Is the data a company holds being used in ways that weaken consumers’ bargaining power? If AI is used in customer service, calculating compensation, price discrimination and deciding service priorities, are the criteria explainable? Can consumers challenge automated decisions?

This is also where my attention as a lawyer is drawn. Consumer protection in the AI era is not simply a matter of protecting personal data. We must look at how data interprets the consumer’s position, and how that interpretation affects contract terms, prices, compensation and service responses. Especially in industries where market options are limited, a company’s use of data can make the consumer’s weak position even weaker.

In the AI era, the vulnerable may not be those who know nothing about data, but those who have been analyzed all too well by it. A company can know what that person wants, and also what that person will put up with. Above all, it can know whether that person is unable to leave easily.

Korea, too, must now change the questions it asks about antitrust and consumer protection. We should ask not only how much of the market a particular company holds, but how that company uses consumer data. We should look not only at whether prices have risen, but at whether consumers still have real choice. We should look not only at whether AI was used, but at whether AI is being used to calculate consumers’ weak position.

Market power in the AI era can operate more quietly and more precisely. Consumers may not even know they are being discriminated against, and companies may call it efficiency. That is why law and institutions must see the structure of power hidden behind the convenience of technology. AI knows what consumers want. But the more important problem is this: AI even calculates that you can’t leave.

Korean original

최근 국내 한 대형 항공사의 장거리 비즈니스석을 이용하면서 항공 서비스 보상 문제를 겪었다.

비행 중 벌레 물림으로 의심되는 피해가 발생했고, 이후 기내 방역과 좌석 관리, 승무원 응대, 그리고 항공사의 사후 대응과 보상 문제를 논의하는 과정이었다. 항공사의 데이터베이스를 기준으로 보면 나는 아마 나쁘지 않은 고객일 것이다. 10년 넘게 같은 항공사의 장거리 노선을 이용해 왔고, 앞으로 9개월 동안에도 이미 여섯 장의 항공권이 예약되어 있거나 대기 상태에 있다. 표면적으로 보면 충성도 높은 VIP 고객에 가깝다.

그러나 실제 보상 논의를 하다 보니 소비자의 위치는 그렇게 단순하지 않았다. 불편을 겪었고, 대응이 만족스럽지 않더라도 내가 곧바로 다른 항공사로 옮기기는 쉽지 않다.

서울과 뉴욕을 오가는 일정, 직항 노선, 마일리지, 좌석 등급, 라운지, 서비스의 익숙함, 언어와 연결성까지 고려하면 실제 대안은 생각보다 제한적이다. 이 장면은 나에게 한 가지 질문을 남겼다. 항공사는 나를 좋은 고객으로 볼까, 아니면 쉽게 떠날 수 없는 고객으로 볼까.

시장이 집중될수록 데이터도 집중된다

과거의 시장 집중 문제는 주로 가격과 공급의 문제였다. 특정 기업의 힘이 커지면 항공권 가격이 오르는가, 노선이 줄어드는가, 서비스가 나빠지는가를 보았다. 그러나 AI 시대의 시장 집중은 여기에 하나의 층위를 더한다. 기업이 소비자를 얼마나 잘 알고 있는가, 그리고 그 정보를 보상, 가격, 고객 응대, 서비스 우선순위에 어떻게 활용하는가의 문제다.

항공, 금융, 통신, 플랫폼 산업은 모두 고객 데이터를 많이 축적하는 산업이다. 소비자가 언제 구매하는지, 어떤 가격에 반응하는지, 얼마나 자주 불만을 제기하는지, 어느 정도의 보상에 만족하는지, 실제로 다른 회사로 이동할 가능성이 있는지까지 데이터로 분석할 수 있다. 여기에 AI가 결합하면 기업은 소비자를 더 정교하게 분류할 수 있다. 좋은 의미에서는 맞춤형 서비스가 가능해진다. 그러나 나쁜 의미에서는 소비자의 약한 위치까지 계산할 수 있다.

물론 특정 항공사가 실제로 이러한 방식으로 AI를 활용했다는 뜻은 아니다. 문제는 앞으로의 가능성이다. 예를 들어 오랜 기간 특정 항공사를 이용해 온 고객이 있고, 이미 향후 여러 차례 항공권까지 예약되어 있으며, 현실적으로 다른 선택지가 많지 않다는 사실을 기업이 알고 있다면 어떻게 될까.

기업은 그 고객을 더 정성껏 대우할 수도 있다. 하지만 반대로 “이 고객은 쉽게 떠나지 못한다”고 판단해 최소한의 보상이나 형식적 응대에 그칠 유인도 생긴다. AI는 고객의 충성도를 파악할 수 있지만, 동시에 고객의 포획 상태도 파악할 수 있다.

Stanford HAI가 던지는 시장 집중의 질문

최근 Stanford Institute for Human-Centered Artificial Intelligence, 즉 Stanford HAI의 여러 정책 논의에서도 시장 집중은 중요한 의제로 다루어진다. 특히 파운데이션 모델과 AI 생태계에서는 막대한 컴퓨팅 자원, 데이터, 인재, 자본을 가진 소수 기업이 더 유리한 위치를 차지할 가능성이 크다. 그래서 Stanford HAI는 오픈 파운데이션 모델이 혁신과 투명성을 높이고, 시장 집중을 완화할 수 있다는 점에 주목한다.

이 논의는 항공이나 금융 같은 전통 산업에도 시사점을 준다. AI가 새로운 기술 기업 안에서만 작동하는 것이 아니라, 이미 집중도가 높은 기존 산업의 힘을 더 강하게 만들 수 있기 때문이다.

대한항공과 아시아나항공의 결합을 바라볼 때도 마찬가지다. 경쟁당국은 노선, 슬롯, 운수권, 운임, 좌석 공급 같은 전통적 기준을 볼 수밖에 없다. 그러나 AI 시대에는 여기에 데이터의 집중도 함께 보아야 한다. 장기간 축적된 탑승 기록, 마일리지 정보, 고객 등급, 불만 처리 이력, 보상 패턴, 향후 예약 정보는 모두 소비자 대응의 기준이 될 수 있다.

과거에는 “싫으면 다른 회사를 선택하면 된다”는 말이 어느 정도 가능했다. 그러나 선택지가 줄어든 시장에서는 이 말이 공허해진다. 더구나 기업이 AI를 통해 소비자가 실제로 떠날 수 있는지까지 예측할 수 있다면, 소비자의 선택권은 겉으로만 존재할 수 있다. 이것이 AI 시대의 반독점과 소비자 보호가 새롭게 봐야 할 지점이다.

법은 가격만이 아니라 선택권을 보아야 한다

반독점법과 소비자 보호법은 앞으로 가격뿐 아니라 데이터와 알고리즘이 만드는 힘의 불균형을 함께 보아야 한다. 소비자에게 실제 대안이 있는가. 기업이 보유한 데이터가 소비자의 협상력을 약화시키는 방식으로 사용되는가. AI가 고객 대응, 보상 산정, 가격 차별, 서비스 우선순위 결정에 활용된다면 그 기준은 설명 가능한가. 자동화된 결정에 대해 소비자가 이의를 제기할 수 있는가.

변호사로서 주목하는 부분도 바로 여기에 있다. AI 시대의 소비자 보호는 단순히 개인정보를 보호하는 문제에 머물지 않는다. 데이터가 소비자의 위치를 어떻게 해석하고, 그 해석이 계약 조건과 가격, 보상, 서비스 대응에 어떤 영향을 미치는지를 보아야 한다. 특히 시장 선택지가 제한된 산업에서는 기업의 데이터 활용이 소비자의 약한 위치를 더 약하게 만들 수 있다.

AI 시대의 약자는 데이터를 모르는 사람이 아니라, 데이터로 너무 잘 분석된 사람일 수 있다. 기업은 그 사람이 무엇을 원하는지 알 수 있고, 무엇을 참을 수 있는지도 알 수 있다. 그리고 무엇보다 그 사람이 쉽게 떠날 수 없는지도 알 수 있다.

이제 한국도 반독점과 소비자 보호의 질문을 바꾸어야 한다. 특정 기업이 시장을 얼마나 점유하고 있는가만 물을 것이 아니라, 그 기업이 소비자 데이터를 어떻게 활용하고 있는가를 물어야 한다. 가격이 올랐는가만 볼 것이 아니라, 소비자의 실질적 선택권이 남아 있는가를 보아야 한다. AI를 썼는가만 볼 것이 아니라, AI가 소비자의 약한 위치를 계산하는 데 쓰이고 있는가를 보아야 한다.

AI 시대의 시장 지배력은 더 조용하고 더 정교하게 작동할 수 있다. 소비자는 자신이 차별받고 있다는 사실조차 모를 수 있고, 기업은 그것을 효율이라고 부를 수 있다. 그래서 법과 제도는 기술의 편리함 뒤에 숨어 있는 힘의 구조를 보아야 한다. AI는 소비자가 무엇을 원하는지 안다. 그러나 더 중요한 문제는 이것이다. AI는 당신이 못 떠난다는 사실까지 계산한다.

← PreviousWho Must Prove AI Performance Claims?Next →Is Your AI Assistant Really on Your Side?
CLG | Chang Law Group P.C.New York · Private Client Advisory

Planning your next step in the United States?미국에서의 다음 단계를 계획하고 계신가요?

Tell us what you would like to know about U.S. asset transfer, real estate investment, business formation, E-2 visas, and more.미국 자산 이전, 부동산 투자, 사업 설립 및 E-2 비자 등 궁금하신 내용을 남겨주세요.

Email us이메일로 문의하기

Our team will review your inquiry and get back to you.담당팀이 문의 내용을 검토한 후 연락드립니다.

Submitting this form does not create an attorney-client relationship. Your information is used only to respond to your inquiry. See our Privacy Policy.문의만으로 변호사-의뢰인 관계가 성립되지 않습니다. 입력하신 개인정보는 문의 답변 목적으로만 사용됩니다. 개인정보처리방침