Algoritmos e desigualdade

"Tornou-se chocantemente óbvio que a nossa tecnologia excedeu a nossa humanidade."

(Albert Einstein [1879-1955], físico alemão naturalizado norte-americano)

Sob o título Algoritmos e desigualdade, o texto apresentado abaixo foi publicado na edição de 23 de fevereiro de 2018 do jornal Valor com autoria atribuída a Gillian Tett, do Financial Times.

Algoritmos e desigualdade

A inovação digital reforça o abismo existente entre as classes sociais, afirma a escritora americana Virginia Eubanks

Dois anos atrás, Virginia Eubanks, uma professora de ciências políticas de Nova York, passou por uma experiência que se mostrou um pesadelo: seu companheiro foi vítima de um assalto violento e precisou passar por uma grande cirurgia. O casal tinha um seguro saúde, mas quando Virginia tentou liquidar a conta de US$ 60.000, o pedido foi rejeitado: um programa de computador tinha recusado o caso.

Em uma coincidência bizarra, o próprio trabalho acadêmico de Virginia se concentrava na inovação digital e reivindicações de assistência social, e ela estava bem certa do motivo da negativa do seguro. A reivindicação sugeria alguns dos indicadores mais comuns de fraude: a apólice tinha sido feita apenas uns poucos dias antes do assalto, ela não era casada com seu parceiro e a ele haviam sido receitados opioides para ajudá-lo a suportar a dor.

Usando seu "conhecimento privilegiado", Virginia contestou energicamente a decisão, passando muitas horas argumentando com funcionários da companhia de seguros até que conseguiu ganhar a causa por conta da influência de um assistente social humano.

Virginia Eubanks fica imaginando o que teria acontecido se ela não tivesse recursos, entendimento e o apoio necessário de sua empresa para enfrentar esses algoritmos sem rosto. No mês passado, ela publicou "Automating Inequality" (Automatizando a Desigualdade), um livro que explora a maneira como os computadores estão mudando a prestação de serviços sociais em três regiões dos Estados Unidos: Indiana, Los Angeles e Pittsburgh.

Seu foco é o setor de serviços públicos, e não o sistema de saúde privado, mas a mensagem é a mesma: com as instituições dependendo cada vez mais de algoritmos preditivos para tomar decisões, resultados peculiares – e frequentemente injustos – estão sendo produzidos.

As pessoas instruídas e de classe média sempre vão reagir, mas as pessoas mais pobres e com menos educação formal não têm como fazer isso; e nem necessariamente estão atentas às distorções ocultas que as penalizam. Virginia Eubanks conclui que a inovação digital está reforçando, e não reduzindo a desigualdade. "Nem todo mundo se sai tão bem quando é alvo de sistemas digitais tomadores de decisões", observa ela. "Todos nós habitamos esse novo regime dos dados digitais, mas nem todos vivemos nele da mesma maneira."

É claro que não era essa a intenção dos inovadores tecnológicos, mas um dos motivos de muitas instituições estarem abraçando as tecnologias digitais é o corte de custos. Certamente elas deveriam ajudar – e não atrapalhar – os beneficiados pela assistência social, pois os computadores podem processar reivindicações de maneira eficiente e deveriam ser cegos às diferenças de gênero e cor.

Virginia Eubanks afirma que já acreditou na inovação digital. De fato, seu livro tem exemplos de onde ela está funcionando: em Los Angeles, ela encontrou exemplos de moradores de rua que se beneficiaram dos algoritmos para obter acesso rápido a abrigos. Em alguns lugares, como Allegheny, houve casos em que "dados preditivos" detectaram crianças vulneráveis e as afastaram do perigo.

Mas para cada exemplo positivo, há exemplos aflitivos de fracassos. Uma família de Allegheny foi perseguida por engano porque um algoritmo a classificou como propensa a se envolver em casos de abusos infantil. Alguns moradores de rua de Los Angeles perderam acesso aos seus abrigos porque um computador assumiu que como eles já tinham sido presos, eles tinham um "lar". E em Indiana há casos lastimáveis de famílias que tiveram assistência de saúde negada por causa de computadores com defeito. Alguns desses casos resultaram em mortes.

O que tornou esse sofrimento duplamente doloroso quando os programas de computador erraram foi que as vítimas acharam quase impossível descobrir por que os algoritmos estavam contra elas, ou mesmo encontrar um assistente social humano para anular a decisão dos algoritmos – e grande parte disso pode ser atribuída à falta de recursos.

Alguns especialistas em tecnologia podem alegar que esses são casos extremos, mas um padrão similar é descrito pela matemática Cathy O'Neill em seu livro "Weapons of Math Destruction". "Modelos matemáticos mal concebidos agora controlam os mínimos detalhes da economia, da propaganda às prisões", escreve ela. "Eles são pouco transparentes, não são questionados, não são responsabilizados e eles 'classificam', miram ou otimizam milhões de pessoas... agravando a desigualdade e prejudicando os pobres."

"Modelos matemáticos mal concebidos agora controlam os mínimos detalhes da economia, da propaganda às prisões", diz a matemática Cathy O'Neill

Existe alguma solução? Cathy O'Neill e Virginia Eubanks sugerem que uma opção seria exigir que os tecnólogos façam algo parecido com o julgamento de Hipócrates, de "em primeiro lugar,fazer o bem". Uma segunda ideia – mais custosa – seria forçar as instituições a usar algoritmos para contratar muitos assistentes sociais humanos para complementar as tomadas de decisões digitais. Uma terceira ideia seria assegurar que as pessoas que estão criando e rodando programas de computador sejam forçadas a pensar na cultura, em seu sentido mais amplo.

Isso pode parecer óbvio, mas até agora os nerds digitais das universidades pouco contato tiveram com os nerds das ciências sociais – e vice-versa. A computação há muito é percebida com uma zona livre de cultura e isso precisa mudar.

Mas somente haverá mudanças quando os planejadores econômicos e eleitores entenderem a verdadeira escala do problema. Isso é difícil quando vivemos numa era que gosta de celebrar a digitalização – e em que as elites geralmente estão protegidas das consequências desses algoritmos.

Exceto, é claro, quando acidentes aleatórios acontecem. Nesse sentido, a história de Virginia Eubanks é uma lição assustadora para todos nós.

*************

"A história de Virginia Eubanks é uma lição assustadora para todos nós", e que, consequentemente, deveria provocar em nós algumas reflexões.