A opressão está sendo automatizada


A tecnologia é fundamentalmente moldada pelas mesmas estruturas desiguais que operam na sociedade.  A tecnologia não é neutra.


A ascensão do Big Data mudou a forma como nós vivemos. Atualmente, muitas decisões a respeito de questões cruciais para a vida de milhares de pessoas são feitas de forma automatizada, por meio do tratamento de dados pessoais, com a justificativa de obter maior objetividade nas decisões e menos vieses humanos, justificativas que, no entanto, não se confirmam ser verdadeiras, na prática.

Quando se pensa em novas tecnologias e seus riscos aos usuários é muito comum que duas grandes preocupações venham à mente: privacidade e proteção de dados. No entanto, abarcados por esses, existe um leque de outros direitos que podem ser violados pelo uso de tecnologias em determinados contextos, como o direito à igualdade, à não discriminação, e ao exercício das liberdades constitucionalmente garantidas.  Assim, especialmente com a popularização do uso de algoritmos para tomada de decisão automatizada, problemas relacionados à vieses apresentados pelos algoritmos — os quais violam os direitos mencionados — passaram a preocupar os pesquisadores do tema.

Em outra oportunidade já pude falar aqui sobre o mito da neutralidade tecnológica. A tecnologia não pode ser neutra justamente por ser criada por seres humanos e para atingir propósitos pensados em benefício de um grupo específico, dentro de uma sociedade e cultura específicas. A tecnologia é um produto da sociedade, de seus valores e princípios, de suas prioridades e não equidades.

Nesse sentido, por mais que se pretenda que a tecnologia seja livre de valores, o que vem se mostrando é que por ser criada e funcionar por e para indivíduos vivendo em sociedade, portanto, que possuem valores históricos e culturais arraigados, a tecnologia pode reproduzir esses valores, não sendo, portanto, neutra. Essa situação é sentida principalmente por populações historicamente oprimidas, seja por racismo, LGBTQIA+ fobia, machismo e misoginia, capacitismo ou outros preconceitos relacionados à etnia, nacionalidade, descendência, religião ou cor da pele, por exemplo. O pesquisador e mestre em Comunicação e Cultura Contemporâneas pela UFBA, Tarcízio Silva, disponibilizou em seu site uma linha do tempo do racismo algorítmico, projeto que reúne mais de 70 casos, reportagens e reações ao racismo e discriminação algorítmica.

A presença de viés nas “respostas” geradas pelos algoritmos pode se dar por diversos motivos, entre eles: i) incompletude da base de dados utilizada para treinamento ou para uso do sistema; ii) utilização de dados historicamente enviesados para treinamento de sistemas de inteligência artificial para tomada de decisão automatizada; iii) utilização de critérios que estão diretamente ligados à raça, gênero, etnia ou outra característica sensível (dado pessoal sensível) para realização de classificação e filtragem de indivíduos para determinada tomada de decisão

O primeiro motivo diz respeito à utilização de bases de dados que não representam a diversidade racial, econômica, cultural da população para treinamento de um sistema ou para sua implementação. Um exemplo é o caso de tecnologias de reconhecimento facial, os quais ao utilizarem bases de dados de treinamento que não contenham rostos de pessoas negras, irá ter um nível de acurácia significativamente menor na identificação ou reconhecimento do rosto de uma pessoa negra. No entanto, a complementação da base de dados utilizada para treinamento não resolveria totalmente o problema de discriminação apresentado por algumas tecnologias e em alguns contextos, tendo em vista que certos conjuntos de dados apresentam um viés histórico.

A utilização de dados historicamente enviesados para treinamento de sistemas diz respeito ao uso de dados que por si só representam alguma forma de discriminação já presente naquele contexto. Tomamos como exemplo um sistema algorítmico cuja finalidade é selecionar bons candidatos a um emprego. Para que o sistema possa fazer essa seleção, essa filtragem de candidatos de acordo com o seu potencial para o emprego em questão, uma base de dados contendo as características de empregados considerados bons para o emprego será utilizada. No entanto, esses dados são retirados de situações reais, de indivíduos reais selecionados dentro de um conjunto de candidatos, durante anos, em uma sociedade real, com valores e preconceitos reais.

Na sociedade patriarcal, neoliberal e capitalista que conhecemos, questões como gênero, raça, etnia, orientação sexual, religião, entre outras, sempre foram critérios de indicação de valor e status social. Durante anos, e ainda hoje, em diversos ramos de trabalho, mulheres eram preteridas em relação aos homens, pessoas racializadas eram preteridas em relação aos brancos, homossexuais eram preteridos em relação aos heterossexuais, qualquer pessoa que não estivesse em conformidade com o considerado “normal”, “padrão” e “socialmente aceitável” pela maioria era preterido.

Como resultado, ao analisar anos de contratações e características pessoais daqueles indivíduos contratados, o algoritmo em questão irá descartar indivíduos com base em gênero, raça, etnia, orientação sexual, religião, tendo em vista que o sistema “aprendeu” por meio dos dados historicamente enviesados, e sem ter a capacidade humana de distinção de certo e errado, e identificação de valores e preconceitos, irá reproduzir e reforçar essas discriminações.

No entanto, existe ainda a possibilidade de que o sistema não utilize necessariamente essas questões discriminatórias como critério para a tomada de decisão, mas sim questões que podem estar diretamente relacionadas a essas. Sistemas preditivos cujo intuito é indicar áreas urbanas em que há maiores necessidades de policiamento podem correlacionar essa necessidade com o status socioeconômico dos moradores da região em questão, o que, no que lhe concerne, pode estar correlacionado com a raça desses moradores, ainda que dados de raça, etnia, classe. Não tenham sido utilizados para treinamento do sistema. Nesse sentido, o que se observa é que a simples retirada de informações sobre raça, gênero, etnia, religião, classe social, orientação sexual etc., do treinamento do sistema ou dos critérios utilizados por ele, não é suficiente. A abordagem “color-blind”, em que critérios ou dados referentes à raça não são utilizados para treinamento ou uso de sistemas algorítmicos não se faz suficiente.

Não há dúvidas de que as novas tecnologias possuem a capacidade de reproduzir, reforçar e até mesmo aumentar significativamente as desigualdades sociais já existentes nas sociedades, seja por intenção dos criadores ou não. O uso desses sistemas algorítmicos em conjunto ajuda a solidificar a opressão sistêmica de determinados grupos, minando ou violando completamente diversos direitos humanos e fundamentais. Esse problema se intensifica na medida em que tecnologias de tomada de decisão automatizada são cada vez mais implementadas pelo próprio Estado em setores cruciais para a vida de toda a população, incluindo saúde, educação, trabalho e no policiamento e justiça criminal.

Em uma sociedade e uma economia estruturadas por profundas desigualdades sociais e econômicas, e onde o lucro é colocado acima de qualquer questão, a criação e o uso de tecnologias vem ignorando seu potencial opressor até aqui. No entanto, se as lutas contra as opressões arraigadas em nossa sociedade hão de continuar e se fortalecer, devemos voltar nossa atenção para a forma como essas tecnologias são desenvolvidas e como e em quais contextos são utilizadas. O discurso do solucionismo tecnológico — a ideia de que todo e qualquer complexo problema social pode ser resolvido pela tecnologia — deve ser questionado e abandonado.

A tecnologia é fundamentalmente moldada pelas mesmas estruturas desiguais que operam na sociedade.  A tecnologia não é neutra. Seus processos também precisam ser questionados e isso deve acontecer desde o início, desde seu desenvolvimento.


referências:

UN. Human Rights Council. Racial discrimination and emerging digital technologies: a human rights analysis – report of the Special Rapporteur on Contemporary Forms of Racism, Racial Discrimination, Xenophobia and Related Intolerance. UN Digital Library, 2020. Availabe at: https://digitallibrary.un.org/record/3879751.

SILVA, Tarcízio. Linha do Tempo do Racismo Algorítmico: casos, dados e reações. Blog do Tarcízio Silva, 2019. Disponível em: http://https://tarciziosilva.com.br/blog/posts/racismo-algoritmico-linha-do-tempo

Apoie movimentos sociais que pesquisam e lutam contra as desigualdades reproduzidas pelas tecnologias. Diversos pesquisadores e organizações vem desenvolvendo esse tipo de trabalho: Tarcízio Silva, Black in AI, Coding Rights, Nina da Hora, PretaLab, Coletivo Intervozes, Internet Lab entre outros.



Eleições

  • Alanzoka, Casimiro e outros streamers da Twitch declaram voto

    Alanzoka, Casimiro e outros streamers da Twitch declaram voto

    , ,

    Streamers com grande audiência revelam em qual candidato votam no segundo turno das eleições 2022.

  • Três youtubers bolsonaristas que chegam ao Congresso

    Três youtubers bolsonaristas que chegam ao Congresso

    ,

    Três youtubers foram eleitos este ano, e todos estão associados a fenômenos de violência. Gustavo Gayer e Nikolas Ferreira são propagadores de um discurso político violento, enquanto o Delegado da Cunha é conhecido por publicar vídeos de operações policiais degradantes à comunidades paulistanas.

  • Bolsonarista prejudica eleição ao votar duas vezes em Lisboa; entenda o caso

    Bolsonarista prejudica eleição ao votar duas vezes em Lisboa; entenda o caso

    Para especialista em Direito Eleitoral, o Cônsul-geral do Brasil em Lisboa poderia se envolver na convocação dos eleitores se comprovados que os votos anulados poderiam afetar o resultado da eleição de 1º turno.


  • Bolsonaro retém R$2,4 bilhões do MEC

    Bolsonaro retém R$2,4 bilhões do MEC

    Planalto divulga decreto anunciando A retenção de 2,4 bilhões de institutos e universidades federais. A medida vale para despesas não obrigatórias, como recursos de assistência estudantil, salários de funcionários terceirizados e muitos outros.

  • Dezesseis anos de WikiLeaks

    Dezesseis anos de WikiLeaks

    , , , ,

    No mês de aniversário de 16 anos do WikiLeaks, é imprescindível lembrar que a organização se tornou uma questão controversa e divisória entre as organizações de direitos civis; maioria concorda com o valor inegável que o WikiLeaks teve ao denunciar violações de direitos humanos e liberdades civis.

  • Alanzoka, Casimiro e outros streamers da Twitch declaram voto

    Alanzoka, Casimiro e outros streamers da Twitch declaram voto

    , ,

    Streamers com grande audiência revelam em qual candidato votam no segundo turno das eleições 2022.

  • Três youtubers bolsonaristas que chegam ao Congresso

    Três youtubers bolsonaristas que chegam ao Congresso

    ,

    Três youtubers foram eleitos este ano, e todos estão associados a fenômenos de violência. Gustavo Gayer e Nikolas Ferreira são propagadores de um discurso político violento, enquanto o Delegado da Cunha é conhecido por publicar vídeos de operações policiais degradantes à comunidades paulistanas.

  • Bolsonarista prejudica eleição ao votar duas vezes em Lisboa; entenda o caso

    Bolsonarista prejudica eleição ao votar duas vezes em Lisboa; entenda o caso

    Para especialista em Direito Eleitoral, o Cônsul-geral do Brasil em Lisboa poderia se envolver na convocação dos eleitores se comprovados que os votos anulados poderiam afetar o resultado da eleição de 1º turno.

  • Após infiltração, grupos bolsonaristas no Telegram reforçam moderação

    Após infiltração, grupos bolsonaristas no Telegram reforçam moderação

    ,

    Dois dias após o primeiro turno das eleições, usuários de esquerda passaram a infiltrar grupos bolsonaristas no Telegram. O resultado foi o reforço da moderação por parte dos administradores, e a aposta em teorias conspiratórias.

  • Todo fascista é corno

    Todo fascista é corno

    ,

    Não é difícil entender que a vontade de escrever é nula, assim como a vontade de acordar, sair da cama e realizar que esse bando de corno não tem mais medo de cantar aos quatro ventos: “sou fascista na avenida e minha escola é a mais querida dos reaça nacional!”.

  • No Telegram, bolsonaristas espalham fake news sobre eleitores mortos votando no Nordeste

    No Telegram, bolsonaristas espalham fake news sobre eleitores mortos votando no Nordeste

    ,

    Grupos bolsonaristas no Telegram reforçam táticas xenofóbicas e criam fake news sobre eleitores mortos votando no Nordeste.


Tem uma pauta?
Estamos aqui

Toda ideia tem o potencial de ser uma boa ideia. Gostamos de ouvir ideias de pauta, denúncias ou sugestões de nossos leitores. Se quiser compartilhar, conte conosco — e olha, pode ser anônimo, tá?

Seja notificado de novas publicações, assine.

Ao se inscrever, o WordPress te atualiza gratuitamente toda vez que publicamos algo novo. Assim, você pode acompanhar nossa redação! Não se esqueça de nos seguir nas redes sociais.

A revista o sabiá é um veículo de mídia independente e sem fins lucrativos criado e equipado por jovens. Buscamos usar o jornalismo e a comunicação como um mecanismo de mudança do futuro das novas gerações.