La tua azienda dovrebbe mettere una taglia sugli algoritmi distorti?

PorVincenzo D.

Feb 22, 2022
La tua azienda dovrebbe mettere una taglia sugli algoritmi distorti

Lo scorso luglio, Twitter ha annunciato il il primo bias bounty challenge. La sfida una tantum è stata pubblicata su HackerOne, una popolare bacheca di bug bounty. Ha seguito lo stesso schema generale di un programma pubblico di bug bounty, dove le aziende offrono ricompense monetarie a coloro che identificano e segnalano falle di sicurezza nei loro siti e sistemi. L’obiettivo del bounty di Twitter: identificare i potenziali danni causati dal suo algoritmo di cattura delle immagini, che utilizza un modello di salienza.

Otto giorni dopo, Bogdan Kulynych, uno studente di dottorato presso il Laboratorio di Ingegneria della Sicurezza e della Privacy del Politecnico Federale di Losanna, si è aggiudicato il primo posto nella competizione e ha pagato la taglia di 3.500 dollari. La sua presentazione riguardava la regolazione delle apparenze di 16 volti fotorealistici che ha generato con StyleGAN2-ADA per essere più salienti secondo l’algoritmo di ritaglio di Twitter. Kulynych ha dimostrato che l’algoritmo ha preferito immagini di persone con un tono di pelle più chiaro o più caldo, pelle più liscia, e che appaiono più femminili, più giovani e più snelle.

Mentre Twitter è stato il primo ad offrire una taglia pubblica sui pregiudizi, non sarà l’ultimo. Un portavoce di HackerOne ha confermato a Built In che “una manciata” di aziende tecnologiche che già ospitano bug bounties sulla piattaforma stanno esplorando il potenziale di offrire “bounties che cercano di trovare difetti nei sistemi AI o ML.”

Considerazioni sui bug bounty per le piccole aziende

Dopo che Twitter ha offerto il primo bias bounty nel 2021, le aziende più piccole stanno ora considerando di seguire l’esempio. Fare ciò permetterebbe a queste aziende di identificare rapidamente i bias algoritmici attraverso modelli di crowdsourcing e migliorare i servizi ai clienti. Anche se le preoccupazioni chiave rimangono intorno alle falle di sicurezza involontariamente esposte, o all’esposizione dei dati dei clienti o della proprietà intellettuale che potrebbe essere rubata.

Inoltre, nel suo 2022 Predictions Report, Forrester ha scoperto che “almeno cinque grandi aziende introdurranno i bias bounties nel 2022”. Ha specificamente chiamato Google e Microsoft come probabili candidati.

Non sono solo le grandi aziende che stanno – o dovrebbero – considerare di offrire bias bounties per migliorare i loro prodotti e servizi basati sull’AI come smodin. Anche le aziende più piccole e nuove stanno pensando di offrire bias bounties nel 2022. Un’attrazione è il potenziale per identificare rapidamente i problemi algoritmici e migliorare i loro prodotti o servizi. La capacità di migliorare la fiducia dei clienti e fare la cosa giusta è un altro. Ma le piccole aziende che pensano ai bias bounties non sono senza riserve.

Di più su CybersecurityWhite Hat Hackers: Dentro il mondo dell’hacking etico

Il crowdsourcing porta a un rapido miglioramento

Per le aziende più piccole e nuove che offrono servizi basati sulla tecnologia, l’istituzione di bounties bias li aiuta a migliorare rapidamente i servizi ai loro utenti.

I bias bounties modellati sui bug bounties, come era quello di Twitter, hanno il vantaggio di identificare i problemi velocemente attraverso il potere del crowdsourcing. Sono passati solo otto giorni da quando Twitter ha annunciato la sua taglia a quando la proposta di Bogdan è stata nominata vincitrice. Anche se ha espresso alcune preoccupazioni su ciò che una tale linea temporale potrebbe significare per il rigore di un’indagine, la velocità consentita dalle taglie di parte, secondo Bogdan, potrebbe essere una buona cosa.

“Se questo si evolve nello stesso modo dei bug bounties di sicurezza, questa sarebbe una situazione molto migliore per tutti,” ha twittato, dopo l’annuncio di Twitter della sua presentazione vincente. “Il software dannoso non rimarrebbe lì per anni fino a quando non si raccolgono le prove rigorose del danno”.

Per molte aziende, offrire taglie di bias nel tentativo di ridurre la distorsione algoritmica nei loro sistemi ha semplicemente senso negli affari. Anche un senso legale.

“Qualsiasi forma di discriminazione sistematica o di impatto disparato su una classe protetta può risultare in un reclamo per discriminazione. Quindi c’è valore in qualsiasi metodologia che aiuterà a ridurre questa possibile esposizione”.

Peter Cassat, partner di Culhane Meadows PLLC, uno studio legale nazionale a servizio completo, ha sottolineato che quando un’azienda si sposta da processi e sistemi tradizionali a processi e sistemi automatizzati e basati sull’AI, è ancora l’azienda a prendere decisioni in ultima analisi – e può essere ritenuta responsabile.

“Ci sono rischi associati a AI bias che possono equivalere a rischi legali”, ha detto, parlando per esperienza di lavoro con i clienti. “Qualsiasi forma di discriminazione sistematica o impatto disparato su una classe protetta può risultare in un reclamo per discriminazione. Quindi c’è valore in qualsiasi metodologia che aiuterà a ridurre questa possibile esposizione”.

Per Ruben Gamez, CEO e fondatore di SignWell, un’azienda di firma di documenti elettronici, l’offerta di taglie di sbieco riguarda più il rapporto tra l’azienda e i suoi clienti che una strategia di riduzione del rischio. L’ha descritto come una sorta di esercizio di costruzione della fiducia con i suoi clienti e la base di utenti, in particolare man mano che l’azienda cresce.

“Dipendiamo principalmente dai nostri sistemi AI per la semplice automazione a complesse decisioni guidate dai dati”, ha detto. “Sarà emozionante vedere gli utenti identificare eventuali difetti. Questo ci darà la possibilità di toccare i nostri set di dati di input e ridefinirli per essere più diversificati”.

Per saperne di più su la Musica AI: Aziende e applicazioni da conoscere

 

Le preoccupazioni per la taglia bias esistono per le piccole aziende

Ma non tutti sono completamente a bordo con le taglie di sbieco. Jared Stern, fondatore e CEO di Uplift Legal Funding, una società di prestiti per cause legali, ha detto che la sua azienda non sta considerando di offrire taglie di sbieco nel prossimo futuro, anche se potrebbe essere qualcosa che considera più avanti sulla strada. Mentre la sua azienda impiega l’IA nelle sue operazioni, è ancora nel processo di ottimizzazione dei suoi set di dati, rendendo prematuri i bias bounties.

“Non credo [bias bounties are] una mossa produttiva, soprattutto per le aziende che stanno ancora prendendo in mano le loro operazioni con l’IA”, ha detto.

Oltre al potenziale delle taglie di bias che sono poco adatte alla situazione di una particolare azienda, le piccole aziende hanno preoccupazioni per l’apertura al pubblico del loro funzionamento interno, come ha fatto Twitter. Quando ha pubblicato la sua taglia, Twitter ha dato ai potenziali cacciatori di pregiudizi l’accesso al codice che aveva usato nella sua ricerca sulla correttezza dell’image-cropping che ha trovato il suo algoritmo tendeva a ritagliare i volti dei neri.

“Sarà difficile assicurarsi di proteggere la riservatezza dei dati che, in un certo senso, si desidera pulire, ma allo stesso tempo, è necessario assicurarsi di non violare alcun diritto alla privacy di uno dei vostri dipendenti o clienti”.

Cassat ha sottolineato che ci sono due aree principali di rischio per le aziende che eseguono bounties bias simili a quello che Twitter ha fatto: esporre i clienti a potenziali minacce invitando le persone a scoprire difetti che altrimenti non potrebbero scoprire e il potenziale di esporre la proprietà intellettuale appartenente alla società o ai suoi partner.

“Per esempio, se usiamo SAP nello spazio HR e le persone vengono a vedere come stiamo facendo il reclutamento e l’assunzione e la promozione all’interno dei nostri sistemi HR utilizzando algoritmi automatizzati, stiamo esponendo qualche informazione riservata di SAP che non abbiamo il permesso di esporre?” ha detto.

La riservatezza del cliente in una situazione in cui una taglia di pregiudizio potrebbe richiedere l’uso di dati dal vivo è un’altra preoccupazione. “Sarà difficile assicurarsi di proteggere la riservatezza dei dati che, in un certo senso, si desidera pulire, ma allo stesso tempo, è necessario assicurarsi di non violare i diritti alla privacy di nessuno dei vostri dipendenti o clienti”, ha detto Cassat.

Altro su Machine Learning Bias6 modi per combattere i bias nell’apprendimento automatico

Leggete il nostro articolo su L’intelligenza artificiale è una buona carriera?

Trovare l’equilibrio tra sicurezza e lotta ai pregiudizi

Le piccole aziende hanno alcune strategie potenziali per evitare i rischi di aprirsi al pubblico che possono prendere in considerazione. Una è quella di assumere codificatori terzi per agire come redattori di bias che potrebbero rivedere gli algoritmi di una società. Questo avrebbe il vantaggio di prospettive esterne, ma senza molti dei rischi di andare al pubblico come ha fatto Twitter.

Gli sforzi interni per identificare le distorsioni algoritmiche è un altro modo in cui le aziende potrebbero aggirare le preoccupazioni relative alle taglie pubbliche, secondo Cassat. Questo potrebbe essere semplice come avere un sistema di segnalazione dei bias o offrire premi ai dipendenti che li identificano e li segnalano, per modellare la caccia ai bias su hackathon di sicurezza, invece di bug bounties.

Questo approccio “red-teaming” per affrontare il bias nell’IA è stato affrontato in un rapporto del 2020 da ricercatori e professionisti dell’IA. Mentre raccomanda che le organizzazioni che sviluppano l’IA “dovrebbero eseguire esercizi di red-teaming per esplorare i rischi associati ai sistemi che sviluppano”, il rapporto ha anche sottolineato che gli attuali approcci di red-teaming sono insufficienti. Invece, ha raccomandato lo sviluppo di una “comunità di professionisti dell’AI in red-teaming”, anche se ha riconosciuto che una tale situazione potrebbe ispirare molte delle stesse preoccupazioni espresse circa le taglie pubbliche.

Da un punto di vista legale, Cassat ha definito un atto di bilanciamento tra i potenziali rischi associati all’identificazione dei pregiudizi e i benefici di farlo. Ma ha anche notato che la crescente pressione da parte dei consumatori affinché le tecnologie siano più eque ha aumentato l’attenzione sulla responsabilità sociale a livello di consiglio di amministrazione. Questo guiderà l’attività intorno alla riduzione delle distorsioni algoritmiche.

“Non so fino a che punto le aziende vorranno continuare a fare il crowdsourcing di queste soluzioni”, ha detto, aggiungendo che promuovere la diversità è un buon affare. “Ed è la cosa giusta da fare”.