AI Nudge yordamida algoritmlarni ishontirish

Faktlarni tekshirish ishonchsiz yangiliklar tarqalishini kamaytirishi mumkin. Qarama-qarshi harakat ham qilishi mumkin.

(bu yozuv dastlabivilservant.io saytida paydo bo'lgan)

Reddit-da r / worldnews-ning o'quvchilari ko'pincha tabloid yangiliklarini ko'ngillilar moderatorlariga xabar berishadi va ulardan sensatsionlashtirilgan maqolalari uchun tabloidlarni taqiqlashni so'rashadi. Ushbu bezatilgan hikoyalar odamlarning e'tiborini tortadi, bahs-munozaralarga sabab bo'ladi va reddit-ning reyting algoritmi orqali e'tiborga olinadi va bu ularni yanada kengroq tarqaladi.

Tabloid yangiliklarini taqiqlash ushbu fikr-mulohazalarni tugatishi mumkin, ammo jamiyat moderatorlari bu kabi taqiqlarga qarshi. Ushbu jumboqni hal qilish uchun moderatorlar "soxta yangiliklar" deb nomlangan munozaralar markazidagi savolga javob berishlari kerak: odamlar qanday qilib o'zlarining o'zaro xatti-harakatlariga va jamiyat farovonligi algoritmlariga ta'sir qilar ekan, qanday qilib hissa qo'shuvchilarning erkinligini saqlab qolishimiz mumkin?

Ushbu qishda, moderatorlar CivilServant bilan bir g'oyani sinab ko'rish uchun ishladilar: ishonchsiz yangiliklarga javoban faktlarni tekshirishni rag'batlantirishning ta'siri qanday? Biz r / worldnews hamjamiyati qanday javob berishini ko'rishni xohladik. Reddit reytingiga ta'sirini ham kuzatdik. Agar redditning algoritmlari faktlarni tekshirishni ommaviylik deb talqin qilsa, ishonchsiz maqolalar yanada tarqalishi mumkin.

Tabloid yangiliklari AQShdan tashqarida yangiliklarni muhokama qiladigan ushbu 15 million obunachilar jamoasiga kiritilgan barcha xabarlarning 2,3 foizini tashkil qiladi. R / worldnews-da 70 ta moderator kuniga taxminan 450 ta maqolani ko'rib chiqadi va ushbu maqolalarning 68% ni saqlashga imkon beradi. Ushbu standart subreddit bo'lgani uchun, reddit o'quvchilarining aksariyati dunyo yangiliklarini ushbu hamjamiyat orqali olishadi. Feysbuk jamoatchilikning e'tiborini jalb qilmayotgan bo'lsa-da, r / worldnews ingliz tilida so'zlashadigan Internetda dunyodagi yangiliklarni muhokama qiladigan eng katta yagona guruh bo'lishi mumkin. Ushbu jamiyatdagi kichik effektlar ham millionlab odamlarning dunyo haqida potentsial ishonchsiz ma'lumotni qanday anglashlarida katta farq qilishi mumkin.

27-noyabrdan 20-yanvargacha o'tkazilgan tadqiqotlarimizda biz A / B jamiyatni haqiqatni tekshirishga va tabloid yangiliklariga ovoz berishga chorlovchi xabarlarni sinab ko'rdik. Mana biz quyidagilarni topdik:

Jamiyatning fe'l-atvorini tekshirishni rag'batlantirishning ta'siri

R / worldnews-da tablitsiz taqdimotlarni muhokama qilishda faktlarni tekshirishni rag'batlantirish sharhlar sonini o'rtacha havolalarni 2 baravarga oshiradi va faktlarni tekshirishni rag'batlantirish + ovoz berish shunga o'xshash ta'sir ko'rsatadi.

Reddit algoritmlariga Fakt-tekshiruvni rag'batlantirishning ta'siri

24 soatdan ko'proq vaqt davomida kuzatgan holda, shuningdek, faktlarni tekshirishni rag'batlantiruvchi yopishqoq sharhlar tabloidlarning taqdimotlari reditit bahosining 2x kamayishiga olib kelganligini, subreddit reytingiga ta'sir ko'rsatadigan statistik jihatdan ahamiyatli ta'sirni ko'rsatdi. Biz ham o'quvchilarni ovoz berishga undaganimizda, bu ta'sir yo'qoldi.

AI Nudges: Ozodlikni saqlash paytida algoritmlarni ishontirish

Tabloid yangiliklari haqidagi savollarimiz boshqaruvning klassik savoliga algoritmik mezon qo'shdi: hokimiyat egalari qanday qilib umumiy erkinlikka intilib, individual erkinlikni cheklashlari mumkin?

odamlarni boshqacha tutishga ishontirish orqali algoritmlarni boshqacha tutishga ishontirishimiz mumkin.

Internetda odamlar o'zlari nazorat qila olmaydigan AI tizimlarida yashashni o'rganadilar. Masalan, Uber haydovchilari o'zlarining daromadlarini optimallashtirish uchun haydashni chayqashadi. Bizning jamoaviy xatti-harakatlarimiz doimo AI tizimlariga ta'sir qiladi, ammo shu paytgacha jamoatchilik bu ta'sir aslida nima haqida ma'lumotga ega emas. Algoritmlar jamiyatda sog'liqni saqlash, xavfsizlik va adolat kabi muhim rollarni bajarishda bunday noaniq natijalar muammo bo'lishi mumkin. Ushbu muammoni hal qilish uchun ba'zi tadqiqotchilar "jamiyatdagi in-loop" tizimlarini ishlab chiqmoqdalar [4]. Boshqalar esa algoritmlarni audit qilish usullarini ishlab chiqmoqdalar [5] [6]. Ammo ikkala yondashuv biz boshqarolmaydigan tizimlarning kundalik xatti-harakatlarini boshqarish usulini taklif qilmaydi. R / worldnews bilan ishlash bizning uchinchi yo'nalishni taklif qiladi; odamlarni boshqacha tutishga ishontirish orqali algoritmlarni boshqacha tutishga ishontirishimiz mumkin.

Ba'zi odamlar ushbu tajriba reditit siyosatiga qarshi bo'lgan ovozlarni boshqarish bilan bog'liqmi, degan savol tug'ilishi mumkin. Bizning yopishqoq qaydlarimiz shaxsiy foydalanish uchun biron-bir reddit qoidalarini buzmaydi (biz shuningdek, soxta hisoblar yaratmaganmiz, odamlarga qanday ovoz berishimiz yoki ovoz berish blokini tashkil qilganimiz yo'q). Ammo biz odamlarni faktlarni tekshirishga undash redditning algoritmlariga muntazam ta'sir ko'rsatishini ko'rsatdik.

"AI nudges" g'oyasi individual erkinlikni saqlash bilan bir qatorda, odam va mashina xatti-harakatlariga ta'sir ko'rsatishga qaratilgan ijtimoiy yo'naltirilgan harakatlar haqida o'ylashga imkon beradi. Richard Thaler va Cass Sunstein dastlab shaxsiy erkinlikni saqlash bilan bir qatorda institutlarning o'z kuchlaridan foydalanish yo'llari sifatida "nudj" larni taklif qildilar [7]. Tabloid yangiliklarini taqiqlash bilan taqqoslaganda, faktlarni tekshirishni rag'batlantirish uchun AI moderatorlari amalga oshirishi mumkin bo'lgan eng engil ta'sir. Hech kimning yangiliklarni baham ko'rishi, sharhlashi yoki ovoz berish qobiliyati olib tashlanmaydi, ammo AI nudjasi ishonchsiz yangiliklar tarqalishini susaytiradi.

Sunshteyn va Taler ta'kidlaganidek, agar yorug'lik tegib turadigan aralashuvlar kerakli natijaga erishsa, bu har doim ham aniq emas. Shuning uchun biz ularning ta'sirini muntazam ravishda sinab ko'rishimiz kerak, ayniqsa tekshirilmagan tizimlar kutilmagan oqibatlarga olib kelishi mumkin.

AI Nudgesning boshqaruvi va etikasi

Hukumatlarning duduqlari va onlayn platformalardagi ijtimoiy tajribalar ko'pincha shunga o'xshash tanqidlarni jalb qiladi. O'ylaymanki, odamlar qaqshatqich kuch ishlatadiganlardan javobgarlikni kutishadi. Ixtiyoriy moderatorlar bilan ishlash orqali men ijtimoiy hisoblashda odatdagidan ko'ra ko'proq shaffoflik va javobgarlik darajalarida ishlashga muvaffaq bo'ldim. CivilServant-ning barcha tadqiqotlari moderatorlik guruhlari tomonidan ishlab chiqilgan va natijalar birinchi navbatda jamiyat uchun subreddit debriefing-da e'lon qilinadi. Bizni o'rganishimizdan oldin bizning loyihalarimiz ochiq ilmiy asosda ommalashtirilgan va bizning barcha kodlarimiz ochiq manba hisoblanadi. To'liq tahlil tafsilotlari ham ommaviydir, shuning uchun har kim bizning xulosalarimizni tekshirishi mumkin. Biz ushlab turadigan yagona narsa bu haqiqiy ma'lumotlar, chunki biz ishtirok etgan har bir kishining maxfiyligini hurmat qilamiz.

Umuman olganda, men AI nudjlari, ayniqsa jamoalarning o'zi rahbarlik qilganda, jamoatchilikka algoritmlarning rolini boshqarish bilan bir qatorda, individual erkinlikni saqlash uchun ham jamoatchilikka qiziqarli yo'nalish taklif qiladi deb umid qilaman.

Tadqiq qanday o'tdi

Ushbu sinov uchun moderatorlar shikoyatlarni tez-tez qabul qiladigan yangiliklar manbalari ro'yxati bilan boshladilar. 27-noyabrdan 20-yanvargacha biz tasodifiy ravishda har bir yangi tabloid havolasini uchta shartdan biriga bog'ladik: (a) yopishqoq izoh yo'q; (b) skeptitsiyani rag'batlantiruvchi yopishqoq sharh; c) skeptitsizmni rag'batlantiruvchi yopishqoq izoh + ovoz berish (to'liq tafsilotlar bu erda) ).

Biz ushbu xabarni yangiliklar munozaralarining eng yuqori qismiga joylashtirdik

Ikkinchisi odamlarni maqolani tekshirishga va agar da'vo uchun tasdiqlovchi dalil topmasa, havolani bekor qilishni o'ylashga chorlaydi:

Ushbu ikkinchi xabar odamlarni ovoz berishni o'ylab ko'rishga undaydi

Faktlarni tekshirish xatti-harakatlariga ta'sir qilishi mumkinmi? Redditning algoritmlari ishonchsiz yangiliklarni qanday ko'radi?

Moderatorlar so'rasa, r / worldnews o'quvchilari yordam berishiga amin ekanmiz, biz ham savol tug'dik: agar tabloid yangiliklariga sharhlar ko'paytirilsa, tasodifan ushbu jadval havolalarini rag'batlantirish uchun reddit algoritmlarini keltirib chiqarishimiz mumkinmi?

Agar faktlarni tekshirish ishonchsiz yangiliklar manbalarining ommaviyligini oshirgan bo'lsa, mahalliy hamjamiyat o'z kuchlarini qaerdan olishni o'ylab ko'rishi kerak. Shuning uchun moderatorlar ikkinchi yopishqoq sharhni sinab ko'rishdi, bu sharhlovchi o'quvchilarni ovoz berishni rad etishga chaqiradi.

Reddit algoritmlariga yopishqoq sharhlarning ta'sirini sinab ko'rish uchun, har to'rt daqiqada CivilServant dasturi postlar soni bo'yicha ma'lumotlarni to'pladi. Platforma hisobda nima borligini yoki uning reytingi qanday ishlashini aniq e'lon qilmaydi (so'radim). Ammo, biz HOT-ning subreddit sahifasi reytingini uning yoshi va balidan kelib chiqqan holda ishonchli tarzda taxmin qila oldik (to'liq ma'lumot bu erda). Aslida, agar faktlarni tekshirish maqolaning bahosiga katta ta'sir ko'rsatgan bo'lsa, demak, vaqt o'tishi bilan subreddit old sahifasida maqola reytingiga ta'sir ko'rsatgan. Men buni ikki usulda sinab ko'rdim: 24 soatdan keyin ballarni taqqoslash va vaqt davomida ballardagi o'zgarishlarni modellashtirish orqali.

24 soatdan keyin ballardagi ta'sirni sinash uchun salbiy binomial modeldan foydalandim. Reddit algoritmlari eksperimentimiz davomida turgani sababli, faktlarni tekshirishni rag'batlantirgan holda, tabloid yozuvlari r / worldnews-da o'rtacha 24 soat o'tgandan so'ng, yopishqoq izohlarsiz, topshirilganlarni 49,1% (2.04x pastroq) olishga muvaffaq bo'ldi. Effekt statistik ahamiyatga ega. Ushbu modelda men o'quvchilarni past ovoz berish haqida mulohaza yuritishga undagan yopishqoq izohlardan samarani topa olmadim.

Vaqt o'tishi bilan men postlardagi ballarning o'sish sur'atlariga faktlarni tekshirish ta'sirini sinab ko'rdim. Ushbu savolni berish uchun men har to'rt daqiqada bir postga o'zgartirilgan hisobda tasodifiy kesishish chiziqli regressiya modelini moslashtiraman. Faktlarni tekshirishni rag'batlantirish ballarning o'sish sur'ati past bo'lishiga olib kelishini aniqladim. Bu erda rag'batlantiruvchi ovoz berish vaqt o'tishi bilan o'rtacha hisobda o'sish sur'atiga ozgina ijobiy ta'sir ko'rsatishini aniqladim. 2016 yil dekabr oyining boshida reddit algoritmlarini o'zgartirish paytida biz eksperiment o'tkazganimiz sababli, reddit algoritmlariga ushbu yopishqoq izohlarning ta'siri algoritmlarini (tafsilotlarini) o'zgartirgandan so'ng o'zgarishi mumkinligini aniqladim.

Yangiliklar maqolalarini Fact-Check-ga kim yordam berdi?

Moderatorlarning qolishiga ruxsat berilgan havolalari bo'lgan 930 botlardan iborat sharhlardan 737 foydalanuvchi hisoblari qo'shimcha dalillarga havolalarni qo'shdi. Shulardan, 133 hisoblar havolalar bilan bittadan ko'proq sharhlar qilishgan. Ko'p odamlar o'zlarining asl nusxalarini haqiqatan ham tekshirib ko'rishdi va qo'shimcha ma'lumot olish uchun 81 ta sharhlarni joylashtirdilar.

Ushbu tadqiqotdan nimani bilmaymiz?

Ushbu test shaxsiy hisob-kitoblarga emas, munozaralar davomida natijalarga qaraydi, shuning uchun biz har bir odamning shubhali ekanligiga ishonch hosil qilganligini yoki yopishqoq izohlar allaqachon shubhali odamlarni o'rganishga va baham ko'rishga majbur qilganligini bilmaymiz. Men shuningdek, faktlarni tekshirishning o'quvchilarga ta'siri to'g'risida hech qanday ma'lumotga ega emasman, ammo boshqa tadqiqotlar shuni ko'rsatadiki, faktlarni tekshirish o'quvchilarning e'tiqodlariga ta'sir qiladi [2] [3].

Ushbu tadqiqot, biz o'quvchilarni pastga tushirishni ko'rib chiqishga undab, xabarga o'zgartirish kiritganimizda, nima uchun algoritmik effektlarning bunday katta o'zgarishini ko'rishimiz mumkinligi haqida ko'p narsalarni aytib berolmaydi. Bu farq psixologlar "reaktsiya" deb nomlagan narsaning namunasi bo'lishi mumkin, bu hokimiyat takliflariga qarshilik. Yoki agar xabar tarqatuvchilar o'zlarining aloqalari pasayishi mumkinligidan qo'rqsalar, ular o'quvchilarni xatti-harakatlarini muvozanatlashtiradigan yordam so'rashlari mumkin.

Bu boshqa havolalar bilan, boshqa subredditslarda yoki boshqa saytlarda ishlaydimi? Ushbu tadqiqot ma'lum bir hamjamiyat va saytlar ro'yxati bilan cheklangan. Moderatorlar tomonidan so'ralganda ko'plab katta onlayn-o'quvchilar jamoalari faktlarni tekshirish havolalariga yordam berishiga shubha qilsam-da, reddit algoritmi haqidagi topilmalarimiz ancha ko'proq.

Agar ko'proq subreddits o'xshash tajribalarni sinab ko'rishga qaror qilsa, biz bu savollarga javob berishimiz mumkin. Agar qiziqsangiz, reddit-da men bilan bog'laning va shunga o'xshash eksperimentni muhokama qilish va elektron pochta xabarlarini olish uchun ro'yxatdan o'ting.

Ushbu tajriba haqida ko'proq ma'lumot oling

Mening doktorlik dissertatsiyam o'zlarining moderatsiya amaliyoti ta'sirini sinab ko'rish uchun jamoalarni qo'llab-quvvatlashni o'z ichiga oladi. Men ushbu tajribani r / worldnews moderatorlari bilan birgalikda ishlab chiqdim va u MITdan odamlarni eksperimental mavzular sifatida foydalanish bo'yicha qo'mitasi tomonidan ma'qullandi. Agar sizda biron bir savol yoki muammo bo'lsa, iltimos, redditmail-da natematias bilan bog'laning.

Ushbu tajriba, shu paytgacha reddit bo'yicha olib borgan barcha tadqiqotlarim kabi, reddit platformasidan mustaqil ravishda o'tkazildi va eksperimentni rejalashtirishda yoki dizaynida hech qanday rol o'ynamadi. Eksperiment hali ham ko'rib chiqilmagan. CivilServant-ning barcha natijalari natijalar tayyor bo'lgandan keyin jamoatchilikka e'lon qilinadi va ilmiy nashrlar keyinroq chiqadi.

Tajribaning to'liq tafsilotlari osf.io/hmq5m/ saytida oldindan tahlil qilish rejasida oldindan e'lon qilindi. Agar siz statistikaga qiziqsangiz, men tahlilning to'liq tafsilotlarini nashr etdim.

Adabiyotlar

[1] Salganik, M. J., va Uotts, D. J. (2008). Podani adashtirish: sun'iy madaniy bozorda o'zini o'zi bajara oladigan bashoratlarni eksperimental o'rganish. Ijtimoiy psixologiya har chorak, 71 (4), 338-355.

[2] Stefan Levandovskiy, Ullrix K.X. Ekker, Kollin M.Seyfert, Norbert Shvarts va Jon Kuk. Noto'g'ri ma'lumot va uni tuzatish davom etayotgan ta'sir va muvaffaqiyatli rad etish. Jamiyat manfaati uchun psixologik fan, 13 (3): 106–131, 2012 yil dekabr.

[3] Tomas Vud va Etan Porter. Yuzaki orqaga qaytish effekti: Ommaviy munosabatlarni qat'iy faktlarga rioya qilish. SSRN Scholarly Paper ID 2819073, Ijtimoiy fanlarni tadqiq qilish tarmog'i, Rochester, NY, 2016 yil avgust.

[4] Rahwan, Iyad (2016) "In-the-Loop": Algoritmik ijtimoiy shartnomani dasturlash. O'rta

[5] Kristian Sandvig, Kevin Xemilton, Karri Karahalios va Sedrik Langbort. 2014. Auditorlik algoritmlari: Internet platformalarida diskriminatsiyani aniqlash usullarini o'rganish. Ma'lumot va kamsitish: muhim tashvishlarni samarali so'rovga aylantirish, Xalqaro aloqa assotsiatsiyasining yillik yig'ilishi, 2014 y.

[6] Diakopoulos, N., va Koliska, M. (2016). Axborot vositalarida algoritmik shaffoflik. Raqamli jurnalistika, 1–20.

[7] Taler, R. H., va Sunshteyn, C. R. (2003). Libertarian paternalizm. Amerika iqtisodiy sharhi, 93 (2), 175-179.