Összefoglaló

Miért jelenhet meg torzítás?

• Ha a betanításhoz használt adatok már eleve tartalmaznak társadalmi egyenlőtlenségeket vagy múltbeli diszkriminációt.

• Ha a rendszer olyan változókat használ, amelyek közvetetten utalnak érzékeny adatokra (pl. lakóhely, intézményi előtörténet).

• Ha technikai szempontból nem megfelelő a modell kialakítása, nem történik független ellenőrzés vagy rendszeres audit.

Hol jelenhet meg torzítás a gyermek–család illesztésben?

• Bizonyos gyerekek hátrányos megítélése (pl. idősebbek, roma származásúak, fogyatékossággal élők) a korábbi vagy társadalmi torzításokat tükröző adatok miatt.

• Bizonyos örökbefogadók előnyben részesítése olyan mintázatok alapján, amelyek nem objektív, hanem történeti torzítást tükröznek.

• Az ajánlási rendszer nem a gyermek érdekeire fókuszál, hanem az adatokban fellelhető trendekre.

Következmények

• Felerősítheti a már meglévő hátrányokat.

• Csökkentheti az átláthatóságot, hiszen nehezebben érthető, miért kapnak bizonyos családok vagy gyermekek magasabb prioritást.

• Bizalomvesztéshez vezethet az ellátórendszerben.

Mit lehet tenni a torzítás csökkentéséért?

• Az algoritmusok fejlesztésekor olyan kontrollokra van szükség, amelyek kifejezetten vizsgálják a hátrányos megkülönböztetés kockázatát.

• Kizárni vagy korlátozni kell az érzékeny és érzékenyre utaló adatokat, ahol csak lehetséges.

• Rendszeres, független auditálás szükséges, ahol ellenőrzik, hogy a modell döntései nem mutatnak mintázatos diszkriminációt.

• Biztosítani kell az emberi felülvizsgálat lehetőségét, különösen kritikus döntések esetében.