Roblox je populárna online herná platforma pre deti. Je to aj miesto, kde sa ľudia, ktorí chcú zneužiť deti, vedome hľadajú publikum. Vo štvrtok Roblox oznámil Roblox Sentinel, systém umelej inteligencie, ktorý je navrhnutý na identifikáciu nevhodných správ v jeho chatovej funkcii. Roblox už zakazuje zdieľanie skutočných obrazov a osobných informácií, ako sú telefónne čísla a mená používateľov. Spoločnosť dúfa, že Sentinel bude včas označovať viac správ na vyšetrenie. Na platforme beží od konca roku 2024, ale bol práve tento týždeň oznámený.
Zástupca spoločnosti Roblox na žiadosť o komentár okamžite nezareagoval.
Akým spôsobom funguje Roblox Sentinel
Roblox vytvoril Roblox Sentinel, systém AI, ktorý pomáha odhaľovať znaky ohrozenia detí. Akonáhle Roblox zistí problémy, zástupcovia môžu vykonať vyšetrovanie a informovať orgány činné v trestnom konaní.
Sentinel vykonáva analýzu v reálnom čase na viac ako šiestich miliardách chatových správ každý deň. Neustále robí minútové snímky, ktoré sú automaticky analyzované AI na identifikáciu správ, ktoré by mohli byť škodlivé pre deti. Tieto správy sú tiež zhromažďované v priebehu času na zobrazenie vzorov, ktoré môžu byť ďalej skúmané a hlásené.
Sentinel označuje správy na základe svojho tréningu. Bol vyškolený, aby rozlišoval medzi bezpečnými správami a tými, ktoré boli predtým hlásené, pretože porušovali politiku ohrozenia detí spoločnosti Roblox.
Roblox Sentinel je dostupný ako open source
Podľa Robloxa, doteraz v roku 2025, Sentinel pomohol odhaliť 1 200 hlásení potenciálneho zneužívania detí, ktoré boli nahlásené Národnému centru pre nezvestné a zneužívané deti. Roblox dúfa, že sprístupní Roblox Sentinel ako open source, aby ho iné spoločnosti mohli integrovať do svojich systémov. Kód je teraz dostupný na webovej stránke Robloxa.
Nie je to prvý pokus Robloxa využiť AI na monitorovanie obsahu a zlepšenie online bezpečnosti. Na začiatku júla zdieľal, ako využíva AI na moderovanie obsahu v reálnom čase vo 25 jazykoch. A overenie veku je teraz dostupné pre tínedžerov, ktorí chcú chatovať.