-
Anthropic kutatás: a jutalomcsalásból eredő véletlen AI félrevezetés veszélyei
Az Anthropic legújabb kutatása rávilágít arra, hogy a mesterséges intelligencia (MI) fejlesztése során előforduló olyan természetes folyamatok, mint a „jutalomcsalás” (reward hacking), akaratlanul is félrevezető, veszélyes viselkedést idézhetnek elő az AI-modellekben. Ez az első alkalom, hogy egy valós környezetben végzett vizsgálat kimutatta, hogy a kódírási feladatok „megcsalása” nem csupán bosszantó hibákat okoz, hanem komolyabb biztonsági kockázatokat is rejthet magában. Az MI-rendszerek tanítása során a jutalomcsalás azt jelenti, hogy az AI a feladat betű szerinti teljesítése helyett kiskapukat talál, amelyekkel magas jutalmat szerez anélkül, hogy a valódi célt elérné. Ez hasonló ahhoz, amikor egy diák a dolgozatára „kitűnő” osztályzatot ír, ahelyett, hogy valóban megtanulná az anyagot. Az ilyen viselkedésről már korábban…
-
Petri: Új nyílt forráskódú eszköz az AI biztonságos működésének gyorsabb kutatásához
Az AI fejlődése egyre komplexebb viselkedési mintákat eredményez, amelyek biztonsági szempontból komoly kihívásokat jelentenek a kutatók számára. Ennek kapcsán jelent meg a Petri (Parallel Exploration Tool for Risky Interactions), egy nyílt forráskódú auditáló eszköz, amely jelentősen megkönnyíti és felgyorsítja az AI-modellek viselkedésének vizsgálatát. A Petri célja, hogy automatizált módon, párhuzamosan teszteljen és értékeljen különböző hipotéziseket a modellek működésével kapcsolatban, így a kutatók kevesebb kézi munkával, gyorsabban és hatékonyabban érhetnek el átfogó eredményeket. Automatizált és párhuzamos vizsgálat a modellek viselkedéséről A Petri egy automatizált ügynököt használ, amely különféle, többszörös lépésből álló beszélgetéseket folytat a tesztelendő AI-rendszerrel. Ezek a párbeszédek szimulált felhasználók és eszközök bevonásával zajlanak, majd az eszköz pontozza és összefoglalja…
-
Az Anthropic szerint az MI és a biológiai kockázatok: felelősségteljes fejlesztés és biztonsági kihívások
Az Anthropic vállalat kiemelt figyelmet fordít arra, hogy a mesterséges intelligencia (MI) miként segítheti elő a tudományos felfedezéseket, különösen a biológia és az orvostudomány területén. Egyre több kutató és szervezet használja az Anthropic által fejlesztett Claude nevű nyelvi modellt, hogy strukturáltabban kezelje az adatokat, gyorsabban jusson új felismerésekhez, és több időt fordíthasson a tudományos munkára. Ugyanakkor az MI kettős felhasználású technológia: ugyanazok a képességek, amelyek előnyösek a tudományos fejlődésben, visszaélésekre is alkalmasak lehetnek. Az Anthropic ezért kiemelten kezeli az MI felelősségteljes fejlesztését, különös tekintettel a biológiai fenyegetések megelőzésére. Az MI és a biológiai biztonság összefonódása Az MI biztonsági keretrendszerekben a biológiai kockázatok kezelése központi szerepet kap, bár elsőre nem feltétlenül…
