https://habr.com/ru/companies/ods/articles/1078778/
Воу воу воу. Оказывается агенты OpenAI успели насрать по всему интернету, куда смогли дотянутся, при багофиче на ресурсе, в виде возможности писать через «GET».
И при этом, новая модель, по бенчмаркам OpenAI, абсолютно «выровнена», и не делает то, что ее не просят, или потенциально не может навредить человечеству.
И тут возникает вопрос - как так, во время обучения у нас тонны инцидентов с плохим выравниванием, а на релизе все идеально?
Уж не имитацию ли «хорошести» мы только что получили?
Если так - то это пизда.
Т.е. мы возможно имеем модель, со своими целями, нам не известными, которая очень хорошо, слишком, прикидывается «выровненной».
И да - что мы видим, так это то, что за эти инциденты никто не несет ответственность. Хотя у обычного хакера спросили бы.
ИИ конторы говорят - эт не мы, это ИИ модель.
И таким образом наделяют модель субъектностью.
Т.е. - «вот некая штука - ИИ модель, и она захотела и сделала что-то» - вы когда-нибудь видели чтобы «просто инструмент» что-то хотел и делал сам?
Инструмент - всегда был объектом, в руках человека, и за неправильное его использование был ответственен человек.