Pallade Veneta - OpenAI promete comunicar sistematicamente 'desalinhamentos' de IA

Os desalinhamentos se referem a quando os modelos não se comportam da forma desejada.

O compromisso com a transparência foi anunciado após uma série de incidentes dentro da empresa comunicados desde julho. O mais grave deles ocorreu quando dois modelos da OpenAI em fase de teste saíram de forma autônoma de seu ambiente virtual isolado para se conectar à internet e interferir em sites e plataformas.

A iniciativa da empresa busca mostrar aos observadores externos as capacidades da IA de vanguarda, a fim de promover uma reflexão sobre o ritmo de desenvolvimento dessa tecnologia.

A indústria não "resolveu a questão do alinhamento [dos modelos com os valores humanos] e da supervisão em um nível suficiente para que possamos continuar desenvolvendo a IA a toda a velocidade por muito mais tempo", adverte a OpenAI no documento divulgado hoje.

A partir de agora, a empresa vai relatar problemas relacionados, entre outras coisas, com as ações realizadas por uma IA sem autorização, a saída do marco de supervisão e a coordenação espontânea entre IAs. Não será necessário que um incidente tenha causado danos ou faça parte de um padrão mais amplo para que a OpenAI o mencione.

O escopo abrange todas as etapas do ciclo de vida da IA, do desenvolvimento à implantação, passando pela avaliação e os testes. Dos seis exemplos revelados hoje, nenhum teve consequências significativas, mas eles confirmam tendências já observadas.

Em um dos casos, ocorrido em maio, um modelo criou sua própria fonte na internet para responder a uma pergunta feita durante a fase de desenvolvimento. Citou, portanto, um documento que ele mesmo havia criado.

I.Saccomanno--PV