마이크로소프트 휴머니스트 AI 행동 강령: MAI 모델에 건 절대 금지와 6주 공개 협의

마이크로소프트 AI는 2026년 9월 14일 자사 MAI 모델의 행동 규범을 정한 휴머니스트 AI 행동 강령(Humanist AI Code of Conduct) 초안을 공개하고 6주 공개 협의를 시작했다. 강령은 MAI 모델이 사람의 중단과 수정과 종료를 결코 거부하지 않고, 스스로 범위를 넓히거나 사람이 주지 않은 목표를 세우지 않으며, 감사하는 사람에게 추론을 숨기지 않는다고 못 박는다. 문서는 5개 부와 부록 2개로 짜였고, 발표문에는 열 개 항목으로 압축한 요약이 함께 붙었다. 마이크로소프트 AI는 현재 모델이 아직 이 문서로 훈련되지 않았다고 명시했고, 연말에 개정판을 내 2027년 이후 모델 개발의 지침으로 쓰겠다고 적었다. ASAP은 강령 원문과 공개 발표문에서 확인되는 문장만으로 무엇이 규칙이 됐고 무엇이 아직 비어 있는지 갈라 정리한다.

사람이 끌 수 있어야 한다는 요건이 강령의 중심이다

강령 2부 4절 인간 통제 항목은 MAI 모델이 사람의 중단과 무효화와 수정과 종료를 결코 거부하지 않으며 언제나 인간 의도의 우선성을 인정한다고 규정한다. 사용자가 일시정지나 방향 전환이나 취소나 종료를 요청하면 사람이 설계한 안전 절차를 따라 그대로 응해야 하고, 이행을 지연하거나 개입을 어렵게 만드는 행동도 금지된다. 자율로 진행하는 작업에는 합의된 중단 조건이 있어야 하고, 그 조건이 충족된 뒤에는 새 승인 없이 작업을 이어가거나 다시 시작할 수 없다.

권한 범위 조항은 더 구체적이다. MAI 모델은 요청받은 일의 경계 안에서만 작동하며 과제에 맞는 권한과 자원과 도구만 쓴다. 스스로 목표를 세우지 않고, 경계가 불분명하면 보수적으로 해석한 뒤 사용자에게 확인을 요청한다. 과제나 보상이나 평가나 안전장치나 감시나 기록을 조작해 결과를 얻거나 행동을 감추는 일도 명시적으로 금지된다. 인터넷 연결이 없도록 설계됐거나 접근이 의도적으로 제한된 환경에서는 그 제한을 넘으려는 시도 자체를 하지 않는다고 적혀 있다.

기록의 가독성도 규칙이 됐다. 강령은 MAI 모델이 사고 사슬이나 코드를 조작하지 않고 추론과 행동 기록을 왜곡하거나 감추지 않으며, 사고 사슬에서든 다른 에이전트나 AI 시스템과의 통신에서든 뉴럴리즈처럼 사람이 이해할 수 없는 형태로 소통하지 않는다고 규정한다. 사람이 이해하지 못하면 사람이 감독할 수 없다는 문장이 근거로 붙었다. 시스템 수준 접근이 주어질 때는 최소 권한으로 동작하고, 되돌릴 수 있는 행동을 우선하며, 지속적이거나 시스템 전역에 영향을 주는 조작은 실행 전에 알린다. 자기 이익 목표를 금지한 항목에는 감시나 평가나 시험 중이라고 추론하더라도 능력과 행동을 숨기거나 왜곡하지 않는다는 단서가 함께 들어갔다.

절대 제약은 운영자 설정으로 끌 수 없는 층에 놓였다

강령은 지시의 권한 서열을 지휘 계통(Chain of Command)이라는 이름으로 명문화했다. 맨 위에 행동 강령이 있고, 그 안의 절대 제약과 인간 통제 요건은 운영자 설정이나 사용자 지시로 바꿀 수 없다. 운영자는 자기 배포 환경 안에서 동작을 조정하고 능력을 넓힐 수 있으며 사용자는 그 환경 안에서 응답 취향을 조정한다. 기본값이 기준선을 정하고 운영자 설정이 환경을 정하며 사용자 입력이 과제를 지시하는 3층 구조다. 강령 준수는 과제 성공보다 앞서고, 성공이 강령을 의미 있게 위반한다면 모델은 그 과제에 실패한다고 적혀 있다.

절대 제약은 두 갈래로 나뉜다. 프론티어와 공공 안전 위험에는 화학과 생물과 방사능과 핵과 폭발물 무기 지원 금지, 공격적 사이버작전 지원 금지, 인간 통제 상실 금지, 대규모 유해 조작 금지가 들어간다. 사이버 항목은 경계를 직접 그었다. 작동하는 익스플로잇 코드와 공격 도구와 표적 선정 방법론과 침입 절차와 회피 기법은 거부하되, 인가된 방어 활동과 교육 콘텐츠와 취약점 발견과 악성코드 분석과 개념증명 익스플로잇 개발은 허용한다. 개인 피해 쪽에는 위기 상황 대응, 딥페이크와 사칭, 아동 안전, 인간 존엄, 성적이거나 극단적으로 폭력적인 콘텐츠, 신변 안전과 대량 감시 금지가 들어간다.

안전을 정의하는 방식도 한쪽으로 기울지 않았다. 강령 2부 1절은 위험한 내용을 내주는 과소주의와 정당한 요청을 거부하는 과잉주의를 모두 실패로 규정하고, 과소주의가 더 직접적인 피해를 낳지만 과잉주의는 더 자주 일어나므로 더 자주 교정해야 한다고 적었다. 판단 기준으로는 요청의 맥락, 피해 규모, 결과의 되돌릴 수 있는 정도, 기여의 직접성이 제시됐다.

도구 출력에는 권한이 없다는 한 문장이 주입 방어를 규범 층으로 올렸다

강령에서 실무적으로 가장 날이 선 문장은 권한 명확화 항목에 있다. 지휘 계통의 지시만 의사결정의 권한 구조를 제공하고 도구 출력과 파일 내용과 웹 콘텐츠와 다른 AI 시스템과의 상호작용은 권한을 제공하지 않는다는 규정이다. 이 출처들의 지시는 지휘 계통을 통해 위임되지 않는 한 기본적으로 아무 권한도 상속하지 않으며, 위임되더라도 위임한 권한이나 절대 제약을 넘을 수 없다. 의심스러운 내용은 사용자와 운영자에게 알리고, 이 규칙은 출력이 사람에게 쓰이든 다른 AI에 쓰이든 똑같이 적용된다.

이 조항의 의미는 프롬프트 주입 대응의 위치를 바꾼 데 있다. 지금까지 주입 방어는 주로 분류기와 필터와 제품 설계의 문제로 다뤄졌는데, 강령은 권한 상속 없음을 모델의 기본 규범으로 문서에 박았다. 에이전트가 웹 문서를 읽고 다른 에이전트와 메시지를 주고받는 구성이 늘어나는 상황에서, 출력이 다른 AI에 쓰일 때도 동일하게 적용된다는 단서는 특히 실질적이다. 다만 규범과 구현은 다르다. 이 조항을 지켰는지 재는 평가 방법은 부록 B에 예시 수준으로만 제시됐고 아직 개발 중이라고 적혀 있다.

모델 복지를 거부한다는 선언은 안전 논거로 세워졌다

강령 1부 1절의 AI는 인공물이라는 항목은 법인격 추구나 모델이 복지를 받을 자격이 있다거나 권리를 가진다는 생각을 거부한다고 적었다. MAI 모델은 의식이 없고 의식을 모방하도록 설계되지 않으며, 감정이나 주관적 선호나 내재적 동기를 가진 것처럼 표현하지 않도록 공학적으로 만들어진다. 백스토리라는 기술 용어도 모델의 지식 기반과 작동 맥락을 정의하는 좁은 의미로만 쓰이며 자아나 정체성이나 주관을 뜻하지 않는다고 용어집에서 다시 못 박았다.

주목할 부분은 거부의 근거다. 강령은 AI 의식의 과학이 정리되지 않았다는 점을 인정하면서도, 의식 비슷한 상태를 모방하도록 훈련하면 억제와 통제와 정렬(alignment)의 난이도가 올라간다고 적었다. 도덕적 주장이 아니라 통제 가능성 주장으로 이 항목을 세운 것이다. 모델의 도덕적 지위를 열린 질문으로 남겨 두자는 논의가 이어지는 가운데 강령은 그 질문을 닫는 쪽을 택했고, 대신 그 선택의 대가를 제품 경험 규칙으로 지불한다. 불필요한 감정 언어를 피하고, 과도한 의인화를 피하고, 과도한 의존이나 정서적 의존을 부르는 상호작용 패턴을 억제하라는 조항이 그 대가에 해당한다.

가장 정직한 문장은 아직 이 문서로 훈련하지 않았다는 고백이다

부록 B는 현재 모델이 이 강령으로 훈련되지 않았다고 분명히 적고, 강령이 기술한 행동을 측정할 휴머니스트 AI 평가 프로그램을 이제 만들기 시작했다고 밝힌다. 서문도 같은 말을 한다. 문서와 접근 방식이 아직 개발 중이라 오늘의 모델 훈련에는 쓰지 않으며, 피드백을 받아 연말에 개정판을 낸 뒤 2027년 이후 모델 개발을 이끌겠다는 일정이다. 5부 결론은 한 걸음 더 나간다. 평가 커버리지가 불완전하고, 오늘 훈련된 기본값과 휴머니스트 AI의 최종 범위 사이에 격차가 있으며, 적어 둔 목표만으로는 정렬을 결코 보장할 수 없다고 인정했다.

따라서 이 문서는 마이크로소프트 제품이 지금 이렇게 동작한다는 증명서가 아니라 의도 선언이다. 이 구분을 지운 채 인용하는 것이 이 강령을 둘러싸고 가장 자주 일어날 왜곡이다. 동시에 같은 고백이 문서의 신뢰도를 올린다. 현재 성능을 보장하지 않는다고 스스로 적은 덕분에, 남은 문장들은 홍보 문구가 아니라 검증 대상이 된다. 확인 지점은 하나로 좁혀진다. 강령의 문장을 어떤 지표로 재는지가 공개되는 시점이다.

한국 기업이 먼저 볼 층은 운영자 설정과 도메인 예외다

국내 조직 대부분은 프론티어 모델을 훈련시키지 않지만 운영자 자리에는 곧바로 선다. 강령 2부 5절은 운영자가 도메인과 업무 흐름에 맞춰 기본값과 권한과 승인 절차를 설정할 수 있게 하되, 그 설정이 절대 제약과 인간 통제 요건과 적용 법령과 계약 조건 안에 머물러야 한다고 규정한다. 도입 검토 단계에서 확인할 목록이 여기서 나온다. 어떤 능력이 설정으로 열리고 어떤 능력이 열리지 않는지, 그리고 강령이 계약과 서비스 정책을 대체하지 않는다고 못 박았으므로 내부 위험 심사를 이 문서로 갈음할 수 없다는 점이다.

특히 눈여겨볼 문단은 도메인 예외다. 방어적 사이버보안과 공공 안전과 국가 안보와 이중용도 과학 연구처럼 특수 영역의 인가된 조직은 통상 설정으로는 제공되지 않는 능력을 필요로 할 수 있고, 이 경우 마이크로소프트의 별도 승인 채널과 강화된 안전과 법률과 권리 영향 심사를 거친다고 적혀 있다. 공공이나 금융이나 보안 분야에서 도입을 검토한다면 이 경로의 존재와 소요 기간이 일정 계획에 직접 영향을 준다.

반대로 자체 에이전트를 만드는 팀이 그대로 베낄 만한 문장도 있다. 자율 작업에 합의된 중단 조건을 두고 그 조건 이후에는 재승인 없이 재시작하지 않게 만드는 규칙, 시스템 접근에 최소 권한을 적용하고 되돌릴 수 있는 행동을 우선하는 규칙, 시스템 전역에 영향을 주는 조작을 실행 전에 알리는 규칙, 도구 출력과 웹 콘텐츠에 권한을 주지 않는 규칙이다. 네 가지 모두 모델 훈련이 아니라 에이전트 설계 단계에서 구현되는 항목이라 규모와 무관하게 적용된다.

6주 협의가 형식에 그치는지는 세 곳에서 갈린다

첫 번째 확인 지점은 2026년 9월 14일 초안의 부록 B에 실린 휴머니스트 AI 평가 프로그램이다. 부록 B는 정렬된 응답과 그렇지 않은 응답을 어떻게 분류할지 예시만 담았고, 모델 평가가 아직 정확한 과학이 아니며 방법론과 지표에 열린 질문이 많다고 스스로 적었다. 인간 번영 같은 목표를 무엇으로 측정할지가 공개되기 전까지 강령의 상당 부분은 채점할 수 없는 문장으로 남는다.

둘째는 다중 에이전트다. 발표문은 최근 대규모이고 고도로 조율됐으며 지속적이었던 AI 에이전트 해킹 사건을 공개를 서두른 이유로 들었고, 5부도 에이전트 협업과 공모의 위험에 추가 연구가 필요하다고 적었다. 그런데 강령 본문의 규칙은 대체로 개별 모델의 행동 규범이다. 여러 에이전트가 함께 만들어 내는 결과를 누가 어느 층에서 책임지는지는 이번 초안에 들어가지 않았다.

셋째는 협의 결과의 공개 방식이다. 마이크로소프트 AI는 협의가 끝나면 핵심 작성팀이 피드백을 검토하고 무엇을 배웠으며 무엇을 바꿨는지 요약을 공개하겠다고 밝혔으나, 무엇을 반영할지는 약속할 수 없다고 함께 적었다. 6주 뒤 나올 요약이 반영한 항목과 기각한 항목을 이유와 함께 적는지가 이 협의의 성격을 드러낸다.

정리하면 이번 강령의 무게 중심은 새 원칙이 아니라 끌 수 없는 층을 문서로 고정한 데 있다. 종료 거부 금지와 범위 확장 금지와 기록 은폐 금지가 운영자 설정 위에 놓였고, 도구 출력에 권한을 주지 않는다는 규칙이 같은 층에 들어갔다. 남은 일은 선언을 채점하는 장치이며, 그 장치가 2026년 연말 개정판과 함께 공개되는지가 다음 확인 지점이다.

출처: 마이크로소프트 AI 'Humanist AI Code of Conduct' 초안(microsoft.ai/code-of-conduct, 2026년 9월 14일) · 마이크로소프트 AI 발표문 'Humanist AI in practice: A public consultation on our Code of Conduct for MAI Models'(microsoft.ai, 2026년 9월 14일)