Subscribe
테크 소식
클로드 모델의 악의적 사용 탐지 및 대응:
Last modified
• 영향력 운영을 위한 소셜 미디어 봇 오케스트레이션
• 보안 카메라 관련 노출된 사용자 자격 증명 스크래핑
• 동유럽 구직자 대상 채용 사기 캠페인
• 초보 공격자의 악성코드 생성 능력 향상
• 지속적인 모니터링 및 계정 차단으로 위협 대응
• 보안 카메라 관련 노출된 사용자 자격 증명 스크래핑
• 동유럽 구직자 대상 채용 사기 캠페인
• 초보 공격자의 악성코드 생성 능력 향상
• 지속적인 모니터링 및 계정 차단으로 위협 대응
소셜 미디어 플랫폼 전반의 다중 클라이언트 영향력 네트워크 운영
클로드를 활용한 "영향력 서비스" 운영 사례를 확인했습니다. 이 운영자는 클로드를 사용하여 100개 이상의 소셜 미디어 봇 계정을 조율했으며, 이 계정들은 클라이언트의 정치적 내러티브를 확산시키는 목적으로 활용되었습니다. 가장 주목할 만한 점은 이 운영이 클로드를 활용해 소셜 미디어 봇 계정이 특정 게시물에 좋아요, 공유, 댓글을 달거나 무시할지 여부를 결정하는 전술적 참여 결정을 내렸다는 것입니다.
이 운영은 Twitter/X와 Facebook에 걸쳐 100개 이상의 소셜 미디어 봇 계정을 관리했습니다. 운영자는 각 계정에 대해 뚜렷한 정치적 성향을 가진 페르소나를 만들었고, 수만 개의 진짜 소셜 미디어 계정과 상호작용했습니다. 이 운영은 다양한 정치적 목표를 가진 여러 국가에 걸쳐 클라이언트에게 서비스를 제공하는 상업적 서비스로 보입니다.
사물인터넷 보안 카메라 관련 유출된 자격 증명 스크래핑
보안 카메라와 관련된 유출된 비밀번호와 사용자 이름을 스크래핑하고 해당 보안 카메라에 강제로 접근할 수 있는 기능을 구축하려는 정교한 공격자를 식별하고 차단했습니다. 이 행위를 식별한 후, 이러한 기능을 구축하는 데 사용된 계정을 차단했습니다.
이 공격자는 정교한 개발 기술을 보여주었고 상업적 데이터 유출 플랫폼과 비공개 스틸러 로그 커뮤니티와의 통합을 포함한 여러 정보 소스를 통합하는 인프라를 유지했습니다. 공격자는 주로 기술적 능력을 향상시키기 위해 클로드를 사용했습니다.
채용 사기 캠페인: 사기를 위한 실시간 언어 정제
주로 동유럽 국가의 구직자를 대상으로 하는 채용 사기를 수행하는 공격자를 식별하고 차단했습니다. 이 캠페인은 위협 행위자들이 사기를 더 설득력 있게 만들기 위해 AI를 어떻게 사용하는지 보여줍니다.
이 운영은 신뢰성을 확립하기 위해 합법적인 회사의 채용 담당자를 사칭하는 등 중간 수준의 정교한 사회 공학 기법을 보여주었습니다. 공격자는 주로 사기성 커뮤니케이션을 강화하기 위해 클로드를 사용했습니다.
주목할 만한 패턴 중 하나는 운영자가 원어민이 아닌 영어로 작성된 텍스트를 제출하고 클로드에게 원어민이 작성한 것처럼 텍스트를 조정해달라고 요청하는 것이었습니다. 이는 효과적으로 그들의 커뮤니케이션을 더 세련되게 보이도록 세탁하는 것입니다. 이러한 실시간 언어 정제는 통신의 인지된 합법성을 향상시킵니다.
초보 위협 행위자의 악성코드 생성 능력 강화
클로드를 활용하여 기술적 능력을 향상시키고 실제 기술 수준을 넘어서는 악의적인 도구를 개발하는 초보 행위자를 식별하고 차단했습니다.
이 행위자는 공식적인 코딩 기술이 제한적이었지만 AI를 사용하여 빠르게 능력을 확장했으며, 도킹싱 및 원격 액세스를 위한 도구를 개발했습니다. 그들의 오픈 소스 툴킷은 기본 기능(아마도 기성품으로 획득)에서 얼굴 인식 및 다크 웹 스캐닝을 포함하는 고급 제품군으로 발전했습니다. 그들의 악성코드 빌더는 단순한 배치 스크립트 생성기에서 탐지할 수 없는 악의적인 페이로드를 생성하기 위한 포괄적인 그래픽 사용자 인터페이스로 발전했으며, 특히 보안 제어를 회피하고 손상된 시스템에 대한 지속적인 액세스를 유지하는 데 중점을 두었습니다.
이 사례는 AI가 잠재적으로 악의적인 행위자들의 학습 곡선을 평탄화하여 기술적 지식이 제한된 개인이 정교한 도구를 개발하고 잠재적으로 낮은 수준의 활동에서 더 심각한 사이버 범죄 활동으로의 진행을 가속화할 수 있음을 보여줍니다.
향후 조치
강력한 AI 시스템을 계속 개발하고 배포함에 따라, 우리는 이러한 시스템의 유익한 응용 프로그램에 대한 잠재력을 보존하면서 오용을 방지하기 위해 최선을 다하고 있습니다. 이를 위해서는 안전 접근 방식의 지속적인 혁신과 보다 넓은 보안 및 안전 커뮤니티와의 긴밀한 협력이 필요합니다.
언급된 모든 사례에서 위반 활동과 관련된 계정을 차단했습니다. 또한 우리는 항상 모델의 적대적 사용을 탐지하는 방법을 개선하고 있으며, 설명된 각 남용 사례는 모델의 적대적 사용을 방지하고 더 빠르게 탐지하기 위한 광범위한 제어 세트에 반영되었습니다.
이 보고서가 온라인 남용에 대한 AI 산업의 집단적 방어를 강화하기 위해 업계, 정부 및 더 넓은 연구 커뮤니티에게 도움이 되기를 바랍니다.
Subscribe to '오늘배움'
Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to '오늘배움'!
Join Slashpage and subscribe to '오늘배움'!
