서버 해킹 당한거 같은데요.

보안 뚫린거 맞는것 같고,

https://www.google.com/amp/s/www.cyberciti.biz/faq/show-all-running-processes-in-linux/amp/

이걸로 언제 누가 무슨명령 실행했는지 확인해보시고

syslog 로 ssh 침투여부 확인해보세요

비공개 손님 … 2019-11-09 16:29:39

감사합니다. ㅠ.ㅠ 코드멍키님.

비공개 손님 … 2019-11-09 19:56:39

캬 cpu 풀로 돌리면서 채굴중인듯

비공개 손님 … 2019-11-09 20:30:16

5/ 인프라 담당자도 그렇게 얘기하더라고요. 채굴하는 것 같다고.

네트워크를 막고서는 포맷하면 풀어줄거라해서...
코멍님 링크에 프로그램 설치도 못하고해서 일단 포맷을 했습니다.

이게 두 번 째 포맷인데요.

- 첫번쨰 위와 같은 현상이 있고나서 포맷하라고 해서 어제 포맷 후, 백업 데이터 마운트 하고, 서비스 일부를 도커로 복구했었습니다. (원래는 도커없이 서빙)

- 근데 오늘 새벽즈음부터 같은 현상이 발생해서 급히 서버내리고 제가 게시판에 글을 쓴 것이고,

- 또 네트워크 막혀서 방금 또 포맷했습니다. 이번엔 코멍님이 알려주신 툴 설치 + clamav 설치, 백업 데이터 마운트 까지만 해두고 백업 데이터들에 대해 Clamav 돌려놨습니다.

1. Clamav를 돌리긴해뒀는데 이게 맞는지 모르겠네요. 백업 데이터가 오염되었는지 확인 방법이 궁금합니다.
2. 제가 구성한 서비스에 보안 헛점이 있는지 확인 방법이 어떤 것들이 있을까요?

비공개 손님 … 2019-11-09 22:57:30

1.시스템 레벨 보안:

1-a.시스템 업데이트는 주기적으로 매번 하세요.
1-b. ssh 로그인을 id/비번으로 하게하는걸 ssh 키만 쓰도록 하는걸로 바꾸세요. 단, 키 쓰는사람들 PC 에 악성프로그램 안깔려있는지 확인은 필수. 키 유출되면 같은 일이 또 벌어집니다.
1-c. 인텔 CPU 이슈인지도 확인 필요 (Meltdown / Spectre)
1-d. 특정 포트의 inbound IP/Mac ADDR 의 주소를 반드시 한정지어 두세요.
1-e. 인증 게이트웨이 서버를 하나 더 두고 kerberos 인증을 추가 도입하는것도 방법

2. 어플리케이션 레벨 보안:

이건 종류가 너무많아서 열거하자면 끝이없지만 제가 겪은 주요 사례들은
1-a. Apache .htaccess 관리잘못
1-b. Spring EL 보안오류
1-c. PHP 특정버전 보안문제 (및 불필요하게 실행권한이 상승된 상태)

등이 있읍니다.

비공개 손님 … 2019-11-09 22:58:49

사내에 토런트같은거 쓰는 병신새끼들 있는지 확인해보세요. Windows / Mac 환경 + Torrent쟁이 있다?

그회사 네트워크 오염되었을 확률 99.9999%

비공개 손님 … 2019-11-10 03:52:37

- 첫번쨰 위와 같은 현상이 있고나서 포맷하라고 해서 어제 포맷 후, 백업 데이터 마운트 하고, 서비스 일부를 도커로 복구했었습니다. (원래는 도커없이 서빙)

-> 원인을 찾지 못하고 포맷하면 별 의미 없을거에요 cpu 사용률 보면 채굴같은데 보통 저런 류의 공격은 IT회사에서 쓸만한 것들 알려진 포트 스캔 하면서(예를들면 aws, gcp 대역 같은것들) 나오면 무작위로 공격합니다. 저런 공격들이 보통 어플리케이션 레벨 취약점을 타고 /tmp 밑에 sclipt 떨궈서 외부에 코드 다운로드 받아서 돌아가는 경우가 많고 죽여도 다른 cron이나 서비스랑 엮여서 다시 살아나요. 프로세스 돌아가는 디렉토리 찾아보시고 crontab도 뒤져 보시고 /tmp 밑에 뭐 있나 보시면 좀 알 수 있을지도..

비공개 손님 … 2019-11-10 10:07:51

답변들 감사합니다. 제가 아는 정황 상 코멍님의 답변 중에

1-c. PHP 특정버전 보안문제 (및 불필요하게 실행권한이 상승된 상태)

요게 의심스럽네요. 두 번째 침입 때 httpd access 로그를 봤는데, 한 아이피에서 무작위 이름의 php 파일에 접근하는 기록이 있었어요.

PHP-FPM 7 로 돌리고 있었는데요. 하지만 설치 시 별도의 실행권한을 상승시킨 적도 없고 도커 안이라 이걸로 도커 호스트의 프로세스를 실행시킬 수 있을 것 같진 않아서 어리둥절하고 있습니다.

- crontab 에는 아무것도 없었습니다.
- /tmp 는 방금 살펴봤는데, ks-sclipt-ZIrv46 이라는 실행파일이 있더라구요. 검색해보니 centos 설치시 anarconda 가 사용하는 거 같습니다.

- 다시 도커로 서비스 올려보려고 합니다. 재발하면 알려주신대로 분석해보겠습니다.

비공개 손님 … 2019-11-11 19:13:09

침입 경로 찾았습니다.

제가 Solr 스터디용으로 사용자 제한 없이 띄워놓은게 있었는데 그 쪽으로 쿼리인젝션을 한 것 같습니다. Diff 떠서 변경사항 살펴보니, 백업데이터는 오염되지 않은 것 같습니다.

도커 안에서 추가된 파일들 복사해다가 분석해봐야겠네요.

모두들 감사합니다.

비공개 손님 … 2019-11-12 11:12:11

비공개 손님 … 2019-11-13 09:45:23

후일담)

여러분들의 조언으로 Solr가 침입 포인트가 되었는지 알 수 있었습니다.

이에 Solr 모니터링을 통한 간단한 Akamai 를 구현하고 일부러 사용자 제한 없이 띄워뒀습니다.

- 194.99.105.218 에서 침입

- Akamai 구동 (이 때 저도 콘솔로 보고 있었어요, 수동으로 IP 벤. Solr 도커 가드 올리고 재시작)

- 놀랐는지 194.99.105.218 에서 다시 한 번 똑같은 시도 (안됨)

- 194.99.105.218 에서 solr/admin/core 로 불순한 접근 시도 (Solr 가드 올려놔서 안되겠지)

- 163.172.158.115 에서 solr/admin/core 로 불순한 접근 시도 (안됌)

요기까지가 첫 침입 후 약 20분 동안 일어난 일입니다. 그리고 자고 일어나서보니 다음 IP들로부터 비슷한 접근 시도가 있었어요.

37.120.148.182
87.239.248.66
196.240.255.4
185.216.35.254
196.196.244.44
37.120.158.12
37.120.204.212
196.196.192.60
89.46.102.14
94.242.228.68

'admin 페이지를 니네들이 왜 봐?' 하며 다 블락했습니다. 요거 자동화 포인트네요.

위 IP들 위치 검색해봤더니 유럽 전역에 분포되어 있던데... 얘네들 가지고 뭐 더 해볼 수 있는게 있을까요?

비공개 손님 … 2019-11-13 10:15:29

그거 vpn ip 일건데 그거 때려잡는다고 해봐야 엄한사람만 피해봅니다. 그냥 무시하세요.

비공개 손님 … 2019-11-13 10:23:35

/15 넵. 알겠습니다. 감사드려요~

비공개 손님 … 2019-11-13 22:05:59

아 참고로 /admin 뭐 이딴 리퀘스트는 inbound openall 해두시면 숨쉬듯이 계속 들어와요 마구잡이로 ip대역 찍고 포트스캔 하면서 돌리는거라

비공개 손님 … 2019-11-14 00:50:39

17 / 넵, 입구에 haproxy 하나 달아서 acl 로 리다이렉팅을 해볼까 생각하고 있습니다.
감사합니다.

비공개 손님 … 2019-11-20 23:10:46

글 보며 공부 해갑니다 감사합니당~

댓글을 작성하실 수 없습니다.
(권한이 없는 회원레벨)

목록으로

△ 이전글: 음력 달력을 구현해 보았읍니다. [9]

▽ 다음글: 신입사원 교육에 좋은 개발건 [8]

TOP arrow_upward