[해결 완료] OBS '서버에 연결하지 못했습니다' 오류 8가지 해결 방법

OBS Studio에서 스트리밍을 시작하려고 할 때 '서버에 연결하지 못했습니다(Failed to connect to server)'라는 오류 메시지가 나타나는 경우가 있습니다. 이 문제는 주로 구버전의 OBS 설치, 잘못된 Bind IP 설정, 또는 부적절한 MTU 값 설정 등으로 인해 발생합니다.

서버에 연결하지 못했습니다. 연결 시간이 초과되었습니다. 유효한 스트리밍 서비스가 구성되어 있고 방화벽이 연결을 차단하고 있지 않은지 확인하세요.

본격적인 해결 방법을 살펴보기 전에 아래 사항들을 먼저 점검해 보세요.

• 다른 네트워크 또는 같은 네트워크의 다른 기기에서 OBS 스트리밍이 정상 작동하는지 확인합니다.
• 사용 중인 스트리밍 서비스(트위치, 유튜브 등)의 서버가 정상 운영 중인지 확인합니다.
• 유선랜(이더넷) 케이블을 사용 중이라 하더라도 Wi-Fi를 활성화해 두세요.
• 이더넷 케이블이 일반 포트에 연결되어 있는지 확인합니다. 10GE 포트에는 호환성 문제가 있을 수 있습니다.
• PC와 공유기 등 네트워크 장비를 재부팅하면 문제가 해결되는지 확인합니다.
• Vodcast(녹화 송출)를 진행 중이라면 먼저 종료한 후 OBS로 다시 스트리밍을 시도해 보세요.

방법 1: 스트림 키 재발급 후 다시 입력하기

OBS 앱과 스트리밍 서비스 간의 일시적인 오류로 인해 서버 연결 문제가 발생할 수 있습니다. 이 경우 스트림 키를 초기화한 후 다시 입력하면 문제가 해결될 수 있습니다. 여기서는 페이스북 라이브(Facebook Live)를 예시로 설명하며, 사용하는 스트리밍 서비스에 맞게 절차를 따르면 됩니다.

1. 웹 브라우저에서 페이스북에 접속한 후 새 게시물 영역에서 라이브 비디오(Live Video)를 클릭합니다.
2. 스트림 키 사용(Use Stream Key)을 선택하고 페이지 맨 아래까지 스크롤합니다.
3. 스트림 키 옆의 초기화(Reset) 버튼을 클릭한 후 새로 발급된 스트림 키를 복사합니다.
4. OBS를 실행하고 화면 하단의 설정(Settings) 버튼을 클릭합니다.
5. 송출(Stream) 탭으로 이동하여 복사한 키를 스트림 키 입력란에 붙여넣습니다.
6. 변경 사항을 적용한 후 OBS가 문제없이 스트리밍되는지 확인합니다.

문제가 계속된다면 다른 계정(예: 트위치에서 문제가 발생했다면 다른 트위치 계정)으로 로그인했을 때 해결되는지 확인해 보세요.

방법 2: OBS 동적 비트레이트(Dynamic Bitrate) 활성화하기

스트리밍 도중 프레임 드롭(frame drop)이 발생하면 서버 연결 오류가 나타날 수 있습니다. 이때 동적 비트레이트 기능을 활성화하면 문제가 해결될 수 있습니다. (이 옵션은 OBS 버전 24 이상에서만 제공됩니다.)

1. OBS를 실행하고 설정을 엽니다.
2. 왼쪽 패널에서 고급(Advanced)을 선택하고 오른쪽 패널을 맨 아래까지 스크롤합니다.
3. 네트워크(Network) 섹션에서 혼잡 관리를 위해 비트레이트 동적 변경(Dynamically Change Bitrate to Manage Congestion) 옵션(Bind to IP 바로 아래)에 체크합니다.
4. 변경 사항을 적용하고 OBS를 다시 실행하여 정상 작동하는지 확인합니다.

방법 3: OBS와 운영체제를 최신 버전으로 업데이트하기

OBS 앱 또는 시스템 OS가 구버전이면 서로 간의 호환성 문제(그리고 스트리밍 대상 서버와의 비호환)가 발생하여 서버 연결 실패 메시지가 표시될 수 있습니다. 이 경우 OBS와 OS를 최신 빌드로 업데이트하면 문제가 해결될 수 있습니다.

OBS 앱 업데이트

1. OBS를 실행하고 상단 메뉴에서 도움말(Help)을 엽니다.
2. 업데이트 확인(Check for Updates)을 선택하고, 업데이트가 있다면 적용합니다.
3. PC를 재부팅한 후 OBS가 정상 작동하는지 확인합니다.

사용 중인 버전이 너무 오래되었다면 기존 버전을 삭제하지 않고 최신 버전을 다운로드/설치하여 문제가 해결되는지 확인하세요. PPA 기반 리눅스 배포판(예: 우분투)을 사용한다면 셸에서 다음 명령어를 실행해 보세요.

sudo apt install ffmpeg
sudo add-apt-repository ppa:obsproject/obs-studio
sudo apt update
sudo apt install obs-studio

운영체제 업데이트

여기서는 Mac을 예시로 설명하며, 사용 중인 OS에 맞는 절차로 업데이트를 진행하면 됩니다.

1. 애플 시스템 환경설정을 열고 소프트웨어 업데이트(Software Update)로 이동합니다.
2. OS 업데이트가 있는지 확인하고, 있다면 업데이트를 적용한 후 기기를 재부팅하여 OBS의 서버 연결 오류가 해결되었는지 확인합니다.

방법 4: 스트리밍 서버 변경하기

접속하려는 스트리밍 서버 자체에 문제가 있으면 OBS가 서버에 연결하지 못할 수 있습니다. 이 경우 다른 지역의 서버로 변경하면 문제가 해결될 수 있습니다. 여기서는 트위치(Twitch)를 예시로 설명합니다. 진행하기 전에 포트 스캐너를 사용해 서버 포트가 열려 있는지 확인하고, 열려 있다면 해당 포트를 수신(listening)하는 앱이 있는지 확인하는 것이 좋습니다.

1. OBS를 실행하고 설정을 클릭합니다.
2. 송출(Stream) 탭으로 이동하여 서버(Server) 드롭다운을 펼칩니다. (멀리 있는 서버의 경우 비트레이트를 낮춰야 할 수 있습니다.)
3. 다른 서버를 선택하고 변경 사항을 적용합니다.
4. 앱을 다시 실행하고 서버 연결 오류가 해결되었는지 확인합니다. 문제가 지속되면 목록의 모든 서버를 하나씩 시도해 보세요.

적합한 서버를 찾기 어렵다면 Twitch Test 유틸리티(또는 서버 핑 테스트)를 활용해 자신에게 가장 좋은 서버를 찾을 수 있습니다. 일부 서비스는 자동 구성(auto-configure) 옵션을 사용해 문제를 해결할 수도 있습니다.

방법 5: 고급 네트워크 설정에서 Bind IP 옵션 수정하기

고급 네트워크 설정의 Bind IP 옵션이 올바르게 구성되지 않으면 OBS가 서버에 연결하지 못할 수 있습니다. 이 경우 Bind IP를 올바르게 설정하면 문제가 해결될 수 있습니다.

1. OBS를 실행하고 설정을 엽니다.
2. 왼쪽 패널에서 고급(Advanced) 탭으로 이동하고 오른쪽 패널을 화면 끝까지 스크롤합니다.
3. 네트워크 섹션에서 Bind to IP 드롭다운을 펼치고 기본값(Default)을 선택합니다.
4. 이미 기본값으로 설정되어 있다면 시스템의 네트워크 연결 이름과 IP 주소(가능하면 IPv4 주소)를 선택합니다. Bind to IP 옵션이 회색으로 비활성화되어 있다면 NDI, 가상 카메라 등 모든 OBS 출력을 비활성화한 후 다시 시도하세요.
5. 변경 사항을 적용하고 OBS가 서버에 정상적으로 연결되는지 확인합니다.

방법 6: 시스템 방화벽에서 OBS 허용하기

시스템 방화벽이 OBS 작동에 필수적인 리소스에 대한 접근을 차단하면 스트리밍에 실패할 수 있습니다. 이 경우 방화벽 설정에서 OBS를 허용하면 문제가 해결될 수 있습니다. 여기서는 Windows Defender 방화벽을 예시로 설명합니다.

1. Windows 키를 누르고 방화벽을 검색한 후 고급 보안이 포함된 Windows Defender 방화벽을 엽니다.
2. 아웃바운드 규칙(Outbound Rules)과 인바운드 규칙(Inbound Rules) 탭에서 OBS를 차단하는 규칙이 없는지 확인합니다. (예: 인바운드 규칙을 선택한 상태에서 O 키를 눌러 OBS 항목을 검색)
3. 왼쪽 패널에서 아웃바운드 규칙을 선택하고 동작(Action) 메뉴를 펼칩니다.
4. 새 규칙(New Rule)을 열고 프로그램(Program) 라디오 버튼을 선택합니다.
5. 다음을 클릭한 후 '이 프로그램 경로' 옆의 찾아보기(Browse)를 클릭합니다.
6. OBS 설치 디렉터리로 이동하여 OS 버전에 맞는 EXE 파일을 선택합니다. (예: 설치 디렉터리의 /bin/64bit 폴더에 있는 OBS64.exe)
7. 방화벽 창에 경로가 추가되면 다음을 클릭하고 연결 허용(Allow the Connection) 라디오 버튼을 선택합니다.
8. 필요에 따라 프로필(Profile)을 선택합니다. (테스트 목적이라면 도메인, 개인, 공용 세 가지를 모두 선택하는 것이 좋습니다.) 그리고 다음을 클릭합니다.
9. 원하는 이름과 설명을 입력하고 다음을 클릭합니다.
10. PC를 재부팅한 후 OBS가 문제없이 스트리밍되는지 확인합니다.

문제가 계속된다면 공유기(라우터) 방화벽이 OBS를 차단하고 있지 않은지 확인하세요. 또한 VM(가상머신)에서 OBS를 사용 중이라면 시스템 또는 공유기의 방화벽, 혹은 VM 자체가 OBS 접근을 차단하고 있지 않은지 점검해야 합니다. 그런 경우 방화벽 설정에서 TCP 포트 1935를 여세요(아웃바운드 규칙 >> 동작 >> 새 규칙 >> 포트 >> TCP 1935). 그래도 문제가 해결되지 않으면 백신 프로그램을 일시적으로 비활성화했을 때 연결 문제가 해결되는지 확인해 보세요.

방법 7: MTU(최대 전송 단위) 크기 줄이기

MTU(Maximum Transmission Unit)는 전송할 네트워크 패킷의 최대 크기를 결정하는 값입니다. 스트리밍 서버는 클라이언트가 보낸 패킷이 서버에 설정된 MTU 크기보다 크면 해당 패킷을 폐기(drop)할 수 있습니다. 이 경우 MTU 값을 낮추면 문제가 해결될 수 있습니다. 여기서는 Windows PC 기준으로 설명하며, 사용 중인 OS에 맞게 절차를 조정하면 됩니다.

1. Windows 버튼을 마우스 오른쪽 버튼으로 클릭하고 PowerShell(관리자)을 선택합니다.
2. 다음 명령어를 실행합니다:

   netsh int ipv4 show subinterface

3. Interface 열에서 자신의 네트워크 이름을 확인한 후 다음 명령어를 실행합니다:

   netsh interface ipv4 set subinterface <subinterface name> mtu=1400 store=persistent

4. 네트워크 어댑터의 MTU 값이 변경되었는지 다음 명령어로 다시 확인합니다:

   netsh int ipv4 show subinterface

   
5. PC를 재부팅한 후 OBS의 서버 연결 오류가 해결되었는지 확인합니다.

방법 8: 공유기를 공장 초기화하기

공유기 설정이 손상된 경우에도 이 문제가 발생할 수 있습니다. 이때 공유기를 공장 초기화하면(자격 증명과 설정 안내를 미리 준비해 두세요) 문제가 해결될 수 있습니다. 공유기 제조사와 모델이 매우 다양해 모든 경우를 다루기는 어렵지만, 일반적인 절차는 대체로 동일합니다. 공유기의 물리적 버튼 또는 웹 관리자 페이지를 통해 초기화할 수 있습니다.

버튼으로 공유기 초기화하기

1. 공유기의 전원이 꺼져 있다면 켜고, 공유기 하단이나 뒷면에 있는 리셋(Reset) 버튼을 찾습니다.
2. 작고 뾰족한 도구(예: 클립)를 사용해 리셋 버튼을 최소 30초간 길게 누릅니다.
3. 리셋 버튼을 놓고 공유기가 완전히 초기화되고 재부팅될 때까지 기다립니다. (30~60초 정도 소요될 수 있습니다.) 공유기에 리셋 버튼이 없다면 사용 설명서를 참고해 전원 버튼으로 초기화가 가능한지 확인하세요.

웹 관리자 페이지로 공유기 초기화하기

1. 웹 브라우저를 열고 공유기의 기본 게이트웨이 주소로 접속합니다. (예: 192.168.1.1 — 명령 프롬프트에서 ipconfig 명령으로 확인 가능) 그리고 로그인 정보를 입력해 공유기 관리자 페이지에 들어갑니다.
2. 초기화 옵션의 위치는 공유기마다 다르지만, 보통 시스템(System) 또는 일반(General) 탭에 있습니다. 설정 초기화(Reset Settings) 또는 기본값 복원(Restore Defaults) 옵션을 찾아 클릭한 후 초기화를 확인하고 프로세스가 완료될 때까지 기다립니다.

공유기 초기화 후에는 스트리밍 서버에서 요구하는 경우 필요한 포트가 포워딩되어 있는지 반드시 확인하세요. 이후 OBS의 서버 연결 실패 문제가 해결되었을 것입니다.