关于视频对话延迟问题

kinghong

你好，我的运行环境是surface pro 3，开发接口是anychat呼叫模式，测试发现刚开始视频对话没有延迟，过大概一分钟左右，本地显示的画面就开始有延迟了，下面是surface上的运行日志，请帮忙分析！
[2015-09-14 11:46:28(418)]        ---------------------------AnyChat Platform Core SDK Client Log---------------------------
[2015-09-14 11:46:28(422)]        Load BRAnyChatCore.dll success!(V5.3 Build Time:Jul 31 2015 22:08:48)
[2015-09-14 11:46:28(428)]        Load BRMiscUtil.dll failed,SDK some functions will fail!(Error:126)
[2015-09-14 11:46:28(434)]        Load BRMediaUtil.dll success!(V5.3 Build Time:Jul 31 2015 22:08:30)
[2015-09-14 11:46:28(437)]        Load BRMediaShow.dll success!(V5.3 Build Time:Jul 31 2015 22:09:17)
[2015-09-14 11:46:28(441)]        Load BRMediaCore.dll success!(V5.3 Build Time:Aug 11 2015 19:20:45)
[2015-09-14 11:46:28(470)]        Apply video parameter:1280x720, bitrate:0kbps, quality:3, gop:50, fps:20, preset:3, codec:0
[2015-09-14 11:46:28(474)]        Invoke        Connect(192.168.0.100,8906)=0
[2015-09-14 11:46:28(540)]        CheckClientSocketLink         Connect(ip=192.168.0.100,port=8906)
[2015-09-14 11:46:28(695)]        Server version: V5.3(Build Time:2015-07-31 22:09:53, Server OS:Windows)
[2015-09-14 11:46:28(776)]        Message        OnConnect(bSuccess:1, errorcode=0)
[2015-09-14 11:46:28(795)]        Invoke        LoginServer(username=101)
[2015-09-14 11:46:29(132)]        Message        OnLoginSystem(userid=101,errorcode=0,username=101), msg deliver worked(1)
[2015-09-14 11:46:29(143)]        Server running time: 0 days, 1 hours, 36 minutes, license mode:0
[2015-09-14 11:46:29(195)]        Connection to streaming media server successfully!(udp delay:23ms)
[2015-09-14 11:46:29(940)]        Invoke        VideoCallControl(EventType:1, UserId:201, ErrorCode:0, dwFlags:0, dwParam:0, UserStr:doube screen)=0
[2015-09-14 11:46:29(986)]        Message        OnVideoCallEvent(EventType:2, UserId:201, ErrorCode:0, dwFlags:0x0, dwParam:0
[2015-09-14 11:46:31(809)]        Message        OnVideoCallEvent(EventType:3, UserId:201, ErrorCode:0, dwFlags:0x0, dwParam:1
[2015-09-14 11:46:31(819)]        Invoke        EnterRoom(roomid=1)
[2015-09-14 11:46:31(953)]        Message        OnEnterRoom(roomid=1,errorcode=0,siteindex=1)
[2015-09-14 11:46:31(956)]        Message        OnReceiveOnlineUser(count=2,roomid=1)
[2015-09-14 11:46:31(970)]        WaveIn Audio Capture Driver(麦克风 (Realtek High Definition)
[2015-09-14 11:46:31(975)]        Audio Init, error:0, device:0, 1, 16000, 16, capmode:0
[2015-09-14 11:46:31(978)]        Audio codec init, handle:1, 11, 1, 16000, 16, 15850
[2015-09-14 11:46:31(983)]        Invoke        UserCameraControl(userid=101,bOpen=1)
[2015-09-14 11:46:31(987)]        Invoke        UserSpeakControl(userid=101,bOpen=1)
[2015-09-14 11:46:31(990)]        Audio Playback Device Init(0, 1, 16000, 16), WaveOut Playback Driver
[2015-09-14 11:46:31(994)]        Invoke        SetVideoPos(dwUserId:101, hWnd:0x603ba, l:0, t:0, r:320, b:180)
[2015-09-14 11:46:32(001)]        Invoke        UserCameraControl(userid=201,bOpen=1)
[2015-09-14 11:46:32(004)]        Invoke        UserSpeakControl(userid=201,bOpen=1)
[2015-09-14 11:46:32(007)]        Invoke        SetVideoPos(dwUserId:201, hWnd:0xd03f4, l:0, t:0, r:2160, b:1440)
[2015-09-14 11:46:32(026)]        Audio FX Status: VAD:1, NS:1, AGC:1, AEC:1
[2015-09-14 11:46:32(055)]        On Remote UserCameraControl(dwUserId:201, bOpen:1)
[2015-09-14 11:46:32(059)]        On Remote UserSpeakControl(dwUserId:201, bOpen:1)
[2015-09-14 11:46:32(145)]        userid(201) audio decode, codec:11, 1 channel, 16000Hz
[2015-09-14 11:46:32(401)]        Message        OnP2PConnectState(userid=201, state=1)
[2015-09-14 11:46:32(407)]        MinCroppingSize(640, 360)        MaxCroppingSize(640, 360)        Format(YUY2, 0x32595559, 30fps)
[2015-09-14 11:46:32(416)]        MinCroppingSize(640, 360)        MaxCroppingSize(640, 360)        Format(YUY2, 0x8d2681, 30fps)
[2015-09-14 11:46:32(434)]        MinCroppingSize(640, 480)        MaxCroppingSize(640, 480)        Format(YUY2, 0x32595559, 30fps)
[2015-09-14 11:46:32(440)]        MinCroppingSize(640, 480)        MaxCroppingSize(640, 480)        Format(YUY2, 0x8d2681, 30fps)
[2015-09-14 11:46:32(445)]        MinCroppingSize(480, 270)        MaxCroppingSize(480, 270)        Format(YUY2, 0x32595559, 30fps)
[2015-09-14 11:46:32(452)]        MinCroppingSize(480, 270)        MaxCroppingSize(480, 270)        Format(YUY2, 0x8d2681, 30fps)
[2015-09-14 11:46:32(457)]        MinCroppingSize(424, 240)        MaxCroppingSize(424, 240)        Format(YUY2, 0x32595559, 30fps)
[2015-09-14 11:46:32(462)]        MinCroppingSize(424, 240)        MaxCroppingSize(424, 240)        Format(YUY2, 0x8d2681, 30fps)
[2015-09-14 11:46:32(467)]        MinCroppingSize(320, 240)        MaxCroppingSize(320, 240)        Format(YUY2, 0x32595559, 30fps)
[2015-09-14 11:46:32(473)]        MinCroppingSize(320, 240)        MaxCroppingSize(320, 240)        Format(YUY2, 0x8d2681, 30fps)
[2015-09-14 11:46:32(479)]        MinCroppingSize(320, 180)        MaxCroppingSize(320, 180)        Format(YUY2, 0x32595559, 30fps)
[2015-09-14 11:46:32(486)]        MinCroppingSize(320, 180)        MaxCroppingSize(320, 180)        Format(YUY2, 0x8d2681, 30fps)
[2015-09-14 11:46:32(492)]        MinCroppingSize(160, 120)        MaxCroppingSize(160, 120)        Format(YUY2, 0x32595559, 30fps)
[2015-09-14 11:46:32(507)]        MinCroppingSize(160, 120)        MaxCroppingSize(160, 120)        Format(YUY2, 0x8d2681, 30fps)
[2015-09-14 11:46:32(512)]        MinCroppingSize(848, 480)        MaxCroppingSize(848, 480)        Format(YUY2, 0x32595559, 30fps)
[2015-09-14 11:46:32(515)]        MinCroppingSize(848, 480)        MaxCroppingSize(848, 480)        Format(YUY2, 0x8d2681, 30fps)
[2015-09-14 11:46:32(518)]        MinCroppingSize(1920, 1080)        MaxCroppingSize(1920, 1080)        Format(YUY2, 0x32595559, 30fps)
[2015-09-14 11:46:32(521)]        MinCroppingSize(1920, 1080)        MaxCroppingSize(1920, 1080)        Format(YUY2, 0x8d1181, 30fps)
[2015-09-14 11:46:32(523)]        MinCroppingSize(1280, 720)        MaxCroppingSize(1280, 720)        Format(YUY2, 0x32595559, 30fps)
[2015-09-14 11:46:32(527)]        MinCroppingSize(1280, 720)        MaxCroppingSize(1280, 720)        Format(YUY2, 0x8d1181, 30fps)
[2015-09-14 11:46:32(530)]        MinCroppingSize(960, 540)        MaxCroppingSize(960, 540)        Format(YUY2, 0x32595559, 30fps)
[2015-09-14 11:46:32(532)]        MinCroppingSize(960, 540)        MaxCroppingSize(960, 540)        Format(YUY2, 0x8d1181, 30fps)
[2015-09-14 11:46:32(535)]        MinCroppingSize(2592, 1944)        MaxCroppingSize(2592, 1944)        Format(YUY2, 0x32595559, 15fps)
[2015-09-14 11:46:32(538)]        MinCroppingSize(2592, 1944)        MaxCroppingSize(2592, 1944)        Format(YUY2, 0x8d1181, 15fps)
[2015-09-14 11:46:32(541)]        MinCroppingSize(2592, 1728)        MaxCroppingSize(2592, 1728)        Format(YUY2, 0x32595559, 15fps)
[2015-09-14 11:46:32(544)]        MinCroppingSize(2592, 1728)        MaxCroppingSize(2592, 1728)        Format(YUY2, 0x8d1181, 15fps)
[2015-09-14 11:46:32(547)]        MinCroppingSize(1296, 864)        MaxCroppingSize(1296, 864)        Format(YUY2, 0x32595559, 30fps)
[2015-09-14 11:46:32(550)]        MinCroppingSize(1296, 864)        MaxCroppingSize(1296, 864)        Format(YUY2, 0x8d1181, 30fps)
[2015-09-14 11:46:32(553)]        Prepare config video capture: 1280x720, 20fps
[2015-09-14 11:46:32(564)]        SetFormat(1280x720, YUY2) = 0
[2015-09-14 11:46:32(568)]        Video Config Size(1280, 720)        Format(YUY2, 30fps)
[2015-09-14 11:46:32(576)]        video init finish:1280x720, YUY2, fps:30, codecid:1
[2015-09-14 11:46:32(577)]        Message        OnP2PConnectState(userid=201, state=3)
[2015-09-14 11:46:33(278)]        userid(201) video decode, codec:1, 1280x720, delay:0ms
[2015-09-14 11:46:33(390)]        video codec init:codec:1, 20fps, 1280x720, bitrate:0kbps, quality:3, preset:3, gop:50, handle:4
[2015-09-14 11:48:24(566)]        Invoke        VideoCallControl(EventType:4, UserId:201, ErrorCode:100104, dwFlags:0, dwParam:0, UserStr=0
[2015-09-14 11:48:24(701)]        Message        OnVideoCallEvent(EventType:4, UserId:201, ErrorCode:100104, dwFlags:0x0, dwParam:0
[2015-09-14 11:48:24(789)]        Invoke        UserCameraControl(userid=-1,bOpen=0)
[2015-09-14 11:48:24(949)]        Invoke        UserSpeakControl(userid=-1,bOpen=0)
[2015-09-14 11:48:24(954)]        Invoke        UserCameraControl(userid=201,bOpen=0)
[2015-09-14 11:48:24(959)]        Invoke        UserSpeakControl(userid=201,bOpen=0)
[2015-09-14 11:48:25(009)]        Invoke        LeaveRoom(roomid=-1)        Elapse:46 ms
[2015-09-14 11:48:25(092)]        On Remote UserCameraControl(dwUserId:201, bOpen:0)
[2015-09-14 11:48:25(099)]        On Remote UserSpeakControl(dwUserId:201, bOpen:0)
[2015-09-14 11:48:26(997)]        Invoke        LogoutServer(userid=101)        Elapse:47 ms
[2015-09-14 11:48:27(040)]        Invoke        BRAC_Release        Elapse:32 ms

佰锐科技-李友勤

请问在本地预览不与其他人通话时会不会有延迟？

kinghong

佰锐科技-李友勤 发表于 2015-9-14 12:39
请问在本地预览不与其他人通话时会不会有延迟？

目前测试了几分钟没有发现延迟，还在测试中。

请查看下上面日志的报错信息：
[2015-09-14 11:48:24(566)]        Invoke        VideoCallControl(EventType:4, UserId:201, ErrorCode:100104, dwFlags:0, dwParam:0, UserStr=0
[2015-09-14 11:48:24(701)]        Message        OnVideoCallEvent(EventType:4, UserId:201, ErrorCode:100104, dwFlags:0x0, dwParam:0

佰锐科技-李友勤

kinghong 发表于 2015-9-14 13:49
目前测试了几分钟没有发现延迟，还在测试中。

请查看下上面日志的报错信息：

这个不是报错，只是断开连接的消息

我们有考虑到是设备的解码能力导致的延迟。将参数调低看看是否会有延迟？

kinghong

佰锐科技-李友勤 发表于 2015-9-14 14:08
这个不是报错，只是断开连接的消息

我们有考虑到是设备的解码能力导致的延迟。将参数调低看看是否会有 ...

单独打开本地摄像头不会延迟，
现在的参数设置是： Apply video parameter:1280x720, bitrate:0kbps, quality:3, gop:50, fps:20, preset:3, codec:0
还要怎么降低设置？

佰锐科技-李友勤

kinghong 发表于 2015-9-14 14:20
单独打开本地摄像头不会延迟，
现在的参数设置是： Apply video parameter:1280x720, bitrate:0kbps, qu ...

主要是分辨率调低

kinghong

佰锐科技-李友勤 发表于 2015-9-14 14:08
这个不是报错，只是断开连接的消息

我们有考虑到是设备的解码能力导致的延迟。将参数调低看看是否会有 ...

请问，如果是设备的解码能力导致的延迟，为什么在surface上看到的远程画面是没有延迟的，还有出现延迟的时间不确定，有时候要几分钟才会看到，有时候要几十秒就看到，如果向你所说，是不是应该刚打开就看到延迟呢？

admin

您好，请问是两边都互相看到延迟（A看B，B延迟，B看A，A也延迟），还是单方看到延迟，另一方不延迟呢？

kinghong

admin 发表于 2015-9-14 14:58
您好，请问是两边都互相看到延迟（A看B，B延迟，B看A，A也延迟），还是单方看到延迟，另一方不延迟呢？

是单方延迟，

佰锐科技-李友勤

kinghong 发表于 2015-9-14 14:45
请问，如果是设备的解码能力导致的延迟，为什么在surface上看到的远程画面是没有延迟的，还有出现延迟的 ...

请先测试下看看结果。才能确定问题所在。
以下为可能的原因分析：
远程没有延迟可能是udp传输即时解码，没有传过来的也不会重新接收，在此过程中偶尔的丢包对视频效果造成的影响不会很明显，这也是本地视频可能会在一段时间后延迟的原因所在。本地视频不存在丢包一说，一开始每次慢一两帧肉眼是感觉不到的，如果时间长了可能慢的帧数会越来越多，这个时候就可以看到很明显的延迟了。