配信中にcurrentFPSの値が0になり配信できない時間帯があります。

[yuya-h-29]

@shogo4405
いつも迅速かつ丁寧に回答いただき有難うございます！配信中のビットレートとfpsに関して質問です。

配信の途中でcurrentFPSの値が0まで下がってしまい配信できない時間帯ができてしまうのですが、そのようなことってすでに確認されてたり、今まで同じような現象はありましたでしょうか？
一通り調べてみたのですが、ヒットするものがなかったので質問させていただきました。

下の写真はRTMPStream のvideoSettings内bitrate を3000 * 1000の固定値で配信したもので、トータルして約2時間配信をしたものです。
モバイルアプリからhaishinkitを使用してivsに配信をしています。
ただ、赤い部分が配信のデータを受信できておらず、配信先でも動画が止まってしまいます。配信できていない状態のときにRTMPStreamのcurrentFPSの値をログで確認すると0となっていて、配信できていない時間は最低で30秒ほど、長いときはfpsが0の状態がずっと続いてしまい、動画が止まったままの状態が続いてしまいます。同じくrtmpConnectionのcurrentBytesOutPerSecondの値も確認したのですが、fpsが0のときは16000くらいの値が取れます。ビットだと130kbpsくらいかと思います。

.videoSettings = [
            .width: 1920,
            .height: 1080,
            .bitrate: 3000 * 1000,
            .profileLevel: kVTProfileLevel_H264_High_AutoLevel,
            .maxKeyFrameIntervalDuration: 2,
]

固定の動画ビットレート以外にも #721 の RTMPStreamDelegateを使用して、ビットレートを変動させるやり方も試しましたが、同じ用にcurrentFPSが0で返り、配信できていない状況はできてしまいます。
一時的に接続が不安定になったりすることもあるかもしれませんが、接続しているwifi はアップロードの速度が60Mbpsほど出ています。

端末にはiPhone Xs Max やiPhone SE2、iPhone 13 Pro などを使用しています。
haishinkitは1.2.7をいれています。

何か考えられる原因や、確認するべき値、解決できそうなアイディア等もありましたら教えて下さい。よろしくお願いいたします。

[shogo4405]

同じくrtmpConnectionのcurrentBytesOutPerSecondの値も確認したのですが、fpsが0のときは16000くらいの値が取れます。ビットだと130kbpsくらいかと思います。

• おそらく。130kbps でているということなのでおそらく音声データは送れてそうなのでNW接続は問題なさそうです。

FPSが0になるというケースであれば以下の2点が考えられます。

1. AVSessionのOSレイヤーでのキャプチャーが止まっている
2. 輻輳制御でビデオフレームの送信がうまくできない場合にdropする制御があり。ビデオフレームがつまっている可能性があります
   • https://github.com/shogo4405/HaishinKit.swift/blob/main/Sources/Codec/VideoCodec.swift#L306-L308
   • この場合だと、locked == 1 になるので。307行にprint(locked) することでその状態か確認できると思います。

わたしの手元で再現しないため根本対応は難しいですが、
一時的な対応だと、FPS0を数秒間検知したら。再接続をかけるとスムーズな体験になると思います。