爬取protobuf历史弹幕, 似乎没有weight (弹幕权重) 字段

[HengXin666]

发生于: HengXin666/BiLiBiLi_DanMu_Crawling#17

具体代码:

def deserializeNormalSegmentedPacketDanMaKu(data) -> list[tuple]:
    """
    反序列化 普通分段包弹幕
    """
    danmakuSeg = Danmaku.DmSegMobileReply()
    danmakuSeg.ParseFromString(data)
    def _extractInfo(it):
        print(it) # Debug
        """
        // 弹幕条目
        message DanmakuElem {
            // 弹幕dmid
            int64 id = 1;
            // 弹幕出现位置(单位ms)
            int32 progress = 2;
            // 弹幕类型 1 2 3:普通弹幕 4:底部弹幕 5:顶部弹幕 6:逆向弹幕 7:高级弹幕 8:代码弹幕 9:BAS弹幕(pool必须为2)
            int32 mode = 3;
            // 弹幕字号
            int32 fontsize = 4;
            // 弹幕颜色
            uint32 color = 5;
            // 发送者mid hash
            string midHash = 6;
            // 弹幕正文
            string content = 7;
            // 发送时间
            int64 ctime = 8;
            // 权重 用于屏蔽等级 区间:[1,10]
            int32 weight = 9;
            // 动作
            string action = 10;
            // 弹幕池 0:普通池 1:字幕池 2:特殊池(代码/BAS弹幕)
            int32 pool = 11;
            // 弹幕dmid str
            string idStr = 12;
            // 弹幕属性位(bin求AND)
            // bit0:保护 bit1:直播 bit2:高赞
            int32 attr = 13;
            //
            string animation = 22;
            // 大会员专属颜色
            DmColorfulType colorful = 24;
        }
        """
        return (
            it.progress / 1000.0,   #00 progress <-> 出现时间 # (需要 / 1000, 转为 秒) xml为float类型, 单位是秒
            it.mode,                #01 mode <-> 弹幕类型
            it.fontsize,            #02 fontsize <-> 弹幕字号
            it.color,               #03 color <-> 弹幕颜色
            it.ctime,               #04 ctime <-> 弹幕发送时间
            it.pool,                #05 pool <-> 弹幕池类型 (0 普通, 2 bas)
            it.midHash,             #06 midHash <-> 发送者mid的HASH
            it.id,                  #07 id <-> 弹幕dmid: int32 唯一的!
            it.weight,              #08 weight <-> 弹幕权重 [1, 10], 如果不存在则为 0
            it.content,             #09 content <-> 弹幕内容
            it.attr                 #10 attr <-> 弹幕属性位, 需要的是 `it.attr & 1` 来判断是否是保护弹幕
                                    #   @todo 用于最新的弹幕爬取算法
        )
    return list(map(_extractInfo, danmakuSeg.elems))

def getHistoricalDanMaKu(date: str, cid: int) -> list[tuple]:
    """
    获取历史弹幕
        - date: 需要获取的日期, 如`2017-01-21`
    
    返回值
        - list[元组], 每一项是弹幕数据
    """
    url = 'https://api.bilibili.com/x/v2/dm/web/history/seg.so'
    params = {
        'type': 1,   # 弹幕类型 (1: 视频弹幕)
        'oid': cid,  # cid  1176840
        'date': date # 弹幕日期
    }
    resp = requests.get(url, params, cookies=ReqDataSingleton().getAnyOneCookies(), headers=ReqDataSingleton().UserAgent, timeout=10)
    data = resp.content

    """
    <d p="490.19100,1,25,16777215,1584268892,0,a16fe0dd,29950852386521095,?">从结尾回来看这里，更感动了！</d>
    """
    return deserializeNormalSegmentedPacketDanMaKu(data)

发现:

id: 1869921436072687104
progress: 1867
mode: 1
fontsize: 25
color: 16777215
midHash: "1b7af153"
content: "哔哩哔哩"
ctime: 1750003205
idStr: "1869921436072687104"
attr: 1572864

id: 1869917766761920256
progress: 12770
mode: 1
fontsize: 25
color: 16777215
midHash: "cb30f35a"
content: "哔哩哔哩哔哩哔哩"
ctime: 1750002768
idStr: "1869917766761920256"
attr: 1572864

发现并没有 weight 字段; 尝试了 几个视频的最近几天的历史弹幕，以及 av314 的 23/24/25 年 7月 的历史弹幕，也没有解析到 weight

为了排除是我代码本身的问题, 我尝试解析实时弹幕:

def getRealTimeDanMaKu(segmentIndex: int, cid: int) -> list[tuple]:
    """
    获取实时弹幕
        - segmentIndex: 仅获取 6min 的整数倍时间内的弹幕, 6min 内最多弹幕数为 6000 条(如第一包中弹幕progress值域为0-360000)
    
    返回值
        - list[元组], 每一项是弹幕数据
    """
    url = 'https://api.bilibili.com/x/v2/dm/web/seg.so'
    params = {
        'type': 1,                    # 弹幕类型 (1: 视频弹幕)
        'oid': cid,                   # cid  1176840
        'segment_index': segmentIndex # 弹幕分段
    }
    resp = requests.get(url, params, cookies=ReqDataSingleton().getAnyOneCookies(), headers=ReqDataSingleton().UserAgent, timeout=10)
    data = resp.content

    """
    <d p="490.19100,1,25,16777215,1584268892,0,a16fe0dd,29950852386521095,?">从结尾回来看这里，更感动了！</d>
    """
    return deserializeNormalSegmentedPacketDanMaKu(data)

if __name__ == '__main__':
    getRealTimeDanMaKu(1, 1176840)

获取到:

id: 981105711593291776
progress: 63296
mode: 1
fontsize: 25
color: 41194
midHash: "45a9257d"
content: "姐姐大人我愿意把世界上所有的呱太献给你，请姐姐大人一直保持微笑！！姐姐大人我愿意把世界上所有的呱太献给你，请姐姐大人一直保持微笑！！姐姐大人我愿意！"
ctime: 1644048114
weight: 9
idStr: "981105711593291776"

通过 ctime: 1644048114, 知道 时间为 2022/2/5 16:01:54, 然后指定爬取历史弹幕日期为 2022-02-05

使用历史弹幕接口, 仅能获取到:

id: 981105711593291776
progress: 63296
mode: 1
fontsize: 25
color: 41194
midHash: "45a9257d"
content: "姐姐大人我愿意把世界上所有的呱太献给你，请姐姐大人一直保持微笑！！姐姐大人我愿意把世界上所有的呱太献给你，请姐姐大人一直保持微笑！！姐姐大人我愿意！"
ctime: 1644048114
idStr: "981105711593291776"

是否是历史弹幕接口无法获取 weight 的缘故?

[HengXin666]

修正，实际上还是有的，爬取历史弹幕接口的高级弹幕，就有权重为 10 的qwq