docs(distributed/collective): add bfloat16 for ops

Author: HermitSun

docs/api/paddle/distributed/all_gather_cn.rst

@@ -17,8 +17,8 @@ all_gather
 
 参数
 :::::::::
-    - **tensor_list** (list) - 操作的输出 Tensor 列表。列表中的每个元素均为 Tensor，每个 Tensor 的数据类型为：float16、float32、float64、int32、int64、int8、uint8、bool、complex64、complex128。
-    - **tensor** (Tensor) - 操作的输入 Tensor。Tensor 的数据类型为：float16、float32、float64、int32、int64、int8、uint8、bool、complex64、complex128。
+    - **tensor_list** (list) - 操作的输出 Tensor 列表。列表中的每个元素均为 Tensor，每个 Tensor 的数据类型为：float16、float32、float64、int32、int64、int8、uint8、bool、bfloat16、complex64、complex128。
+    - **tensor** (Tensor) - 操作的输入 Tensor。Tensor 的数据类型为：float16、float32、float64、int32、int64、int8、uint8、bool、bfloat16、complex64、complex128。
     - **group** (int，可选) - 工作的进程组编号，默认为 0。
 
 返回

docs/api/paddle/distributed/all_reduce_cn.rst

@@ -17,7 +17,7 @@ all_reduce
 
 参数
 :::::::::
-    - **tensor** (Tensor) - 操作的输入 Tensor，同时也会将归约结果返回至此 Tensor 中。Tensor 的数据类型为：float16、float32、float64、int32、int64、int8、uint8、bool。
+    - **tensor** (Tensor) - 操作的输入 Tensor，同时也会将归约结果返回至此 Tensor 中。Tensor 的数据类型为：float16、float32、float64、int32、int64、int8、uint8、bool、bfloat16。
     - **op** (ReduceOp.SUM|ReduceOp.MAX|ReduceOp.MIN|ReduceOp.PROD，可选) - 归约的具体操作，比如求和，取最大值，取最小值和求乘积，默认为求和归约。
     - **group** (int，可选) - 工作的进程组编号，默认为 0。
 

docs/api/paddle/distributed/alltoall_cn.rst

@@ -18,7 +18,7 @@ GPU1 卡的 out_tensor_list 包含 0_1 和 1_1。
 
 参数
 :::::::::
-    - **in_tensor_list** (list) - 包含所有输入 Tensors 的一个列表。在列表里面的所有元素都必须是一个 Tensor，Tensor 的数据类型必须是 float16、float32、float64、int32、int64、int8、uint8、bool。
+    - **in_tensor_list** (list) - 包含所有输入 Tensors 的一个列表。在列表里面的所有元素都必须是一个 Tensor，Tensor 的数据类型必须是 float16、float32、float64、int32、int64、int8、uint8、bool、bfloat16。
     - **out_tensor_list** (Tensor) - 包含所有输出 Tensors 的一个列表。在列表里面的所有元素数据类型要和输入的 Tensors 数据类型一致。
     - **group** (Group，可选) - new_group 返回的 Group 实例，或者设置为 None 表示默认地全局组。默认值：None。
     - **use_calc_stream** (bool，可选) - 标识使用计算流还是通信流。默认值：True。

docs/api/paddle/distributed/alltoall_single_cn.rst

@@ -10,7 +10,7 @@ alltoall_single
 
 参数
 :::::::::
-    - in_tensor (Tensor): 输入的 tensor，其数据类型必须是 float16、float32、float64、int32、int64、int8、uint8、bool。
+    - in_tensor (Tensor): 输入的 tensor，其数据类型必须是 float16、float32、float64、int32、int64、int8、uint8、bool、bfloat16。
     - out_tensor (Tensor): 输出的 tensor，其数据类型与输入的 tensor 一致。
     - in_split_sizes (list[int]，可选): 对 in_tensor 的 dim[0] 进行切分的大小。若该参数未指定，in_tensor 将被均匀切分到各个进程中（需要确保 in_tensor 的大小能够被组中的进程数整除）。默认值：None。
     - out_split_sizes (list[int]，可选): 对 out_tensor 的 dim[0] 进行切分的大小。若该参数未指定，out_tensor 将均匀地聚合来自各个进程的数据（需要确保 out_tensor 的大小能够被组中的进程数整除）。默认值：None。

docs/api/paddle/distributed/broadcast_cn.rst

@@ -16,7 +16,7 @@ broadcast
 
 参数
 :::::::::
-    - **tensor** (Tensor) - 如果当前进程编号是源，那么这个 Tensor 变量将被发送给其他进程，否则这个 Tensor 将接收源发送过来的数据。Tensor 的数据类型为：float16、float32、float64、int32、int64、int8、uint8、bool。
+    - **tensor** (Tensor) - 如果当前进程编号是源，那么这个 Tensor 变量将被发送给其他进程，否则这个 Tensor 将接收源发送过来的数据。Tensor 的数据类型为：float16、float32、float64、int32、int64、int8、uint8、bool、bfloat16。
     - **src** (int) - 发送源的进程编号。
     - **group** (int，可选) - 工作的进程组编号，默认为 0。
 

docs/api/paddle/distributed/irecv_cn.rst

@@ -9,7 +9,7 @@ irecv
 
 参数
 :::::::::
-    - **tensor** (Tensor) - 要接受的张量。其数据类型应为 float16、float32、float64、int32、int64、int8、uint8、bool。
+    - **tensor** (Tensor) - 要接受的张量。其数据类型应为 float16、float32、float64、int32、int64、int8、uint8、bool、bfloat16。
     - **src** (int) - 接受节点的全局 rank 号。
     - **group** (Group，可选) - new_group 返回的 Group 实例，或者设置为 None 表示默认的全局组。默认值：None。
 

docs/api/paddle/distributed/isend_cn.rst

@@ -9,7 +9,7 @@ isend
 
 参数
 :::::::::
-    - **tensor** (Tensor) - 要发送的张量。其数据类型应为 float16、float32、float64、int32、int64、int8、uint8、bool。
+    - **tensor** (Tensor) - 要发送的张量。其数据类型应为 float16、float32、float64、int32、int64、int8、uint8、bool、bfloat16。
     - **dst** (int) - 目标节点的全局 rank 号。
     - **group** (Group，可选) - new_group 返回的 Group 实例，或者设置为 None 表示默认的全局组。默认值：None。
 

docs/api/paddle/distributed/recv_cn.rst

@@ -10,7 +10,7 @@ recv
 
 参数
 :::::::::
-    - **tensor** (Tensor) - 接收数据的 Tensor。数据类型为：float16、float32、float64、int32、int64、int8、uint8、bool。
+    - **tensor** (Tensor) - 接收数据的 Tensor。数据类型为：float16、float32、float64、int32、int64、int8、uint8、bool、bfloat16。
     - **src** (int) - 发送者的标识符。
     - **group** (Group，可选) - new_group 返回的 Group 实例，或者设置为 None 表示默认地全局组。默认值：None。
     - **use_calc_stream** (bool，可选) - 标识使用计算流还是通信流。默认值：True。

docs/api/paddle/distributed/reduce_cn.rst

@@ -17,7 +17,7 @@ reduce
 
 参数
 :::::::::
-    - **tensor** (Tensor) - 操作的输入 Tensor，结果返回至目标进程号的 Tensor 中。Tensor 的数据类型为：float16、float32、float64、int32、int64、int8、uint8、bool。
+    - **tensor** (Tensor) - 操作的输入 Tensor，结果返回至目标进程号的 Tensor 中。Tensor 的数据类型为：float16、float32、float64、int32、int64、int8、uint8、bool、bfloat16。
     - **dst** (int) - 返回操作结果的目标进程编号。
     - **op** (ReduceOp.SUM|ReduceOp.MAX|ReduceOp.MIN|ReduceOp.PROD，可选) - 归约的具体操作，比如求和，取最大值，取最小值和求乘积，默认为求和归约。
     - **group** (int，可选) - 工作的进程组编号，默认为 0。

docs/api/paddle/distributed/reduce_scatter_cn.rst

@@ -9,8 +9,8 @@ reduce_scatter
 
 参数
 :::::::::
-    - **tensor** (Tensor) – 输出的张量。
-    - **tensor_list** (list(Tensor)) – 归约和切分的张量列表。
+    - **tensor** (Tensor) – 输出的张量。数据类型为：float16、float32、float64、int32、int64、int8、uint8、bool、bfloat16。
+    - **tensor_list** (list(Tensor)) – 归约和切分的张量列表。数据类型为：float16、float32、float64、int32、int64、int8、uint8、bool、bfloat16。
     - **op** (ReduceOp.SUM|ReduceOp.MAX|ReduceOp.MIN|ReduceOp.PROD) – 操作类型，默认 ReduceOp.SUM。
     - **group**: (Group, 可选) – 通信组；如果是 None，则使用默认通信组。
     - **use_calc_stream**: (bool, 可选) – 决定是在计算流还是通信流上做该通信操作；默认为 True，表示在计算流。