使用 Dify 进行识图

[leochen-g]

使用GPT-4V来实现图像识别

必要条件

1、智能微秘书平台会员

2、你有一个含gpt4权限的token

开启方式

GPT对话配置->自定义对话->添加配置

相关问题

1、Dify和FastGPT是否支持视图功能 ？

目前这两个平台只有界面上提供文件上传功能，api接口暂未支持或者兼容GPT-4V识图功能。后续兼容会第一时间适配

2、开启识图后怎么继续使用FastGPT或者Dify

目前开启识图的群组或好友只能走chatGPT对话模式，后续会添加一个仅开启识图功能开关。

实现效果

[mengdahuang]

请问gpt-4o可以支持吗？我试了下默认不行

[leochen-g]

请问gpt-4o可以支持吗？我试了下默认不行

目前不能使用gpt-4o进行识图

[JiangYain]

2024-08-05 05:51:51 - dify request http://124.xxx.2.xxx/v1/chat-messages {
data: {
inputs: {
uid: '@706a9239b9f0c8ee7b407c9159ef1e08df592a9091955e694e4ced69f4b859a9',
ualias: '一拳',
uname: 'NO',
roomId: '@@021e66af7343fc5e3d82a05e930c7549472bb399d521016b95744e1ae5b0cac0',
roomName: '上分小队'
},
query: '「NO：[图片]」\n- - - - - - - - - - - - - - -\n 讲讲这个内容',
user: '@@021e66af7343fc5e3d82a05e930c7549472bb399d521016b95744e1ae5b0cac0_@706a9239b9f0c8ee7b407c9159ef1e08df592a9091955e694e4ced69f4b859a9',
response_mode: 'blocking',
files: null
},
headers: {
Authorization: 'Bearer app-xxxxxxxxxx',
'Content-Type': 'application/json'
},
params: undefined
}

在引用图片并@小助手的情况下，如果图片可以转换成URL填入files就可以实现识别？（思考.jpg）

[leochen-g]

2024-08-05 05:51:51 - dify request http://124.xxx.2.xxx/v1/chat-messages { data: { inputs: { uid: '@706a9239b9f0c8ee7b407c9159ef1e08df592a9091955e694e4ced69f4b859a9', ualias: '一拳', uname: 'NO', roomId: '@@021e66af7343fc5e3d82a05e930c7549472bb399d521016b95744e1ae5b0cac0', roomName: '上分小队' }, query: '「NO：[图片]」\n- - - - - - - - - - - - - - -\n 讲讲这个内容', user: '@@021e66af7343fc5e3d82a05e930c7549472bb399d521016b95744e1ae5b0cac0_@706a9239b9f0c8ee7b407c9159ef1e08df592a9091955e694e4ced69f4b859a9', response_mode: 'blocking', files: null }, headers: { Authorization: 'Bearer app-xxxxxxxxxx', 'Content-Type': 'application/json' }, params: undefined }

在引用图片并@小助手的情况下，如果图片可以转换成URL填入files就可以实现识别？（思考.jpg）

默认网页版协议拿不到引用的图片，微信返回的仅仅只是一个文字