眼睛能力老师产品VisionTalkAI(能力功能回调眼睛产品)「能力眼镜」

近年,拥有创新性读书体验的AI阅读机器人横空出世,将阅读从传统概念上的读故事升级成为讲故事、学故事,深受家长和们的欢迎,在未来市场上有着不可估量的潜力
玩瞳作为AI辅助阅读时代的开拓者人,已经为众多知名客户提供了高品质的AI伴读服务
玩瞳开放了全平台绘本识别功能的二次开发能力,对各个终端客户和故事机方案商,提供了便捷而快速的开发服务
即使对向来开发周期较长的Linux端,三天即可迅速完成新平台的移植及扩展
下面我们从专业的技术角度,为各位揭秘玩瞳强大的全平台端的SDK能力
(Android & IOS框架图) 我们针对具有一定开发能力的客户,提供的SDK包中内含:1)完整识别流程 2)提供识别过程中各状态回调接口
从上图可见,SDK包分为vtbrsdk、basesdk两个部分,我们来分别详细了解一下
vtbrsdk: 1、主要包含Camera、Audio、Download、Recognize等4个主模块
Camera:负责打开/关闭相机、预览数据采集等功能;Audio:负责音频播放/暂停/停止等控制;Download:负责下载书本音频资源;Recognize:负责识别信息的处理和书页音频播放
2、承担App和basesdk之间的桥梁,以及上述4个核心模块的状态回调监听
basesdk: 1、主要包含算法集成、与玩瞳服务器网络请求、识别模块
算法集成:包含设备license生成、状态检测、书本定位等算法库和功能;网络请求:license校验服务、识别服务等网络请求的管理者;识别模块:对预览帧数据进行处理并识别
2、提供license校验、识别结果等信息的回调监听
玩瞳端上的四大SDK能力 玩瞳的客户可在开源的外壳上,完成各种业务功能订制,快速高度集成开发
1、识别稳定、响应速度快和精度高的绘本识别能力 目前,玩瞳提供的绘本识别集成方案中,识别准确率高达98%,单次识别响应时间为200至400毫秒,做到了翻页即读的效果,做到了在行业内领先第一的效果
2、快速集成开发能力 玩瞳提供了全平台(Android&Linux&IOS)快速集成开发的儿童端SDK及全面的技术支持服务,为各个方案商大大缩短了产品开发时间
3、提供功能齐全的Standalone APP 玩瞳为绘本SDK提供了标准独立的SDK调用例程,该例程功能齐全,最重要的一点是例程完全开源,开发者可以修改任何一行代码
4、丰富的内容扩展和交互能力 a) 根据读书状态展示不同的表情,让你的产品更具人物化 SDK将各种状态全都反馈给开发者,开发者可以通过这些状态去开发更多功能,比如:让你的APP在读绘本的时候表现不一样表情包
b) 结合基础语音交互进行互动 绘本SDK提供了打断重启功能,并将识别到的每一本书的信息全都返回给开发者,开发者可以通过这些信息对正在阅读绘本的小孩进行问答互动,让孩子在阅读中真正学习到知识
c) Extra Data更是让你想做什么就做什么 玩瞳开放的Extra Data更是能让用户自定义业务逻辑,与自有内容绑定,实现多平台内容对接
玩瞳SDK如何识别绘本? 玩瞳VisionTalk的SDK绘本识别能力,通过端+云算法的全面解决方案,是怎么实现绘本识别的呢? 在端上,有基于预览图像进行识别的翻页检测算法,我们的优势在于大大减少云端服务器的请求压力,端上的算法是一个非常轻量级的算法,这就得益于玩瞳的算法团队进行了N多次的算法迭代和优化,使我们的端算法在运行速度下降不多的情况下,对硬件要求降到了最低
在云上,玩瞳的后台团队为云端识别算法扩展搭建了稳健、安全及庞大的后台服务体系
开发者只要拿到端上的SDK就可以轻松便捷地为自己的产品赋能
如何将玩瞳SDK嵌入自有APP 下面我们以安卓端SDK为例,给开发者展示一下如何便捷的将SDK嵌入自有APP内
1. 配置工程 1.1 配置license 在BRBaseActivity.java 中修改 LICENSE 变量,对应代码如下:public class BRBaseActivity { private static final String LICENSE = \"license\";} 1.2 配置授权码和license模式 在build.gradle中修改 LAUNCH_MODE 变量,对应代码如下:// app启动模式{0: license模式; 1: QRCode模式}LAUNCH_MODE = 0 1.3 替换闪屏页 替换 src/main/res/drawable/unity_static_splash.png,如下图: 2. 主要接口 2.1 VTBRSDKManager(@NonNull Context context) 功能:获取VTBRSDKManager实例
2.2 public void init() 功能:开启SDK,在调用SDK的其他功能接口前,需要调用下这个方法初始化一些参数和配置,否则会导致一些功能无法使用
2.3 public void exit() 功能:关闭SDK,该方法用于退出SDK,会关闭以下功能: 音频模块:不会再播放书页音频; 识别模块:不再进行识别; 网络模块:取消掉当前的网络请求队列
2.4 public void initialize(String license, IInitializeListener listener) 功能:License认证,在调用识别功能接口前,必须先调用此方法,初始化的状态回调通过IInitializeListener来监听
参数: 2.5 public void startRecognize() 功能:开启识别 2.6 public void reRecognize() 功能:重新识别,该接口用于某些情况下需要重新识别一次,例如网络断开后重连
2.7 public void stopRecognize() 功能:停止识别 2.8 IRecognizeListener 功能:识别回调,该回调类用于监听识别回调,接口类如下:public interface IRecognizeListener { boolean onRecognizeSuccess(VTBRBookDataModel data); void onRecognizeFail(int code, String msg); void onGetBookInfoFail(int code, String msg); boolean onGetBookInfoSuccess(int bookId, boolean needUpdate);} 2.8.1 onRecognizeSuccess 功能:该回调为识别成功的回调 参数: VTBRBookDataModel类: RecognizeEntity.BrsBean.DataBean.BookBean类: 返回值: 是否消费该识别结果
true: 消费该识别结果, 则不走之后的获取书本信息、开始下载、播放书页音频等操作;false: 不消费该识别结果, 继续执行玩瞳的操作 2.8.2 onRecognizeFail 功能:该回调为识别失败的回调 参数: 备注:错误码请查看错误码章节 2.8.3 onGetBookInfoFail 功能:该回调为获取书本信息失败的回调 参数: 备注:错误码请查看错误码章节 2.8.4 onGetBookInfoSuccess 功能:该回调为获取书本信息成功的回调 参数: 返回值: 该接口如果返回true,则用户自己消费该回调接口,不会走之后的流程,用户可以用bookId实现自己的逻辑;如果返回false,则继续之后的流程(播放更新书本语音和下载书本信息等)
玩瞳科技 VisionTalk 期待通过AI慧读平台能力,助力合作伙伴的产品快速商业化,用我们优秀的识别能力为客户现有的App赋能,共同打造具有创造价值的“AI阅读机器人”生态
深圳市玩瞳科技有限公司 VisionTalk 成立于2015年,是一家经深圳市政府认证的高新技术企业
公司专注于实体学习桌面的视觉图像分析,并应用于机器辅助的阅读、作业和学习
公司目前拥有数十项各类专利,并拥有全球最大的儿童出版物图像训练库
公司新推出的“智能慧读平台”赋能产业链,低成本、高效率、个性化地帮助企业开发或升级阅读机器人
已经成功在故事机/机器人、儿童出版、儿童内容等行业得到应用
眼睛能力老师产品VisionTalkAI(能力功能回调眼睛产品)
(图片来源网络,侵删)

联系我们

在线咨询:点击这里给我发消息