近年,拥有创新性读书体验的AI阅读机器人横空出世,将阅读从传统概念上的读故事升级成为讲故事、学故事,深受家长和们的欢迎,在未来市场上有着不可估量的潜力玩瞳作为AI辅助阅读时代的开拓者人,已经为众多知名客户提供了高品质的AI伴读服务 玩瞳开放了全平台绘本识别功能的二次开发能力,对各个终端客户和故事机方案商,提供了便捷而快速的开发服务即使对向来开发周期较长的Linux端,三天即可迅速完成新平台的移植及扩展 下面我们从专业的技术角度,为各位揭秘玩瞳强大的全平台端的SDK能力 (Android & IOS框架图) 我们针对具有一定开发能力的客户,提供的SDK包中内含:1)完整识别流程 2)提供识别过程中各状态回调接口从上图可见,SDK包分为vtbrsdk、basesdk两个部分,我们来分别详细了解一下 vtbrsdk: 1、主要包含Camera、Audio、Download、Recognize等4个主模块Camera:负责打开/关闭相机、预览数据采集等功能;Audio:负责音频播放/暂停/停止等控制;Download:负责下载书本音频资源;Recognize:负责识别信息的处理和书页音频播放 2、承担App和basesdk之间的桥梁,以及上述4个核心模块的状态回调监听 basesdk: 1、主要包含算法集成、与玩瞳服务器网络请求、识别模块算法集成:包含设备license生成、状态检测、书本定位等算法库和功能;网络请求:license校验服务、识别服务等网络请求的管理者;识别模块:对预览帧数据进行处理并识别 2、提供license校验、识别结果等信息的回调监听玩瞳端上的四大SDK能力 玩瞳的客户可在开源的外壳上,完成各种业务功能订制,快速高度集成开发 1、识别稳定、响应速度快和精度高的绘本识别能力 目前,玩瞳提供的绘本识别集成方案中,识别准确率高达98%,单次识别响应时间为200至400毫秒,做到了翻页即读的效果,做到了在行业内领先第一的效果 2、快速集成开发能力 玩瞳提供了全平台(Android&Linux&IOS)快速集成开发的儿童端SDK及全面的技术支持服务,为各个方案商大大缩短了产品开发时间 3、提供功能齐全的Standalone APP 玩瞳为绘本SDK提供了标准独立的SDK调用例程,该例程功能齐全,最重要的一点是例程完全开源,开发者可以修改任何一行代码 4、丰富的内容扩展和交互能力 a) 根据读书状态展示不同的表情,让你的产品更具人物化 SDK将各种状态全都反馈给开发者,开发者可以通过这些状态去开发更多功能,比如:让你的APP在读绘本的时候表现不一样表情包 b) 结合基础语音交互进行互动 绘本SDK提供了打断重启功能,并将识别到的每一本书的信息全都返回给开发者,开发者可以通过这些信息对正在阅读绘本的小孩进行问答互动,让孩子在阅读中真正学习到知识 c) Extra Data更是让你想做什么就做什么 玩瞳开放的Extra Data更是能让用户自定义业务逻辑,与自有内容绑定,实现多平台内容对接玩瞳SDK如何识别绘本? 玩瞳VisionTalk的SDK绘本识别能力,通过端+云算法的全面解决方案,是怎么实现绘本识别的呢? 在端上,有基于预览图像进行识别的翻页检测算法,我们的优势在于大大减少云端服务器的请求压力,端上的算法是一个非常轻量级的算法,这就得益于玩瞳的算法团队进行了N多次的算法迭代和优化,使我们的端算法在运行速度下降不多的情况下,对硬件要求降到了最低 在云上,玩瞳的后台团队为云端识别算法扩展搭建了稳健、安全及庞大的后台服务体系开发者只要拿到端上的SDK就可以轻松便捷地为自己的产品赋能如何将玩瞳SDK嵌入自有APP 下面我们以安卓端SDK为例,给开发者展示一下如何便捷的将SDK嵌入自有APP内 1. 配置工程 1.1 配置license 在BRBaseActivity.java 中修改 LICENSE 变量,对应代码如下:public class BRBaseActivity { private static final String LICENSE = \"license\";} 1.2 配置授权码和license模式 在build.gradle中修改 LAUNCH_MODE 变量,对应代码如下:// app启动模式{0: license模式; 1: QRCode模式}LAUNCH_MODE = 0 1.3 替换闪屏页 替换 src/main/res/drawable/unity_static_splash.png,如下图: 2. 主要接口 2.1 VTBRSDKManager(@NonNull Context context) 功能:获取VTBRSDKManager实例 2.2 public void init() 功能:开启SDK,在调用SDK的其他功能接口前,需要调用下这个方法初始化一些参数和配置,否则会导致一些功能无法使用 2.3 public void exit() 功能:关闭SDK,该方法用于退出SDK,会关闭以下功能: 音频模块:不会再播放书页音频; 识别模块:不再进行识别; 网络模块:取消掉当前的网络请求队列 2.4 public void initialize(String license, IInitializeListener listener) 功能:License认证,在调用识别功能接口前,必须先调用此方法,初始化的状态回调通过IInitializeListener来监听 参数: 2.5 public void startRecognize() 功能:开启识别 2.6 public void reRecognize() 功能:重新识别,该接口用于某些情况下需要重新识别一次,例如网络断开后重连 2.7 public void stopRecognize() 功能:停止识别 2.8 IRecognizeListener 功能:识别回调,该回调类用于监听识别回调,接口类如下:public interface IRecognizeListener { boolean onRecognizeSuccess(VTBRBookDataModel data); void onRecognizeFail(int code, String msg); void onGetBookInfoFail(int code, String msg); boolean onGetBookInfoSuccess(int bookId, boolean needUpdate);} 2.8.1 onRecognizeSuccess 功能:该回调为识别成功的回调 参数: VTBRBookDataModel类: RecognizeEntity.BrsBean.DataBean.BookBean类: 返回值: 是否消费该识别结果true: 消费该识别结果, 则不走之后的获取书本信息、开始下载、播放书页音频等操作;false: 不消费该识别结果, 继续执行玩瞳的操作 2.8.2 onRecognizeFail 功能:该回调为识别失败的回调 参数: 备注:错误码请查看错误码章节 2.8.3 onGetBookInfoFail 功能:该回调为获取书本信息失败的回调 参数: 备注:错误码请查看错误码章节 2.8.4 onGetBookInfoSuccess 功能:该回调为获取书本信息成功的回调 参数: 返回值: 该接口如果返回true,则用户自己消费该回调接口,不会走之后的流程,用户可以用bookId实现自己的逻辑;如果返回false,则继续之后的流程(播放更新书本语音和下载书本信息等) 玩瞳科技 VisionTalk 期待通过AI慧读平台能力,助力合作伙伴的产品快速商业化,用我们优秀的识别能力为客户现有的App赋能,共同打造具有创造价值的“AI阅读机器人”生态
深圳市玩瞳科技有限公司 VisionTalk 成立于2015年,是一家经深圳市政府认证的高新技术企业公司专注于实体学习桌面的视觉图像分析,并应用于机器辅助的阅读、作业和学习公司目前拥有数十项各类专利,并拥有全球最大的儿童出版物图像训练库公司新推出的“智能慧读平台”赋能产业链,低成本、高效率、个性化地帮助企业开发或升级阅读机器人已经成功在故事机/机器人、儿童出版、儿童内容等行业得到应用
0 评论