| 2020 最新软件开发状况报告☞深度学习基础总结，无一句废话（附完整思维导图）☞震惊
阿里的程序员竟被一个简单的 SQL 查询难住了
☞大学生程序员被勒索比特币后，绝地反击
（图片来源网络，侵删）
作者 | Qing Lan，Mikhail Shapirov责编 | Carol封图 | CSDN 下载自视觉中国出品 | CSDN云计算（ID：CSDNcloud）许多AWS云服务的用户，无论是初创企业还是大公司，都在逐步将机器学习 (ML) 和深度学习 (DL) 任务搭载在他们已有产品之上大量的机器学习任务应用在商业和工业领域，例如应用在图像和视频中的目标检测，文档中的情感分析，大数据中的欺诈识别尽管机器学习应用广泛应用在其他语言中（例如Python），但是对于广大已有产品的开发者学习和集成成本依然很高试想一下，如果要用另一种语言集成在已有的Java服务中，从写代码，编译，测试到最后部署都要做出大量改变为了解决用户在这方面上的痛点，本文将提出一种解决问题的新思路：用户无需对已有的资源和人员重新调配，可以直接部署机器学习应用在现有的服务中Spring Boot在生产环境中的应用Spring Boot是一个在微服务领域中广泛应用的开源平台它的主要特色就是简化了分布式系统分发管理应用的过程但是就目前来看，用户可选的部署ML应用方案屈指可数就拿推理应用来说，用户可以通过使用Stock API 创建一个基于C++或者Python应用的RPC API来实现不同语言的推理任务尽管这个解决方案可以在最短时间内解决部署的燃眉之急，但是从长期运行的效果来看，它造成了大量的维护成本以及效率问题单纯就RPC通信这一方面来说，可能仅仅通信的时间消耗就已经达到了推理的时间消耗，造成这个解决方案成为整体应用速度提升的瓶颈AWS云服务推出了基于深度学习的开源Java库https://djl.ai/主要是为了简化昂贵且繁琐的开发流程这篇文章会从一个基本的Spring boot 应用出发，利用DJL，来集成机器学习应用在微服务中仅通过几行代码，就可以轻松实现目标检测和图像分类任务配置Spring Boot Starter (SBS)Spring Boot Starter 是一个一站式的Spring库管理工具它简化了诸多引用新的库需要进行的操作，比如复制粘贴样本代码，修改配置文件等请参考Spring Boot Starter官方指南以获取更多信息在本文，我们将使用DJL Spring Boot Starter, 一个增加了深度学习部署功能的SBS在现有架构的基础上，DJL SBS增添了自动配置的功能它使得用户无需担心依赖项，几行代码就可以将它们作为beans应用在Spring框架下如果后面有任何一步不是很清楚，可以参考我们示例应用DJL Spring Boot Starter：https://github.com/awslabs/djl-spring-boot-starter自动配置：https://docs.spring.io/spring-boot/docs/current/reference/html/spring-boot-features.html#boot-features-developing-auto-configuration示例应用：https://github.com/awslabs/djl-spring-boot-starter/tree/master/djl-spring-boot-console-sample1、依赖项管理DJL库可以应用在各种操作系统平台上，也同时支持多种深度学习引擎，比如TensorFlow 2.0, PyTorch以及MXNetDJL内建了一系列自动选择机制，用户无需选择运行的操作系统但是DJL仍旧需要用户选择一种或多种深度学习引擎以MXNet 为例，用户可以选择进行如下的配置 (pom.xml):<parent><artifactId>spring-boot-starter-parent</artifactId><groupId>org.springframework.boot</groupId><version>2.2.6.RELEASE</version></parent><properties><java.version>11</java.version> <!-- 11 是Java最低支持的版本 --><jna.version>5.3.0</jna.version> <!-- 需要覆写 JNA 版本--></properties><dependency><groupId>ai.djl.spring</groupId><artifactId>djl-spring-boot-starter-mxnet-linux-x86_64</artifactId><version>${djl.starter.version}</version> <!-- e.g. 0.2 --></dependency>用户可以自己选择需要运行的平台，上面 <dependency> 中， linux-x86_64 (Linux) 可以被替换为 win-x86_64 (Windows), 或者 osx-x86_64 (Mac OS)我们也提供了一种在运行时自动寻找相应系统的全自动依赖项 auto：<dependency><groupId>ai.djl.spring</groupId><artifactId>djl-spring-boot-starter-mxnet-auto</artifactId><version>${djl.starter.version}</version> <!-- e.g. 0.2 --></dependency>如果需要使用PyTorch，可以做出如下更改:<dependency><groupId>ai.djl.spring</groupId><artifactId>djl-spring-boot-starter-pytorch-auto</artifactId><version>${djl.starter.version}</version> <!-- e.g. 0.2 and above --></dependency>Gradle的配置也十分相似，只需要如下几行:plugins {...id(\"org.springframework.boot\")}repositories {mavenCentral // 发布的包在maven central}dependencies {implementation(\"ai.djl.spring:djl-spring-boot-starter-mxnet-auto:0.2\")}注意，由于SpringBoot本身使用了一个旧版的JNA库，我们需要手动设置gradle.properties 里面的\"jna.version=5.3.0\"2、使用Spring 全自动选择功能接下来，我们可以通过添加如下依赖项来使用 Spring的 auto-configuration 来实现自动选择功能:<dependency><groupId>ai.djl.spring</groupId><artifactId>djl-spring-boot-starter-autoconfigure</artifactId><version>${djl.starter.version}</version></dependency>在gradle:dependencies {implementation(\"ai.djl.spring:djl-spring-boot-starter-autoconfigure:${djl.starter.version}\")}导入这个dependency之后，Spring Boot 会自动配置环境和寻找模型开发者需要提供一个标准的Spring 配置文件，如 application.yml 或者 application.properties模型的类型可以选择下面任意一个：QUESTION_ANSWER(NLP.QUESTION_ANSWER),TEXT_CLASSIFICATION(NLP.TEXT_CLASSIFICATION),IMAGE_CLASSIFICATION(CV.IMAGE_CLASSIFICATION),OBJECT_DETECTION(CV.OBJECT_DETECTION),ACTION_RECOGNITION(CV.ACTION_RECOGNITION),INSTANCE_SEGMENTATION(CV.INSTANCE_SEGMENTATION),POSE_ESTIMATION(CV.POSE_ESTIMATION),SEMANTIC_SEGMENTATION(CV.SEMANTIC_SEGMENTATION);比如，如果想进行目标检测，那么就可以选择 OBJECT_DETECTION可以参考下面的 yaml 来配置：djl:# 设定应用种类application-type: OBJECT_DETECTION# 设定输入数据格式, 有的模型支持多种数据格式input-class: java.awt.image.BufferedImage# 设定输出数据格式output-class: ai.djl.modality.cv.output.DetectedObjects# 设定一个筛选器来筛选你的模型model-filter:size: 512backbone: mobilenet1.0# 覆写已有的输入输出配置arguments:threshold: 0.5 # 只展示预测结果大于等于 0.53、IDE 支持推荐用户使用IDE，如intelliJ或者Eclipse：Image URL: https://github.com/awslabs/djl-spring-boot-starter-demo/raw/master/docs/media/djl-start-ide-support-low-frame-30s.gifintelliJ可以通过Ctrl+Space 来自动完成Ctrl+J 来快速查询文档运行你的应用现在我们赶紧试试看之前配置的效果吧从现在开始，我们只需要两步就可以完成所有的模型部署运行任务在此之前，开发者只需要创建一个简单的单一类Spring应用即可第一步：注入 predictor 用来做目标检测 @Resource private Supplier<Predictor> predictorProvider;第二步: 运行目标检测try (var predictor = predictorProvider.get) {var results = predictor.predict(ImageIO.read(this.getClass.getResourceAsStream(\"/puppy-in-white-and-red-polka.jpg\")));for(var result : results.items) {LOG.info(\"results: {}\", result.toString);}}如果你使用了我们的示例，那么在console会显示如下结果:a.d.s.e.console.ConsoleApplication: results: class: \"dog\", probability: 0.90820, bounds: {x=0.487, y=0.057, width=0.425, height=0.484}快速复现只需如下几行，便可以轻松运行这个示例应用git clone git@github.com:awslabs/djl-spring-boot-starter.gitcd djl-spring-boot-starter/djl-spring-boot-console-sample../mvnw package../mvnw spring-boot:run我们也提供了一个更复杂的例子，你可以使用多种插件，快速实现一个Restful的分类器微服务https://github.com/awslabs/djl-spring-boot-starter-demo/tree/master/djl-spring-boot-app/了解 DJLDJL是AWS云服务在2019年re:Invent大会推出的专为Java开发者量身定制的深度学习框架，现已运行在亚马逊数以百万的推理任务中DJL的主要特色：1、DJL不设限制于后端引擎：用户可以轻松的使用 MXNet, PyTorch, TensorFlow和fastText来在Java上做模型训练和推理2、DJL的算子设计无限趋近于numpy：它的使用体验上和numpy基本是无缝的，切换引擎也不会造成结果改变3、DJL优秀的内存管理以及效率机制：DJL拥有自己的资源回收机制，100个小时连续推理也不会内存溢出https://djl.aihttps://github.com/awslabs/djl作者简介：Qing Lan,AWS AI 软件开发工程师DJL深度学习框架作者之一，Apache软件基金会项目管理委员会成员Mikhail Shapirov, AWS 资深解决方案架构师，专注于容器类服务拥有20年软件开发经验，也是开源社区的积极贡献者☞卖掉 3000 平房子，50 岁程序员回国写代码，三个月内融资 2000 万美元☞诺基亚的百年沉浮☞JavaScript 流行度最高，Java 屈居第三
| 2020 最新软件开发状况报告☞深度学习基础总结，无一句废话（附完整思维导图）☞震惊
阿里的程序员竟被一个简单的 SQL 查询难住了
☞大学生程序员被勒索比特币后，绝地反击
| 2020 最新软件开发状况报告☞深度学习基础总结，无一句废话（附完整思维导图）☞震惊
阿里的程序员竟被一个简单的 SQL 查询难住了
☞大学生程序员被勒索比特币后，绝地反击
0 评论