DeepLearning4j-11-Tokenization 分词
Tokenizer
在 DL4J 中将文本分解为单个单词以进行语言处理。
注意事项:
Tokenizer 工厂接口
Tokenizer 接口
如何编写自己的工厂和 tokenizer
Tokenization
什么是 Tokenization?
标记化是将文本分解为单个单词的过程。
Word 窗口也由标记组成。
...
2022-10-14 01:22:02 |
AI
DeepLearning4j-10-Sentence Iterator 句子迭代器
Sentence Iterator 句子迭代器
Word2vec 和 Bag of Words 中都使用了句子迭代器。
它以向量的形式将文本位输入神经网络,还涵盖了文本处理中的文档概念。
在自然语言处理中,文档或句子通常用于封装算法应该学习的上下文。
一些例子包括分析推文和全面的新闻文章。句子迭代器的目的是将文本划分为可处理的位。
请注意,句子迭代器与输入无关。因此,一些文本(文档...
2022-10-14 01:22:02 |
AI
DeepLearning4j-09-DOC2VEC
Doc2Vec
DL4J 中用于语言处理的 Doc2Vec 和任意文档。
Doc2Vec 的主要目的是将任意文档与标签相关联,因此需要标签。
Doc2vec 是 word2vec 的扩展,它学习关联标签和单词,而不是单词与其他单词。
Deeplearning4j 的实现旨在服务于 Java、Scala 和 Clojure 社区。
第一步是提出一个表示文档“含义”的向量,然后可以将其...
2022-10-14 01:22:02 |
AI
DeepLearning4j-08-DL4j Language Processing 语言处理
语言处理
DL4J 中的语言处理概述
虽然设计的目的不是为了与斯坦福 CoreNLP 或 NLTK 等工具相媲美,但 deepLearning4J 确实包含一些此处描述的核心文本处理工具。
Deeplearning4j 的 NLP 支持包含不同 NLP 库的接口。
用户通过我们的接口包装第三方库。
从 M1 开始的 Deeplearning4j 不直接支持任何 3rd 方库。
这...
2022-10-14 01:22:02 |
AI
DeepLearning4j-07-DL4j 快速开始
DL4j
这是运行 DL4J 示例和开始您自己的项目所需的一切。
我们建议您加入我们的社区论坛。
您可以在那里请求帮助并提供反馈,但请在提出我们在下面回答的问题之前使用本指南。
如果您不熟悉深度学习,我们为初学者提供了路线图,其中包含课程、阅读材料和其他资源的链接。
我们目前正在重新编写入门指南。
如果您发现无法按照此处进行操作,请查看 Konduit 博客,因为它包含一些来自社...
2022-10-14 01:22:02 |
AI
DeepLearning4j-06-Hello world 入门教程
入门
深度学习的入门例子。
准备工作
maven 3+
jdk11 安装。
ps: 官方给定的 demo,依赖的 jar 是 11 的版本。所以需要安装 jdk11。
pom.xml
引入对应的 maven 包。
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apach...
2022-10-14 01:22:02 |
AI
DeepLearning4j-05-Multi Project backend config 后端配置
后端
Eclipse Deeplearning4j 的硬件设置,包括 GPU 和 CUDA。
ND4J 在所谓的后端或线性代数库上工作,例如 Native nd4j-native 和 nd4j-cuda-10.2 (GPU),您可以通过将正确的依赖项粘贴到项目的 POM.xml 文件中来选择它们。
用于 GPU 和 CPU 的 ND4J 后端
通过更改 ND4J 的 POM.xml ...
2022-10-14 01:22:02 |
AI
DeepLearning4j-04-Multi Project 核心流程
介绍
端到端工作流程涉及以下内容:
准备数据
正则化
建立模型
调整模型
准备部署
此页面将尝试涵盖每个工作流程的注意事项,并链接到其他资源,以了解如何处理可能特定于特定人员的每个步骤。
准备数据
数据总是需要进行预处理。 这意味着将数据从不同数据类型的原始源转换为要由神经网络处...
2022-10-14 01:22:02 |
AI