Сборочная линия NLU по умолчанию¶

Сборочная линия NLU по умолчанию¶

В разделе Сборочная линия NLU по умолчанию можно настроить компоненты и параметры конвейера (pipeline).

Сборочная линия NLU новых моделей по умолчанию — это конвейер (pipeline) для обработки и обучения моделей Natural Language Understanding (NLU). Этот конвейер определяет последовательность шагов, которые выполняются для обработки текстовых данных, извлечения намерений и сущностей, а также для обучения модели.

Конвейер (pipeline) задается в конфигурационном файле config.yml в разделе pipeline.

Содержание инструкции:

• Компоненты сборочной линии NLU
• Пример сборочной линии NLU
• Изменение сборочной линии NLU

Компоненты сборочной линии NLU¶

Конвейер NLU по умолчанию включает следующие компоненты:

1. Токенизатор (Tokenizer):

   • Разделяет текст на отдельные слова или токены.
   • Пример: WhitespaceTokenizer или SpacyTokenizer.

2. Извлечение признаков (Featurizer):

   • Преобразует текст в числовые векторы, которые могут быть обработаны моделью.
   • Пример: CountVectorsFeaturizer или SpacyFeaturizer.

3. Классификатор намерений (Intent Classifier):

   • Определяет намерение пользователя на основе текста.
   • Пример: DIETClassifier или EmbeddingIntentClassifier.

4. Извлечение сущностей (Entity Extractor):

   • Извлекает сущности (например, имена, даты, места) из текста.
   • Пример: CRFEntityExtractor или SpacyEntityExtractor.

5. Компоненты для обработки языка:

   • Например, лемматизация, стемминг или обработка стоп-слов.
   • Пример: SpacyNLP или LanguageModelFeaturizer.

Пример сборочной линии NLU¶

pipeline:
  - name: WhitespaceTokenizer
  - name: RegexFeaturizer
  - name: LexicalSyntacticFeaturizer
  - name: CountVectorsFeaturizer
  - name: CountVectorsFeaturizer
    analyzer: char_wb
    min_ngram: 1
    max_ngram: 4
  - name: DIETClassifier
    epochs: 200
  - name: EntitySynonymMapper
  - name: ResponseSelector
    epochs: 100

Изменение сборочной линии NLU¶

Чтобы внести изменение в сборочную линию NLU в интерфейсе Wisebot:

1. Перейдите в раздел Администрирование → Настройки → Сборочная линия NLU по умолчанию.

   

2. Внесите изменения.

3. Нажмите Сохранить.
4. Обучите модель NLU с использованием нового конвейера.