Deaktiver token pauser på tegnsetting LUIS.ai

stemmer
3

Jeg jobber med Microsoft Kognitiv Services API for språkforståelse, LUIS.ai .

Når teksten analyseres av LUIS, er blankpoll alltid satt rundt tegnsetting.

Denne atferden er tilsiktet, i henhold til dokumentasjon .

Engelsk, fransk, italiensk, spansk: er token bryter inn når som helst mellomrom, og rundt noen tegnsetting.

For mitt prosjekt, jeg trenger å bevare det opprinnelige søkestrengen, uten disse symbolene, som noen enheter trent for min modell vil inneholde tegnsetting, og det er irriterende og litt Hacky å strippe den ekstra mellomrom fra de analyserte enheter.

Eksempel på dette problemet:

skriv

Er det en måte å deaktivere dette? Det ville spare ganske mye innsats.

Takk!!

Publisert på 03/08/2016 klokken 16:38
kilden bruker
På andre språk...                            


1 svar

stemmer
1

Dessverre er det ingen måte å deaktivere det for nå, men den gode nyheten er at spådommer returnert vil omhandle den opprinnelige strengen, ikke den symbolbaserte du ser i eksempelet merking prosessen.

Her i dokumentasjon av hvordan å forstå JSON responsen kan du se eksempel utgangs preservers den opprinnelige "søket" streng , og de utpakkede enhetene har null basert karakterindekser ( "startIndex", "endIndex") i den opprinnelige strengen; Dette vil tillate deg å håndtere de indekser i stedet for analyseres foretakets setninger.

{
"query": "Book me a flight to Boston on May 4",
"intents": [
  {
    "intent": "BookFlight",
    "score": 0.919818342
  },
  {
    "intent": "None",
    "score": 0.136909246
  },
  {
    "intent": "GetWeather",
    "score": 0.007304534
  }
],
"entities": [
  {
    "entity": "boston",
    "type": "Location::ToLocation",
    "startIndex": 20,
    "endIndex": 25,
    "score": 0.621795356
  },
  {
    "entity": "may 4",
    "type": "builtin.datetime.date",
    "startIndex": 30,
    "endIndex": 34,
    "resolution": {
      "date": "XXXX-05-04"
    }
  }
]

}

Svarte 05/08/2016 kl. 15:02
kilden bruker

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more