エンリッチメント関数

構文は次のとおりです。

detectLanguage(String attribute)

各要素の意味は次のとおりです。

• attributeは、言語検出を実行する文字列属性です。

例:

detectLanguage(labor_description)

labor_description文字列属性では「en」が返されます。

構文は次のとおりです。

extractKeyPhrases(String attribute, String languageCode, Boolean smartCasing)

各要素の意味は次のとおりです。

• attributeは、処理される文字列属性です。特にテキストがすべて大文字である場合など、テキストを最初に小文字に変換することをお薦めします。
• languageCodeは、精度を上げるために言語の名前またはコード(「en」、「English」、「German」など)を指定するオプションの文字列パラメータです。サポートされている言語は、英語(英国/アメリカ合衆国)、ポルトガル語(ブラジル)、スペイン語、フランス語、ドイツ語およびイタリア語です。指定された場合、その言語に固有のモデルを使用するよう関数に強制します。指定されていない場合、またはnullとして渡された場合(これがデフォルトです)、関数により言語モデルが自動的に検出されます。サポートされない言語が指定された場合は、エラーがスローされます。
• smartCasingはオプションのパラメータで、trueに設定すると、タイトルの大/小文字または大文字のいずれかを主とするドキュメントを、関数で自動的に処理することを指定します。このパラメータを使用しない場合、デフォルトはtrueです。

例:

extractKeyPhrases(toLowerCase(comments))

extractKeyPhrases(surveys, 'en', true)

構文は次のとおりです。

extractNounGroups(String attribute, String languageCode)

各要素の意味は次のとおりです。

• attributeは、処理される文字列属性です。
• languageCodeは、精度を上げるために言語の名前またはコード(「en」、「English」、「German」など)を指定するオプションの文字列パラメータです。サポートされている言語は、英語(英国/アメリカ合衆国)、スペイン語、フランス語、ドイツ語およびイタリア語です。指定された場合、その言語に固有のモデルを使用するよう関数に強制します。指定されていない場合、またはnullとして渡された場合(これがデフォルトです)、関数により言語モデルが自動的に検出されます。サポートされない言語が指定された場合は、エラーがスローされます。

例:

extractNounGroups(labor_description, 'en')

labor_description文字列属性では名詞(「Battery」、「Mass Air Flow Sensor」など)が返されます。

次に、簡単なホワイトリストの例を示します。

• helium
• neon
• argon
• krypton
• xenon
• radon

• helium/He
• neon/Ne
• argon/Ar
• krypton/Kr
• xenon/Xe
• radon/Rn

構文は次のとおりです。

extractWhiteListTags(String attribute, String whitelist, String languageCode,
      boolean caseSensitive, boolean matchWholeWords, String delimiter)

各要素の意味は次のとおりです。

• attributeは、処理対象となる文字列属性です。
• whitelistは、ホワイトリストのエントリが含まれるドキュメントです。これは、リテラルおよび構成語の改行区切りのリストが含まれるプレーン・テキスト・ファイルである必要があります。
• languageCodeは、精度を上げるために文字列の言語を指定するオプションの文字列パラメータです。デフォルトでは、英語に設定されています。サポートされている言語は、空白区切りの言語のみです。
• caseSensitiveは、入力の大/小文字を区別するかどうかを示すオプションのブール・パラメータです(デフォルトはfalse)。
• matchWholeWordsは、単語全体のみ(falseに設定、これがデフォルト)に一致するか、または単語の部分(trueに設定)に一致するかを示すオプションのブール型パラメータです。"red"が"reduce"と一致しないようにします。
• delimiterは、「一致」および「出力」の値へのホワイトリスト・エントリの解析に使用されるデリミタ文字を指定するオプションの文字列パラメータです。タブ文字(\t)がデフォルトです。各ホワイトリスト・エントリでは、1つのデリミタしか使用できないことに注意してください(最初のデリミタの後のデリミタはすべて無視されます)。

次の例のように、delimiter文字により、ホワイトリスト・エントリがその一致と出力の値に分離されることに注意してください。

delimiter=','
Rn,86
Ne,10
He,2

delimiter='/'
Rn/86
Ne/10
He/2

no delimiter specified (uses the default <tab> character)
Rn<tab>86
Ne<tab>10
He<tab>2

この例extractWhiteListTagsでは、最初の行でtagListという名前のホワイトリストを定義し、2番目の行でドキュメントを定義し、3番目の行でextractWhiteListTags変換エンリッチメント関数を使用します(この関数は最初に、指定されたホワイトリストに対して入力テキストを照合します)。次に、WhitelistTagsのように、ホワイトリスト(英語)にリストされている用語のすべての出現箇所を検索して抽出し、一致する完全表記のリストを返します。

def whitelist = '''
helium/He
neon/Ne
argon/Ar
krypton/Kr
xenon/Xe
radon/Rn
'''
def document = 'The noble gases make a group of chemical elements with similar properties: 
under standard conditions, they are all odorless, colorless, monatomic gases with very low 
chemical reactivity. The six noble gases that occur naturally are helium (He), neon (Ne), 
argon (Ar), krypton (Kr), xenon (Xe), and the radioactive RADON (Rn).'

extractWhitelistTags(document, whitelist, 'en', false, true, '/')

構文は次のとおりです。

geotagIPAddress(String IPAddress, String adminLevel)

各要素の意味は次のとおりです。

• IPAddressは、処理対象となる文字列型の有効なIPアドレスです。
• adminLevelは、返される管理区分を指定するオプションの文字列パラメータです。これは、次の定数またはリテラル値(大/小文字を区別)のうち、1つのみを設定できます。
  • ADMIN_LEVEL_CITYまたは'City'(市区町村の一致用)。
  • ADMIN_LEVEL_COUNTRYまたは'Country'(国の一致用)。
  • ADMIN_LEVEL_REGIONまたは'Region'(アメリカ合衆国の州など、地域の一致用)。
  • ADMIN_LEVEL_REGIONIDまたは'RegionID'(マサチューセッツ州の「6254926」など、GeoNamesデータベース内の地域のID)。
  • ADMIN_LEVEL_SUBREGIONまたは'SubRegion'(アメリカ合衆国の郡など、サブ地域の一致用)。
  • ADMIN_LEVEL_SUBREGIONIDまたは'SubRegionID'(マサチューセッツ州のミドルセックス郡の「4943909」など、GeoNamesデータベース内のサブ地域ID)。
  • ADMIN_LEVEL_POSTCODEまたは'Postcode'(アメリカ合衆国のzipコードなど、郵便番号用)。

返されるadminLevelのデータ型は次のとおりです。

• 文字列のadminLevel = City、Country、Postcode、Region、SubRegion、RegionID、SubRegionID
• ジオコードのadminLevel = Geocode

例:

geotagIPAddress('148.86.25.54', 'City')

geotagIPAddress('148.86.25.54', ADMIN_LEVEL_CITY)

どちらの例も、単一割当の文字列属性として「New York City」を返します。

構文は次のとおりです。

geotagIPAddressGetGeocode(String IPAddress)

各要素の意味は次のとおりです。

• IPAddressは、処理対象となる文字列型の有効なIPアドレスです。

例:

geotagIPAddressGetGeocode('148.86.25.54')

単一割当のGeocode属性として、ジオコード「40.714270 -74.005970」を返します。

構文は次のとおりです。

geotagStructuredAddress(String country, String region, String subregion, String city, 
      String postcode, Boolean returnByPopulation, String adminLevel)

各要素の意味は次のとおりです。

• countryは、住所の国のフィールドです(不明の場合はnullを使用)。
• regionは、住所の地域のフィールドです(不明の場合はnullを使用)。地域は、アメリカ合衆国では州になります。
• subregionは、住所のサブ地域のフィールドです(不明の場合はnullを使用)。サブ地域は、アメリカ合衆国では郡になります。
• cityは、住所の市区町村のフィールドです(不明の場合はnullを使用)。
• postcodeは、住所の郵便番号のフィールドです(不明の場合はnullを使用)。郵便番号は、アメリカ合衆国ではzipコードになります。
• returnByPopulationは、trueに設定されている場合、最大の人口を持つ位置を返す、オプションのブール型パラメータです。デフォルトはfalseです。
• adminLevelは、返される特定のフォールドを指定するオプションの文字列パラメータです。これは、次の定数またはリテラル値(大/小文字を区別)のうち、1つのみを設定できます。
  • ADMIN_LEVEL_CITYまたは'City'は、住所の市区町村を返します。
  • ADMIN_LEVEL_COUNTRYまたは'Country'は、住所の国を返します。
  • ADMIN_LEVEL_REGIONまたは'Region'は、アメリカ合衆国の州など、住所の地域を返します。
  • ADMIN_LEVEL_REGIONIDまたは'RegionID'は、マサチューセッツ州の「6254926」など、GeoNamesデータベース内の地域のIDを返します。
  • ADMIN_LEVEL_SUBREGIONまたは'SubRegion'は、アメリカ合衆国の郡など、住所のサブ地域を返します。
  • ADMIN_LEVEL_SUBREGIONIDまたは'SubRegionID'は、マサチューセッツ州のサフォーク郡の「4952349」など、GeoNamesデータベース内のサブ地域IDを返します。
  • ADMIN_LEVEL_POSTCODEまたは'Postcode'は、住所の郵便番号を返します。
  • ADMIN_LEVEL_GEOCODEまたは'Geocode'は、最も低い階層管理レベルのジオコードを返します。これはデフォルトです。

この関数は、adminLevelパラメータによって要求された値を返します。返されるadminLevelのデータ型は次のとおりです。

• 文字列のadminLevel = City、Country、Postcode、Region、SubRegion、RegionID、SubRegionID
• ジオコードのadminLevel = Geocode

例1:

// Get the geocode for San Francisco in the US and return the location with the largest population.
geotagStructuredAddress( 'us', null, null, 'san francisco', null, true, 'Geocode')

「39.76 -98.5」(カリフォルニア州サンフランシスコのジオコード)が返されます。

例2:

// Get the region (state in the US) in which the Boston with the highest population is located.
geotagStructuredAddress('us', '', '', 'boston', '', true, 'Region')

「Massachusetts」が返されます(理由はボストンで、ボストンのあるマサチューセッツ州はアメリカ合衆国で最大の人口があります)。

構文は次のとおりです。

geotagUnstructuredAddress(String addressText, String adminLevel, String addressGrain, Boolean validateAddress)

各要素の意味は次のとおりです。

• addressTextは、処理対象となる住所の文字列です。これは、350文字以下である必要があります。
• adminLevelは、返される管理区分を指定するオプションの文字列パラメータです。これは、次の定数またはリテラル値(大/小文字を区別)のうち、1つのみを設定できます。
  • ADMIN_LEVEL_CITYまたは'City'(市区町村の一致用)。
  • ADMIN_LEVEL_COUNTRYまたは'Country'(国の一致用)。
  • ADMIN_LEVEL_REGIONまたは'Region'(アメリカ合衆国の州など、地域の一致用)。
  • ADMIN_LEVEL_REGIONIDまたは'RegionID'(マサチューセッツ州の「6254926」など、GeoNamesデータベース内の地域のID)。
  • ADMIN_LEVEL_SUBREGIONまたは'SubRegion'(アメリカ合衆国の郡など、サブ地域の一致用)。
  • ADMIN_LEVEL_SUBREGIONIDまたは'SubRegionID'(マサチューセッツ州のミドルセックス郡の「4943909」など、GeoNamesデータベース内のサブ地域ID)。
  • ADMIN_LEVEL_POSTCODEまたは'Postcode'(アメリカ合衆国のzipコードなど、郵便番号用)。
• addressGrainは、GeoTaggerが指定されたレベルで最も可能性の高い一致を見つけるために役立つ管理区分を指定するオプションの文字列パラメータです。これは、次の定数またはリテラル値(大/小文字を区別)のうち、1つのみを設定できます。
  • ADMIN_LEVEL_CITYまたは'City'(市区町村の一致用)。
  • ADMIN_LEVEL_COUNTRYまたは'Country'(国の一致用)。
  • ADMIN_LEVEL_REGIONまたは'Region'(地域の一致用)。
  • ADMIN_LEVEL_SUBREGIONまたは'SubRegion'(サブ地域の一致用)。
  • ADMIN_LEVEL_NONEまたは'None'は、住所文字列と最も近く一致する最も人口の多い場所を返します。これはデフォルト値です。
• validateAddressは、GeoTaggerが住所を検証する必要があるかどうかを指定するオプションのブール型パラメータです。

返されるadminLevelのデータ型は次のとおりです。

• 文字列のadminLevel = City、Country、Postcode、Region、SubRegion、RegionID、SubRegionID
• ジオコードのadminLevel = Geocode

次の例は、「countries」文字列属性の国名のジオコード・アドレスを取得する方法を示しています。

geotagUnstructuredAddress(countries, 'Country', , true, 'en')
geotagUnstructuredAddress('New York, NY 10029', 'Region', 'SubRegion', false)

構文は次のとおりです。

geotagUnstructuredAddressGetGeocode(String addressText, String addressGrain, Boolean validateAddress)

各要素の意味は次のとおりです。

• addressTextは、処理対象となる住所の文字列です。これは、350文字以下である必要があります。
• addressGrainは、GeoTaggerが指定されたレベルで最も可能性の高い一致を見つけるために役立つオプションの文字列パラメータです。これは、次の値(大文字と小文字は区別されません)の1つに対してのみ設定できます。
  • ADMIN_LEVEL_CITYまたは'City'(市区町村の一致用)。
  • ADMIN_LEVEL_COUNTRYまたは'Country'(国の一致用)。
  • ADMIN_LEVEL_REGIONまたは'Region'(アメリカ合衆国の州など、地域の一致用)。
  • ADMIN_LEVEL_SUBREGIONまたは'SubRegion'(アメリカ合衆国の郡など、サブ地域の一致用)。
  • ADMIN_LEVEL_NONEまたは'None'は、住所文字列と最も近く一致する最も人口の多い場所を返します。これはデフォルト値です。
• validateAddressは、GeoTaggerが住所を検証する必要があるかどうかを指定するオプションのブール型パラメータです。

例:

geotagUnstructuredAddressGetGeocode(cities, ADMIN_LEVEL_CITY, false)

geotagUnstructuredAddressGetGeocode(cities, 'City', false)

構文は次のとおりです。

getEntities(String attribute, String entityType)

各要素の意味は次のとおりです。

• attributeは、処理される文字列属性を指定します。
• entityTypeは、抽出するエンティティのタイプを指定する文字列パラメータです。これは、次の定数またはリテラル値(大/小文字を区別)のうち、1つのみを指定できます。
  • ENTITY_TYPE_PERSONまたは'Person'は、属性で見つかったすべての人エンティティを返します。
  • ENTITY_TYPE_ORGANIZATIONまたは'Organization'は、属性で見つかったすべての組織エンティティを返します。
  • ENTITY_TYPE_LOCATIONまたは'Location'は、属性で見つかったすべての場所エンティティを返します。場所エンティティは、場所の名前("Boston"や"Canada"など)です。

例:

getEntities(claims, ENTITY_TYPE_LOCATION)

getEntities(reviews, 'Person')

文字列属性のセンチメント全体が含まれる文字列を返します。属性のセンチメントには、次のどちらかがあります。

• POSITIVE
• NEGATIVE

構文は次のとおりです。

getSentiment(String textAttribute, String languageCode)

各要素の意味は次のとおりです。

• attributeは、処理される文字列属性を指定します。
• languageCodeは、精度を上げるために言語の名前またはコード(「en」、「English」、「German」など)を指定するオプションの文字列パラメータです。サポートされている言語は、英語(英国/アメリカ合衆国)、スペイン語、フランス語、ドイツ語およびイタリア語です。指定された場合、その言語に固有のモデルを使用するよう関数に強制します。指定されていない場合、またはnullとして渡された場合(これがデフォルトです)、関数により言語モデルが自動的に検出されます。サポートされない言語が指定された場合は、エラーがスローされます。

例:

getSentiment(comments, 'English')

構文は次のとおりです。

getTermSentiment(String textAttribute, String termAttribute, String sentimentCategory, String languageCode)

各要素の意味は次のとおりです。

• textAttributeは、処理対象となる文字列属性です。
• termAttributeは、そのセンチメント(sentimentCategory引数で設定される)に基づいて抽出する用語のタイプを指定する文字列パラメータです。語のタイプには、次のいずれかの値のみ(大/小文字を区別)を指定できます。
  • ENTITY_TYPE_PERSONまたは'Person'は個人エンティティが含まれるパッセージを特定し、これらのパッセージのセンチメントを返します。
  • ENTITY_TYPE_ORGANIZATIONまたは'Organization'は組織エンティティが含まれるパッセージを特定し、これらのパッセージのセンチメントを返します。
  • ENTITY_TYPE_LOCATIONまたは'Location'は場所エンティティが含まれるパッセージを特定し、これらのパッセージのセンチメントを返します。
  • NOUN_GROUPSまたは'NounGroups'は、指定されたセンチメントに基づいて文内の名詞グループを抽出します。
  • KEY_PHRASESまたは'KeyPhrases'は、指定されたセンチメントに基づいて文内の主要語句を抽出します。
• sentimentCategoryは、語に考慮されるセンチメントのタイプを指定します。SENTIMENT_POSITIVE (または'Positive')を正のセンチメントに、あるいはSENTIMENT_NEGATIVE (または'Negative')を負のセンチメントに指定できます。すべての値は大文字と小文字が区別されます。
• languageCode。精度を上げるために言語の名前またはコード(「en」、「English」、「German」など)を指定するオプションのパラメータ。サポートされている言語は、英語(英国/アメリカ合衆国)、スペイン語、フランス語、ドイツ語およびイタリア語です。指定された場合、その言語に固有のモデルを使用するよう関数に強制します。指定されていない場合、またはnullとして渡された場合(これがデフォルトです)、関数により言語モデルが自動的に検出されます。サポートされない言語が指定された場合は、エラーがスローされます。

例:

getTermSentiment(comments, 'KeyPhrases', 'Positive')
getTermSentiment(comments, KEY_PHRASES, SENTIMENT_POSITIVE)

getTermSentiment(companies, 'Organization', 'Negative')
getTermSentiment(companies, ENTITY_TYPE_ORGANIZATION, SENTIMENT_NEGATIVE)

getTermSentiment(reviews, 'NounGroups', 'Positive')
getTermSentiment(reviews, NOUN_GROUPS, SENTIMENT_POSITIVE)

構文は次のとおりです。

reverseGeotag(Geocode geoAttribute, String adminLevel, Double proximityThreshold)

各要素の意味は次のとおりです。

• geoAttributeは、処理対象となるジオコードです。
• adminLevelは、返される管理区分を指定する文字列パラメータです。これは、次の定数またはリテラル値(大/小文字を区別)のうち、1つのみを設定できます。
  • ADMIN_LEVEL_CITYまたは'City'(市区町村の一致用)。
  • ADMIN_LEVEL_COUNTRYまたは'Country'(国の一致用)。
  • ADMIN_LEVEL_REGIONまたは'Region'(アメリカ合衆国の州など、地域の一致用)。
  • ADMIN_LEVEL_REGIONIDまたは'RegionID'(マサチューセッツ州の「6254926」など、GeoNamesデータベース内の地域のID)。
  • ADMIN_LEVEL_SUBREGIONまたは'SubRegion'(アメリカ合衆国の郡など、サブ地域の一致用)。
  • ADMIN_LEVEL_SUBREGIONIDまたは'SubRegionID'(マサチューセッツ州のミドルセックス郡の「4943909」など、GeoNamesデータベース内のサブ地域ID)。
  • ADMIN_LEVEL_POSTCODEまたは'Postcode'(アメリカ合衆国のzipコードなど、郵便番号用)。
• proximityThresholdは、入力されるジオコードおよび出力される地理的な場所に許可される距離の最大マイル数を指定するオプションのパラメータです。このパラメータを指定しない場合、デフォルトの100マイルが使用されます。距離がしきい値を超える場合、nullが返されます。

この関数は、adminLevelパラメータによって要求されたジオコード・アドレスを返します。返されるadminLevelのデータ型は次のとおりです。

• 文字列のadminLevel = City、Country、Postcode、Region、SubRegion、RegionID、SubRegionID
• ジオコードのadminLevel = Geocode

次の例では、2つの値を使用してGeocodeオブジェクトを作成してから、Geocodeのcityフィールドを返します。

reverseGeotag(toGeocode(42.35843, -71.05977), 'CITY', 'en', 50)

構文は次のとおりです。

runExternalPlugin(String pluginName, String attribute, Map options)

各要素の意味は次のとおりです。

• pluginNameは、Groovyスクリプト・ファイル(たとえば、MyPlugin.groovy)の名前(ベース名および拡張子)です。
• attributeは、スクリプトに渡される入力文字列です。
• optionsは、Groovyスクリプトで使用される任意のオプションが含まれるオプションの「マップ」です。デフォルトは空です。

構文は次のとおりです。

stripTagsFromHTML(String attribute)

各要素の意味は次のとおりです。

• attributeは、処理対象となるHTML文字列です。

構文は次のとおりです。

toPhoneticHash(String attribute)

各要素の意味は次のとおりです。

• attributeは、処理対象となる文字列属性です。

例:

toPhoneticHash(terms)