Hot-keys on this page

r m x p   toggle line displays

j k   next/prev highlighted chunk

0   (zero) top of page

1   (one) first highlighted chunk

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

# -*- coding: utf-8 -*- 

""" 

    pygments.lexers.textedit 

    ~~~~~~~~~~~~~~~~~~~~~~~~ 

 

    Lexers for languages related to text processing. 

 

    :copyright: Copyright 2006-2014 by the Pygments team, see AUTHORS. 

    :license: BSD, see LICENSE for details. 

""" 

 

import re 

from bisect import bisect 

 

from pygments.lexer import RegexLexer, include, default, bygroups, using, this 

from pygments.token import Text, Comment, Operator, Keyword, Name, String, \ 

    Number, Punctuation 

 

from pygments.lexers.python import PythonLexer 

 

__all__ = ['AwkLexer', 'VimLexer'] 

 

 

class AwkLexer(RegexLexer): 

    """ 

    For Awk scripts. 

 

    .. versionadded:: 1.5 

    """ 

 

    name = 'Awk' 

    aliases = ['awk', 'gawk', 'mawk', 'nawk'] 

    filenames = ['*.awk'] 

    mimetypes = ['application/x-awk'] 

 

    tokens = { 

        'commentsandwhitespace': [ 

            (r'\s+', Text), 

            (r'#.*$', Comment.Single) 

        ], 

        'slashstartsregex': [ 

            include('commentsandwhitespace'), 

            (r'/(\\.|[^[/\\\n]|\[(\\.|[^\]\\\n])*])+/' 

             r'\B', String.Regex, '#pop'), 

            (r'(?=/)', Text, ('#pop', 'badregex')), 

            default('#pop') 

        ], 

        'badregex': [ 

            (r'\n', Text, '#pop') 

        ], 

        'root': [ 

            (r'^(?=\s|/)', Text, 'slashstartsregex'), 

            include('commentsandwhitespace'), 

            (r'\+\+|--|\|\||&&|in\b|\$|!?~|' 

             r'(\*\*|[-<>+*%\^/!=|])=?', Operator, 'slashstartsregex'), 

            (r'[{(\[;,]', Punctuation, 'slashstartsregex'), 

            (r'[})\].]', Punctuation), 

            (r'(break|continue|do|while|exit|for|if|else|' 

             r'return)\b', Keyword, 'slashstartsregex'), 

            (r'function\b', Keyword.Declaration, 'slashstartsregex'), 

            (r'(atan2|cos|exp|int|log|rand|sin|sqrt|srand|gensub|gsub|index|' 

             r'length|match|split|sprintf|sub|substr|tolower|toupper|close|' 

             r'fflush|getline|next|nextfile|print|printf|strftime|systime|' 

             r'delete|system)\b', Keyword.Reserved), 

            (r'(ARGC|ARGIND|ARGV|BEGIN|CONVFMT|ENVIRON|END|ERRNO|FIELDWIDTHS|' 

             r'FILENAME|FNR|FS|IGNORECASE|NF|NR|OFMT|OFS|ORFS|RLENGTH|RS|' 

             r'RSTART|RT|SUBSEP)\b', Name.Builtin), 

            (r'[$a-zA-Z_]\w*', Name.Other), 

            (r'[0-9][0-9]*\.[0-9]+([eE][0-9]+)?[fd]?', Number.Float), 

            (r'0x[0-9a-fA-F]+', Number.Hex), 

            (r'[0-9]+', Number.Integer), 

            (r'"(\\\\|\\"|[^"])*"', String.Double), 

            (r"'(\\\\|\\'|[^'])*'", String.Single), 

        ] 

    } 

 

 

class VimLexer(RegexLexer): 

    """ 

    Lexer for VimL script files. 

 

    .. versionadded:: 0.8 

    """ 

    name = 'VimL' 

    aliases = ['vim'] 

    filenames = ['*.vim', '.vimrc', '.exrc', '.gvimrc', 

                 '_vimrc', '_exrc', '_gvimrc', 'vimrc', 'gvimrc'] 

    mimetypes = ['text/x-vim'] 

    flags = re.MULTILINE 

 

    _python = r'py(?:t(?:h(?:o(?:n)?)?)?)?' 

 

    tokens = { 

        'root': [ 

            (r'^([ \t:]*)(' + _python + r')([ \t]*)(<<)([ \t]*)(.*)((?:\n|.)*)(\6)', 

             bygroups(using(this), Keyword, Text, Operator, Text, Text, 

                      using(PythonLexer), Text)), 

            (r'^([ \t:]*)(' + _python + r')([ \t])(.*)', 

             bygroups(using(this), Keyword, Text, using(PythonLexer))), 

 

            (r'^\s*".*', Comment), 

 

            (r'[ \t]+', Text), 

            # TODO: regexes can have other delims 

            (r'/(\\\\|\\/|[^\n/])*/', String.Regex), 

            (r'"(\\\\|\\"|[^\n"])*"', String.Double), 

            (r"'(''|[^\n'])*'", String.Single), 

 

            # Who decided that doublequote was a good comment character?? 

            (r'(?<=\s)"[^\-:.%#=*].*', Comment), 

            (r'-?\d+', Number), 

            (r'#[0-9a-f]{6}', Number.Hex), 

            (r'^:', Punctuation), 

            (r'[()<>+=!|,~-]', Punctuation),  # Inexact list.  Looks decent. 

            (r'\b(let|if|else|endif|elseif|fun|function|endfunction)\b', 

             Keyword), 

            (r'\b(NONE|bold|italic|underline|dark|light)\b', Name.Builtin), 

            (r'\b\w+\b', Name.Other),  # These are postprocessed below 

            (r'.', Text), 

        ], 

    } 

 

    def __init__(self, **options): 

        from pygments.lexers._vim_builtins import command, option, auto 

        self._cmd = command 

        self._opt = option 

        self._aut = auto 

 

        RegexLexer.__init__(self, **options) 

 

    def is_in(self, w, mapping): 

        r""" 

        It's kind of difficult to decide if something might be a keyword 

        in VimL because it allows you to abbreviate them.  In fact, 

        'ab[breviate]' is a good example.  :ab, :abbre, or :abbreviate are 

        valid ways to call it so rather than making really awful regexps 

        like:: 

 

            \bab(?:b(?:r(?:e(?:v(?:i(?:a(?:t(?:e)?)?)?)?)?)?)?)?\b 

 

        we match `\b\w+\b` and then call is_in() on those tokens.  See 

        `scripts/get_vimkw.py` for how the lists are extracted. 

        """ 

        p = bisect(mapping, (w,)) 

        if p > 0: 

            if mapping[p-1][0] == w[:len(mapping[p-1][0])] and \ 

               mapping[p-1][1][:len(w)] == w: 

                return True 

        if p < len(mapping): 

            return mapping[p][0] == w[:len(mapping[p][0])] and \ 

                mapping[p][1][:len(w)] == w 

        return False 

 

    def get_tokens_unprocessed(self, text): 

        # TODO: builtins are only subsequent tokens on lines 

        #       and 'keywords' only happen at the beginning except 

        #       for :au ones 

        for index, token, value in \ 

                RegexLexer.get_tokens_unprocessed(self, text): 

            if token is Name.Other: 

                if self.is_in(value, self._cmd): 

                    yield index, Keyword, value 

                elif self.is_in(value, self._opt) or \ 

                        self.is_in(value, self._aut): 

                    yield index, Name.Builtin, value 

                else: 

                    yield index, Text, value 

            else: 

                yield index, token, value