Оператор перегрузки '=' и [] для записи в позицию в файле

Мне нужно перегрузить операторы [] и '=' для класса, который содержит файл для записи в позицию в файле. Например, этот код должен работать:

    UserFileClass File;
    printf("%c",File[53]);  //printing character from the 53 position in the file
    File[34]='d';   //34th character in the file will be rewriten with d

Но как это сделать, если после перегрузки [] для возврата char мы не можем перезаписать что-либо в объекте с помощью оператора '='. Я пытался сделать это по-другому, но он тоже не работает:

    #include <iostream>
    #include <fstream>

    using namespace std;

    class File
    {


fstream file;
    char buffer;
    int charPos;
public:

    File(string fileName);
    ~File(){file.close();};

    File & operator[](int position);
    File & operator=(const char &);
    friend ostream & operator<<(ostream,File);
};

File::File(string fileName)
{
    file.open(fileName);
    if(!file)
    {
        cerr<<"File reading error";
        exit(1);
    }
}

ostream & operator<<(ostream outStream, File obj)
{
    outStream<<obj.buffer;
    return outStream;
}

File & File::operator[](int position)
{
    file.seekg(position);
    if(file.eof())
    {
        buffer='\0';
    }
    else
    {
        file.read(&buffer,1);
        charPos=position;
    }
    return *this;
}

File & File::operator=(const char & charValue)
{
    file.seekg(charPos);
    file.write(&charValue,1);
    return *this;
}

void main()
{
    File userFile("file.txt");
    cout<<userFile[2];
    userFile[4]='a';
}

Ошибка компиляции: ошибка 2 ошибки C2248: std :: basic_ios <_Elem, _Traits> :: basic_ios: не может получить доступ к частному члену...